Elia traduce mejor que ChatGPT de castellano a euskera

ChatGPT es especialmente competente en la comprensión y creación de textos, y destaca en tareas como la traducción automática. Pero ¿cuál es la calidad de las traducciones de ChatGPT de castellano a euskera?

Hemos comparado la calidad de las traducciones de castellano a euskera de Elia con la de dos versiones de ChatGPT: GPT-3.5 (publicado en noviembre del 2022) y GPT-4 (publicado en marzo del 2023). Aunque ambos se publicaron en un corto intervalo de tiempo, hay un salto significativo entre una versión y otra; GPT-4 es notablemente mejor que GPT-3.5: da mejores resultados y tiene la capacidad de hacer más tareas. Por ejemplo, el GPT-4 entiende y genera mucho mejores textos en euskera que GPT-3.5.

Para comparar los resultados tanto de Elia como de ChatGPT (GPT-3.5 y GPT-4) en la tarea de traducir de castellano a euskera, les hemos pedido que traduzcan varios conjuntos de frases en castellano; concretamente, hemos utilizado dos conjuntos de tests: uno generado en Elhuyar (denominado Test Elh) y, por otro lado, un conjunto de tests público utilizado en el ámbito de la investigación (Flores200). Una vez traducidas las frases de dichos conjuntos de tests por los tres sistemas, hemos medido la calidad de las traducciones mediante las métricas de evaluación BLEU y chrF++, que calculan el grado de “similitud” de la traducción automática con las traducciones realizadas manualmente.

Tal y como se observa en los gráficos de la imagen, en ambos conjuntos de tests y en base a ambas métricas la calidad de Elia es superior a la de ChatGPT.