Eliak ChatGPTk baino itzulpen hobeak egiten ditu gaztelaniatik euskarara

Testu-ulermen eta sorkuntzan bereziki trebea da ChatGPT, eta hainbat ataza edo ariketa oso modu egokian egiten ditu, hala nola itzulpen automatikoa. Baina nolako itzulpenak egiten ditu ChatGPTk gaztelaniatik euskarara?

Elia eta ChatGPTren bi bertsio konparatu ditugu testuak gaztelaniatik euskarara itzultzeko atazan: GPT-3.5 (2022ko azaroan kaleratutakoa) eta GPT-4 (2023ko martxoan kaleratutakoa). Hilabete gutxiko aldearekin argitaratu baziren ere, jauzi esanguratsua dago batetik bestera; GPT-4 GPT-3.5 baino nabarmen hobea da: emaitza hobeak ematen ditu, eta gauza gehiago egiteko gai da. Euskara, adibidez, askoz hobeto ulertu eta sortzen du GPT-4k GPT-3.5ek baino.

Testuak gaztelaniatik euskarara itzultzeko atazan Eliak eta ChatGPTk (GPT-3.5 eta GPT-4) ematen dituzten emaitzak alderatzeko, gaztelaniazko esaldi-multzoak eman dizkiegu itzultzeko. Zehazki, bi test-multzo erabili ditugu (hau da, itzuli beharreko bi esaldi-multzo): batetik, Elhuyarrek sortutako esaldi-multzoa (Test Elh izenekoa), eta, bestetik, ikerkuntzaren esparruan erabiltzen den test-multzo publiko bat (Flores200 izenekoa). Test-multzoetako esaldiak hiru sistemekin itzuli ondoren, itzulpenen kalitatea neurtzeko, BLEU eta chrF++ ebaluazio-metrikak erabili ditugu. Metrika horiek kalkulatzen dute itzulpen automatikoek zenbaterainoko “antzekotasuna” daukaten eskuz egindako itzulpenekin.

Grafikoetan agerikoa denez, bi test-multzoetan eta bi metriken arabera ikusten da Eliaren kalitatea ChatGPTrena baino handiagoa dela.