Orai COLING 2025-en, hizkuntzalaritza konputazionalaren nazioarteko konferentzian

Euskarazko LLMen alborapen sozialak ebaluatzeko lehen datu-multzoa, Abu Dhabin

Muitze Zulaika Oraiko ikertzailea Abu Dhabin izan da, COLING 2025 hizkuntzalaritza konputazionalaren 31. nazioarteko konferentzian, urtarrilaren 19-24 bitartean. “BasqBBQ: A QA Benchmark for Assessing Social Biases in LLMs for Basque, a Low-Resource Language” lana aurkeztu du han.

Zulaikak azaldu duenez, “adimen artifizialaren arazo kritiko bati heldu diogu lan honetan: hizkuntza-eredu handietan (LLMetan) izaten diren gizarte-alborapenak, hau da, aurreiritziak edo estereotipoak”. Hizkuntza handien ereduek zer alborapen dituzten neurtzeko tresnak badaude (ingelesez, adibidez); euskaran aldiz, orain arte ez da horrelako tresnarik egon. Lan honetan, “BasqBBQ garatu dugu, euskarazko alborapen sozialak ebaluatzeko berariaz diseinatutako lehen datu-multzoa. Gure datu-multzoak euskal hizkuntzara eta kulturara egokitutako 43.000 adibide baino gehiago ditu, eta horrek aukera ematen digu 8 esparru sozialetako alborapenak neurtzeko: genero, adin, arraza, maila sozioekonomiko, orientazio sexual, desgaitasun-egoera, itxura fisiko eta nazionalitateari dagozkienak”. Tresna horren bidez, euskara dakiten sei hizkuntza-eredu handi neurtu dituzte, eta emaitza nagusi hauek lortu: “Eredu handienek errendimendu hobea izaten dute, oro har; baina, askotan, alborapenak anplifikatzen dituzte testuingurua anbiguoa denean”, adierazi du ikertzaileak.

Ikerlan hau Xabier Saralegirekin batera egin du ICL4LANG proiektuaren testuinguruan.