Magkakaiba ang Marka ng AI sa Magkaparehong Sagot sa Ingles Depende sa Punto, Natuklasan sa Pag-aaral ng UW

Magkaparehong mga salita, magkakaibang marka

Karaniwang nagbigay ng mas mataas na marka ang apat na nangungunang modelo ng artificial intelligence sa mga punto ng Ingles na Amerikano at Briton kaysa sa mga punto ng Tsino at Nigerian nang suriin ng mga ito ang magkakaparehong pasalitang sagot, ayon sa pananaliksik na pinangunahan ng University of Washington. Naapektuhan ng mga pagkakaiba ang paghusga kapwa sa paraan ng pagsasalita ng mga tao at sa kanilang sinabi.

Inilahad ang pag-aaral noong Oktubre 25 sa EMNLP 2026 sa Budapest. Sinubukan dito ang Gemini 2.5 Pro at Gemini 2.5 Flash ng Google, GPT Audio 1.5 ng OpenAI at Qwen3 Omni ng Alibaba. Sinuri ng mga mananaliksik ang mga panayam sa pagkuha ng empleyado, mga presentasyon at pasalitang pagsusulit sa kasanayan sa Ingles, mga sitwasyong maaaring makaapekto ang marka sa pagpasok sa trabaho o edukasyon.

Karaniwang nanguna sa ranggo ang mga punto ng Amerikano at Briton, nasa gitna ang punto ng Indian, at nasa hulihan ang mga punto ng Tsino at Nigerian. Nang ulitin ng mga mananaliksik ang mga eksperimento sa panayam gamit ang 52 taong nagsasalita mula sa limang bansa, mas malaki ang mga pagkakaiba kaysa sa nakita sa mga artipisyal na boses.

Nilalaman ang pinakanakababahalang natuklasan. Mas mababang marka sa diwa ng sagot ang natanggap ng ilang tagapagsalita kahit eksaktong magkaparehong mga salita ang binasa nila at inutusang husgahan ng mga modelo ang nilalaman lamang. Nakaapekto ang punto sa pagtatayang dapat sana'y nakatuon sa mga ideya.

Inilarawan ni Orevaoghene Ahia, doktoral na estudyante sa Paul G. Allen School of Computer Science & Engineering ng unibersidad at kapwa pangunahing may-akda, ang padron sa mga paliwanag ng mga modelo:

Naiintindihan nila ang mga tagapagsalita, pero may nakapaloob silang palagay tungkol sa hirarkiya ng mga ito batay sa punto.

Paano tiniyak ng mga mananaliksik na pare-pareho ang mga salita

Gumamit ang pangkat ng mga boses na nilikha ng ElevenLabs upang basahin ang magkakaparehong iskrip sa limang punto ng Ingles, gamit ang mga boses ng lalaki at babae. Dahil pare-pareho ang teksto, nasuri ng mga mananaliksik kung mababago ng tunog ang pagtataya.

Saklaw ng mga iskrip ang mga sagot sa panayam, isang presentasyon sa klase, isang presentasyon sa kumperensiya at mga sagot sa pagsusulit sa kasanayan sa Ingles. Bawat isa sa apat na modelo ay nagbigay ng magkakahiwalay na marka sa pagbigkas at nilalaman sa iskalang 1 hanggang 7, at maikling ipinaliwanag ang mga pasya nito.

Tumutukoy ang pagbigkas sa paraan ng pagsasalita ng isang tao, kabilang ang pagbigkas ng mga salita at linaw. Tumutukoy naman ang nilalaman sa mismong sagot, gaya ng mga ideya at kaugnayan nito sa paksa. Nakatulong ang paghihiwalay sa dalawa upang masuri ng mga mananaliksik kung nadadala ang paghusga sa boses tungo sa paghusga sa mensahe.

Pinili ang limang punto mula sa mga rehiyong maraming gumagamit ng Ingles at kung saan may mga ugnayan din ang mga mananaliksik. Kaya't isang partikular na hanay ng mga punto ang inihambing sa pag-aaral, hindi ang lahat ng baryasyon ng Ingles na sinasalita sa buong mundo.

Ipinaliwanag ni Yulia Tsvetkov, associate professor sa Allen School at nakatataas na may-akda ng pag-aaral, kung bakit pinili ng pangkat ang mga nangungunang pangkalahatang modelo:

Nais naming suriin ang mga makabagong modelong ito dahil ito ang mga maaaring gamitin ng mga kompanya sa aktuwal na sitwasyon.

Mas malaki ang agwat sa mga boses ng tao

Sinubukan naman ng mga mananaliksik ang mga sagot sa panayam ng 52 tao mula sa limang bansa. Bawat kalahok ay nagbasa ng apat na nakahandang sagot at sumagot din sa mga tanong nang walang iskrip.

Nagbigay ang pagsubok gamit ang iskrip ng isa pang paghahambing kung saan pare-pareho ang mga salitang binigkas ng mga tagapagsalita. Pinalawak naman ng mga sagot na walang iskrip ang pagsubok sa pananalitang sariling binuo ng mga tao, na mas kahawig ng nangyayari sa isang panayam.

Nagdulot ng mas malalaking agwat sa marka ang mga pagkakaiba ng punto sa mga rekording ng tao kaysa sa mga boses na nilikha ng makina. Dahil dito, mahalagang bahagi ng pag-aaral ang pagpapatunay gamit ang mga tao: lumitaw ang padron hindi lamang sa artipisyal na pananalitang ginamit sa mas malawak na kontroladong eksperimento.

Inilalarawan ng mga natuklasan ang pagkakasunod-sunod at direksiyon ng mga pagkakaiba, pero hindi ibinigay sa mga pampublikong paglalarawan ang eksaktong karaniwang marka at bilang ng agwat para sa bawat modelo at punto. Makikita ng mga mambabasa kung aling mga grupo ang karaniwang nakakuha ng mas mababang marka, ngunit hindi tinukoy ang laki ng karaniwang bawas sa marka.

Bakit mahalaga ang tumpak na transkripsiyon

Madalas ipinaliwanag ng mga modelo ang mas mababang marka para sa mga punto ng Tsino at Nigerian sa pagsasabing hindi malinaw o mahirap unawain ang pananalita. Gayunman, natuklasan ng mga mananaliksik na napakahusay ng mga sistema sa paglalagay sa sulat ng mga rekording nang tumpak.

Inilarawan ni Ahia ang hindi pagtutugma ng puna ng mga modelo at husay ng mga ito sa transkripsiyon:

Bagama't paulit-ulit nilang sinabing 'pabulong' magsalita o 'mahirap unawain' ang mga tagapagsalitang Tsino at Nigerian, napakahusay naman talaga ng mga modelo sa pagtranskriba ng pananalitang may mga puntong iyon.

Ang transkripsiyon ay pagtatala sa sulat ng mga salitang sinasabi ng isang tao. Kapag tumpak na naitatala ng isang sistema ang sagot pero pinupuna itong mahirap unawain, dapat siyasatin ang paliwanag nito. Iniugnay dito ng mga mananaliksik ang hindi pagtutugmang iyon sa tila pagkiling ng mga modelo sa ilang punto.

Mas nagpalala sa problema ang mga marka sa nilalaman. Maaaring dalawang ulit mawalan ng marka ang isang tagapagsalita: una sa pagbigkas, at pagkatapos ay sa kalidad ng sagot na hindi naman nagbago ang mga salita. Sa isang panayam, maaaring magmukhang mas mahina ang magkaparehong sagot dahil lamang sa boses na bumigkas nito.

Pagkiling sa Ingles na Amerikano

Sinuri rin ng pangkat ang mga katangiang akustiko, o mga nasusukat na katangian ng mga tunog sa pananalita. Kinuwenta ng mga mananaliksik ang "agwat akustiko" ng isang punto mula sa Ingles na Amerikano, ibig sabihin, kung gaano naiiba ang mga padron ng tunog nito sa batayang paghahambing na iyon.

Pinakamalayo sa batayang Ingles na Amerikano ang mga punto ng Tsino at Nigerian sa paghahambing na ito. Mas malapit naman ang mga punto ng Briton at Indian. Madalas bumaba ang mga marka habang lumalaki ang nasukat na agwat, na nag-uugnay sa padron ng pagmamarka sa mga pagkakaiba ng tunog.

Nagmungkahi ang mga mananaliksik ng ilang posibleng paliwanag. Maaaring inilalarawan sa mga materyal na ginamit sa pagsasanay ang ilang punto bilang mahirap unawain, kakaunti ang halimbawang kinakatawan ang ilang tagapagsalita, o ginagantimpalaan ng mga ito ang pamilyar na inaasahan kung paano dapat magsalita ang isang propesyonal.

Mga posibilidad lamang na iminungkahi ng pangkat ang mga paliwanag na ito. Kongkreto ang praktikal na alalahanin: maaaring madala sa pagtataya ang mga pagkiling ng modelong sinanay gamit ang hindi pantay-pantay na mga halimbawa, kahit inuutusan itong patas na suriin ang sagot.

Opisyal na wika ang Ingles sa Nigeria, at ginagamit ito sa pagtuturo sa mga paaralan sa India. Gayunman, mas mababang marka ang natanggap ng mga tagapagsalita mula sa dalawang bansang ito kaysa sa mga Amerikano at Briton sa pag-aaral. Hindi nangangahulugan ang matagal nang paggamit ng Ingles sa isang bansa na pantay ang pagtrato rito ng mga modelong ito.

Ano ang sinubukan at kung saan nakataya ang mga oportunidad

Mga pangkalahatang modelo ng AI ang sinuri sa mga eksperimento, hindi ang aktuwal na produktong ginagamit ng mga plataporma sa pagkuha ng empleyado o mga tagapagbigay ng pagsusulit sa Ingles. Maaaring bumuo ang mga kompanya ng mga aplikasyon gamit ang ganitong mga modelo, pero may sarili ring disenyo at proseso ang mga komersiyal na sistema ng pagtataya.

Para sa mga aplikante, ang alalahanin ay prosesong maaaring magbawas ng marka batay sa tunog ng sagot bukod sa nilalaman nito. Para naman sa mga estudyante, maaaring makaapekto ang katulad na problema sa mga pasalitang presentasyon o pagsusulit. Itinututok ng pananaliksik ang pansin sa paraan ng pagbuo ng mga paghusgang iyon bago makatulong ang mga ito sa pagpapasya sa mga oportunidad ng isang tao.

Malawakan ding ginagamit ang pagsusuri sa Ingles. Humigit-kumulang 1.2 milyong beses kinuha noong 2023 ang PTE Academic ng Pearson, na gumagamit ng AI upang markahan ang ilang pasalitang sagot at ginagamit para sa visa at imigrasyon, ayon sa mga bilang na binanggit sa papel.

Hindi kabilang sa mga sinuri ang PTE Academic. Ginamit ng mga mananaliksik ang halimbawang ito upang ilarawan ang lawak ng awtomatikong pagsusuri sa pagsasalita. Sinabi ng mga may-akda ng papel na wala silang alam na pampublikong audit ng mga pagsusulit sa Ingles na minarkahan ng AI, at karaniwang hindi inilalantad sa publiko ang panloob na paggana ng mga komersiyal na sistema.

Bahagyang pinondohan ng Google at OpenAI ang pananaliksik sa pamamagitan ng mga donasyon, kahit kabilang sa mga sinubukan ang mga modelo ng dalawang kompanya. Bahagi ng konteksto ng pag-aaral na sumusuri sa mga sistema ng mga kompanyang ito ang ugnayang iyon sa pagpopondo.

Iskedyul ng paglalathala ng pag-aaral

Inilathala ang pananaliksik sa pamagat na "The Cost of Sounding Different: Accent Bias in Audio Language Models." Ang nakatalang DOI nito ay 10.18653/2026.emnlp-main.1612, at kabilang ito sa mga papel ng 2026 Conference on Empirical Methods in Natural Language Processing.

Nauna ang presentasyon sa kumperensiya kaysa sa mas malawak na anunsiyo noong Nobyembre:

• Oktubre 25, 2026: Inilahad ng pangkat ang pananaliksik sa EMNLP sa Budapest, Hungary.
• Nobyembre 5, 2026: Inanunsiyo sa publiko ang mga natuklasan sa mga ulat na naglarawan sa limang grupo ng punto, apat na modelo at pagpapatunay gamit ang 52 taong tagapagsalita.

Mahalaga sa resulta ang dalawang yugto ng pagsubok. Dahil sa mga boses na nilikha ng makina, napanatiling pare-pareho ng mga mananaliksik ang teksto sa maraming halimbawa. Pagkatapos, ipinakita ng mga rekording ng tao ang kaparehong pangkalahatang pagkiling, at mas malaki ang mga agwat sa pagitan ng mga punto.

Mga pagbabagong nais ng mga mananaliksik sa mga developer

Gumamit si Tsvetkov ng isang halimbawang paghahambing upang ipaliwanag ang alalahanin:

Ayaw naming umabot sa 97% ang katumpakan para sa pangkalahatang populasyon, pero 20% lamang para sa isang mas maliit na grupo.

Plano ng mga mananaliksik na suriin ang mas maraming punto ng tao, kabilang ang mga baryasyong panrehiyon sa loob ng mga bansa. Balak din nilang siyasatin ang mga aplikasyon ng audio sa medisina, kabilang ang awtomatikong pagtugon sa emerhensiya, kung saan maaaring magkaroon agad ng malubhang bunga ang paraan ng pag-unawa ng isang sistema sa pananalita ng tumatawag.

Para sa pagkuha ng empleyado at pagtataya sa Ingles, rekomendasyon nilang direktang subukan ang pagiging patas sa iba't ibang punto. Dapat suriin sa mga pagtataya kung maihahambing ang pagtrato sa mga tao sa iba't ibang punto, kung nakatuon pa rin sa nilalaman ang paghusga rito, at kung tugma ang mga ibinigay na dahilan ng sistema sa kakayahan nitong unawain ang rekording.

Mahahalagang Punto

• Karaniwang inilagay ng apat na modelo ng AI sa pinakamataas na ranggo ang mga punto ng Amerikano at Briton, sa gitna ang punto ng Indian, at sa pinakamababa ang mga punto ng Tsino at Nigerian.
• Nagbago ang ilang marka sa nilalaman kahit magkaparehong salita ang binigkas ng mga tagapagsalita.
• Mas malaki ang mga agwat sa pagitan ng mga punto sa pagsubok sa 52 taong tagapagsalita kaysa sa pagsubok gamit ang mga boses na nilikha ng makina.
• Tumpak na naitranskriba ng mga modelo ang pananalitang minsan nilang inilarawang hindi malinaw.
• Mga pangkalahatang modelo ang sinuri sa pag-aaral, hindi mga komersiyal na produkto para sa pagkuha ng empleyado o pagsusulit sa Ingles.
• Nanawagan ang mga mananaliksik para sa mga inilalathalang pagtataya sa iba't ibang punto at planong ipagpatuloy ang pag-aaral sa pananalitang panrehiyon at audio sa medisina.