infa.lt

Foto: infa.lt / DI

Dirbtinio intelekto (DI) amžiuje skaitmeninė atskirtis įgauna naujų matmenų: skirtingų šalių naudotojams naudojantis tuo pačiu kalbos modeliu, patiriamos išlaidos gali skirtis net kelis kartus. Dėl tokenizacijos (teksto skaidymo į vienetus) mechanikos, apdorojant tekstą tam tikromis kalbomis, prireikia gerokai daugiau „tokenų“ (žetonų) nei anglų kalba.

Remiantis organizacijos „CLEAR“ tyrimu, norint perteikti tą patį turinį, priklausomai nuo modelio, reikalingų tokenų skaičius gali skirtis net 17 kartų. Tai padidina DI naudojimo kainą ir sumažina teksto kiekį, kuris telpa į modelio kontekstinį langą.

Didieji kalbos modeliai teksto neapdoroja kaip pilnų žodžių – jie dirba su tokenais: žodžių fragmentais, atskirais simboliais ar jų sekomis. Kadangi paslaugų teikėjai paprastai taiko mokestį pagal  panaudotų tokenų skaičių, užklausa tampa brangesnė, jei jai reikia daugiau tokenų.

Pavyzdžiui, naudojant GPT-5, vienas sakinys anglų kalba suskaidomas į 13 tokenų, tuo tarpu malajalių kalba – į 26, o amharų kalba – į 78 tokenus. Vadinasi, norint apdoroti sakinį amharų kalba, reikia šešis kartus daugiau tokenų nei sakiniui anglų kalba.

Tyrėjai palygino kelių pagrindinių modelių šeimų tokenizatorius, naudodami „FLORES-200“ – duomenų rinkinį, kurį sudaro į maždaug 200 kalbų išversti sakiniai. Jie apskaičiavo santykį tarp didžiausio ir mažiausio tokenų skaičiaus, reikalingo tam pačiam turiniui skirtingomis kalbomis perteikti.

„Meta“* sukurtas „NLLB-200“ tokenizatorius pasirodė esąs stabiliausias – šis santykis siekė 2,7 karto. „Google“ modelių „Gemini“ ir „Gemma“ atveju santykis siekė 5,1 karto, „Claude“ – 9,3 karto, o GPT-5 – 13,8 karto. Didžiausias skirtumas – 17 kartų – užfiksuotas „Falcon“ modelių šeimoje.

Šie skirtumai tampa ypač ryškūs, kai žvelgiama už maždaug 20 kalbų, kurios internete dominuoja, ribų. Esmė ne tik teksto kiekyje – net ir tos kalbos, kuriose naudojama palyginti nedaug simbolių, gali būti suskaidytos į kur kas didesnį tokenų skaičių.

Ši problema kyla dėl to, kaip sukurti tokenizatoriai. Jie yra apmokyti naudojant tekstus, kuriuose tam tikros kalbos ir rašto sistemos pateikiamos daug plačiau nei kitos. Dėl to kalbos, kuriose naudojamos retesnės rašto sistemos, atsiduria nepalankioje padėtyje.

Šis „tokenizacijos mokestis“ paliečia ne tik mažesnes kalbas. Tarp nukentėjusiųjų yra pandžabų kalba (apie 200 mln. naudotojų), bengalų kalba (apie 266 mln. naudotojų) ir urdu kalba (apie 288 mln. naudotojų).

Dėl didesnio tokenų skaičiaus išauga užklausų kaina, padidėja delsos laikas, o į modelio kontekstinį langą telpa mažiau teksto. Tai gali apriboti dirbtinio intelekto (DI) naudojimą apdorojant ilgus dokumentus ar kuriant autonominius DI agentus – ypač tuose regionuose, kur skaičiavimo ištekliai ir prieiga prie interneto jau yra riboti.

Vis dėlto, autoriai pažymi, kad ši problema yra išsprendžiama. Pavyzdžiui, tyrimo metu paaiškėjo, kad NLLB-200 tokenizatorius, specialiai sukurtas daugiakalbiam vertimui, užtikrina mažiausią skirtumą tarp skirtingų kalbų.

„Gemini“ ir „Gemma“ modeliai taip pat parodė, kad universalios sistemos gali užtikrinti tolygesnį tokenizavimą. Visgi modelio atnaujinimas dar negarantuoja geresnio tokenizavimo kalboms, kurios internete yra nepakankamai atstovaujamos.

Tyrėjai ragina DI kūrėjus viešinti įvairių kalbų tokenizavimo efektyvumo rodiklius, kuriant naujus tokenizatorius teikti pirmenybę daugiakalbystei bei peržiūrėti kainodaros modelius. Vienas iš galimų sprendimų – skaičiuoti teksto apdorojimo kainą atsižvelgiant į kalbą arba simbolių skaičių, o ne vien tik į tokenų kiekį.

Autoriai taip pat pasisako už paramą kuriant atvirojo kodo tekstynus kalboms, kurios nepakankamai atstovaujamos mokymo duomenyse. Tai padėtų sumažinti nelygybę naudojantis DI ir sumažintų šios technologijos naudojimo sąnaudas įvairių kalbų vartotojams.