infa.lt

Šiuolaikiniai dirbtinio intelekto modeliai neišlaikė naujo ne pelno siekiančios organizacijos „Arc Prize Foundation“ sukurto bendrojo intelekto testo „ARC-AGI-2“. Geriausi modelių rezultatai neviršijo 1,3%, o vidutinis žmonių rezultatas buvo apie 60 proc.

Apie tai paskelbė dirbtinio intelekto tyrėjas ir vienas iš fondo įkūrėjų François Chollet, geriausiai žinomas kaip gilaus mokymosi bibliotekos „Keras“ kūrėjas.

„ARC-AGI-2“ testu vertinamas gebėjimas greitai prisitaikyti prie naujų užduočių, o ne tik naudotis jau žinomais duomenimis.

Testo dalyviai turi atpažinti spalvotų kvadratėlių vizualinius modelius ir sukurti teisingą atsakymų kombinaciją.

„ARC-AGI-2“ testas sukurtas taip, kad būtų pašalinta galimybė išspręsti uždavinius tiesiog perverčiant atsakymus kompiuteryje. Pirmojoje testo versijoje buvo ši problema: dirbtinis intelektas sukčiaudavo labai greitai pasirinkdamas variantus.

Remiantis rezultatais, net ir naujausi modeliai, tokie kaip „OpenAI“ o1-pro ir „DeepSeek“ R1, sugebėjo teisingai išspręsti tik nuo 1 iki 1,3% uždavinių.

Kiti gerai žinomi modeliai, įskaitant „GPT-4.5“, „Claude 3.7 Sonnet“ ir „Gemini 2.0 Flash“, pasiekė maždaug 1% teisingų atsakymų rezultatą.

Šiuo metu geriausias „OpenAI“ modelis o3, kuris senajame „ARC-AGI-1“ teste surinko 75,7% rezultatų, naujajame teste surinko tik 4% rezultatų, o vieno uždavinio skaičiavimo sąnaudos siekė apie 200 JAV dolerių.

Norint palyginti dirbtinio intelekto gebėjimus su žmonių gebėjimais, teste dalyvavo daugiau nei 400 žmonių. Vienos užduoties sprendimui žmonės galėjo atlikti ne daugiau nei 2 bandymus.

Visus klausimus išsprendė ne mažiau kaip du žmonės. Vidutiniškai žmonės sėkmingai išsprendė 60% „ARC-AGI-2“ užduočių.

Tai aukštas rezultatas, atsižvelgiant į tai, kad testas buvo sukurtas pirmiausia dirbtiniam intelektui. Jis matuoja gana didelius žmogaus pažintinius gebėjimus, tačiau padaugintus iš šimtų ir tūkstančių grafikos greitintuvų galios.

Kūrėjai šį skirtumą aiškina sunkumais, kuriuos patiria dirbtinis intelektas, spręsdamas užduotis, reikalaujančias simbolių interpretacijos ir kelių taisyklių taikymo vienu metu.

Mašinos dažnai nepajėgia suprasti simbolių giliau nei tik vizualinių savybių rinkinį ir prastai pritaiko taisykles skirtingoms užduočių aplinkybėms.

Šių problemų neįmanoma išspręsti didinant skaičiavimo galią, todėl reikia iš esmės naujų metodų.

François Chollet pabrėžia, kad esminis naujojo testo skirtumas yra našumo rodiklis.

Dabar svarbu ne tik gebėjimas spręsti uždavinius, bet ir tai, kaip greitai ir kokiomis sąnaudomis modelis geba įgyti ir panaudoti naujus įgūdžius.

Vienas iš fondo įkūrėjų Gregas Kamradtas priduria: „Intelektas – tai ne tik gebėjimas spręsti problemas. Svarbu atsižvelgti į tai, kaip efektyviai dirbtinis intelektas geba mokytis ir taikyti savo įgūdžius“.

Kartu su naujojo testo startu „Arc Prize“ fondas paskelbė konkursą „ARC Prize 2025“. Kūrėjai turės sukurti modelį, galintį išspręsti ne mažiau kaip 85% „ARC-AGI-2“ uždavinių, o vieno uždavinio skaičiavimo sąnaudos turi būti ne didesnės kaip 0,42 JAV dolerio. Konkursas turėtų prasidėti „Kaggle“ platformoje artimiausiu metu.