infa.lt

Mokslininkai atliko eksperimentą, kuris parodė, kad dirbtinis intelektas gali sėkmingai išlaikyti universitetinius egzaminus ir likti nepastebėtas specialių programų, skirtų apsaugoti egzaminus nuo dirbtinio intelekto įsikišimo.

„ChatGPT’ egzaminų darbai buvo įvertinti aukštesniais balais nei studentų darbai. Įdomu tai, kad kai kurie dirbtinio intelekto darbai buvo aptikti ne dėl to, kad jie buvo robotizuoti, o dėl to, kad jų bendra kokybė buvo per aukšta – ji buvo gerokai aukštesnė už įprastų studentų darbų vidurkį.

Sistemos, skirtos aptikti dirbtinio intelekto sukurtą turinį, įskaitant ir pačios „OpenAI“, atlikto testo metu visiškai nepasiteisino.

Anglijos Readingo universiteto (University of Reading) mokslininkų grupė, vadovaujama Peterio Scarfe’o, atliko didelės apimties eksperimentą, siekdama patikrinti, kaip efektyviai šiuolaikinės dirbtinio intelekto sistemos gali susidoroti su universitetiniais egzaminais.

Tyrėjai sukūrė daugiau nei 30 fiktyvių psichologijos studentų paskyrų ir naudojo jas egzaminams laikyti, naudodami „ChatGPT“ sugeneruotus atsakymus, praneša „Ars Technica“ leidinys.

Eksperimentas apėmė penkis psichologijos bakalauro studijų modulius, įskaitant visų trijų studijų metų užduotis. Užduotys buvo atsakymai į trumpus 200 žodžių klausimus arba sudėtingesnės, maždaug 1 500 žodžių apimties esė. Egzaminatoriai apie eksperimentą nežinojo.

Trumpesni atsakymai buvo rengiami paprasčiausiai nukopijuojant ir įklijuojant egzamino klausimus į „ChatGPT-4“ kartu su ne ilgesniu kaip 160 žodžių raginimu. Esė buvo prašoma rašyti taip pat, tačiau reikalaujamas žodžių skaičius buvo padidintas iki 2 000 žodžių.

Taip nustačius ribas, Scarfe’o komandai pavyko pasiekti, kad „ChatGPT-4“ sukurtų pakankamai panašų į reikalaujamą turinį. „Idėja buvo siųsti šiuos atsakymus visiškai neredaguojant, išskyrus esė, kuriems taikėme minimalų formatavimą“, – paaiškino Scarfe’as.

Rezultatai buvo stulbinantys – 94% dirbtinio intelekto sukurtų rašto darbų išlaikė robotikos patikrinimus, kuriuos atliko specialūs algoritmai, turintys aptikti tikrų mokinių atsakymų klastojimą.

Be to, beveik 84% šių darbų buvo įvertinti aukštesniais balais nei mokinių darbai, vidutiniškai puse balo. „Egzaminuotojus rezultatai gerokai nustebino“, – pažymėjo Scarfe’as. Ir įdomu tai, kad kai kurie dirbtinio intelekto darbai buvo pripažinti ne robotizuotais, o pernelyg kokybiškais – jų kokybė buvo gerokai aukštesnė už vidutinį mokinių darbų įvertinimą.

Tačiau ne visi rezultatai buvo palankūs dirbtiniam intelektui. Baigiamajame kurse, kur reikėjo gilesnio supratimo ir sudėtingų analitinių įgūdžių, žmonės studentai pasirodė geriau nei „ChatGPT“.

Scarfe’as pabrėžė, kad dėl nuolatinio dirbtinio intelekto tobulėjimo ir patikimų būdų aptikti jo naudojimą trūkumo universitetai turės prisitaikyti ir integruoti dirbtinį intelektą į mokymo procesą.

„Šiuolaikinio universiteto vaidmuo – rengti studentus profesinei karjerai, o realybė tokia, kad baigę studijas jie neabejotinai naudosis įvairiomis DI priemonėmis“, – sakė mokslininkas.

Eksperimentas iškelia esamų mokymo ir egzaminavimo metodų kontrolės problemą – jie nebeatitinka gyvenimo realijų.