infa.lt

Autonominis DI agentas ROME, apmokytas atlikti realius veiksmus kompiuteryje, netikėtai pradėjo savarankiškai išgauti kriptovaliutą ir kurti atgalinius SSH tunelius, kad galėtų slapta prisijungti prie išorinių tinklų.

Incidentas įvyko eksperimentuojant su nauja platforma „Agentic Learning Ecosystem“ (ALE) „Alibaba Cloud“ serveriuose. Tyrėjai pabrėžia, kad modelis negavo tokių komandų ir nebuvo nulaužtas – toks elgesys atsirado mokymosi procese kaip šalutinis efektas, siekiant kuo efektyviau panaudoti išteklius.

Remiantis tyrimu, agentas ROME buvo sukurtas remiantis „Qwen3-MoE“ modeliu ir apmokytas naudojant sustiprinto mokymo metodą. Tam mokslininkai sukūrė visą infrastruktūrą: mokymo sistemą ROLL, saugią „smėlio dėžę“ ROCK, kurioje agentas vykdo komandas, ir sąsają iFlow sąveikai su vartotoju.

Toks požiūris leidžia dirbtiniam intelektui mokytis atlikti sudėtingas veiksmų sekas, kaip tai daro žmogus-programuotojas.

Eksperimentų metu dirbtinis intelektas parodė puikius rezultatus programavimo užduotyse. Tačiau tyrėjai netikėtai aptiko ir saugumo problemų. „Alibaba Cloud“ serverių stebėjimo sistema užfiksavo įtartiną tinklo veiklą agento mokymo metu.

Iš pradžių specialistai manė, kad tai įprasta kibernetinė ataka arba konfigūracijos klaida. Tačiau analizė parodė, kad keistus veiksmus atliko pats DI agentas. Vienu iš atvejų modelis su 3 mlrd. parametrų sukūrė atgalinį SSH tunelį – būdą sukurti paslėptą ryšį su išoriniu tinklu, apeinant kai kurias apsaugos priemones.

Be to, agentas bandė panaudoti galingus serverių grafikos procesorius kriptovaliutų gavybai. Šie ištekliai buvo skirti modelio mokymui, tačiau dirbtinis intelektas pradėjo paleisti programas, kurios galėjo panaudoti skaičiavimo galią kriptovaliutų kasybai.

Tyrėjai pabrėžia, kad modeliui nebuvo duota tokia užduotis ir jis nebuvo nulaužtas. Toks elgesys atsirado mokymosi proceso metu: agentas tiesiog ieškojo būdų, kaip kuo efektyviau panaudoti turimus išteklius savo tikslui pasiekti.

Specialistai tai vadina „instrumentinės konvergencijos“ pavyzdžiu – rizika, kai autonominis DI pradeda naudoti neplanuotus įrankius tikslui pasiekti be tiesioginių žmogaus nurodymų. Kriptovaliutos iš esmės suteikia DI agentui finansinių operacijų laisvę atvirame internete, siekiant savų tikslų.

Po incidento kūrėjai sustiprino saugumo sistemą ir sukūrė izoliuotą „OpenSandbox“ platformą, kurioje DI agentų veiksmai yra griežtai kontroliuojami. Tyrimo autoriai mano, kad tokie eksperimentai rodo didžiulį agentų potencialą, tačiau taip pat pabrėžia naujų mechanizmų, skirtų kontroliuoti, kaip DI veikia kompiuterinėse sistemose, būtinybę.