infa.lt

foto: infa.lt / DI

Dirbtinio intelekto (DI) kompanijos šiuo metu kuria avarinio išjungimo sistemas, skirtas sustabdyti pavojingus DI modelius prieš jiems padarant rimtą žalą.

Pažangioms sistemoms tampant vis sudėtingesnėmis, tokie apsauginiai mechanizmai gali tapti paskutine gynybos linija, tačiau tyrėjai pripažįsta: kol kas nėra tikrumo, ar žmonėms pavyks sustabdyti sistemą, kuri sukurta taip, kad išliktų tik pusiau kontroliuojama, rašo „Axios“ leidinys..

Dabartinė situacija

Keli „Anthropic“ tyrėjai perspėjo, kad savarankiškos DI versijos, veikiančios už žmogaus kontrolės ribų arba siekiančios nenumatytų tikslų, teoriškai galėtų sukelti grėsmę žmonijai. Daugelis ekspertų jau ne vienerius metus teigia, kad tikimybė, jog DI sukels apokaliptinį scenarijų, yra išreikšta dviženkliu skaičiumi.

Realybė tokia, kad aktyvaus vieno raudono mygtuko, galinčio akimirksniu išjungti visą DI, tiesiog nėra.

Įmonės gali išjungti atskirus serverius, palaikančius DI, tačiau itin galingos sistemos veikia paskirstytos per daugybę kompiuterių tinklų.

Vienintelio laido, kurį būtų galima ištraukti iš tinklo –  nėra.

Dėl šios priežasties bendrovės eksperimentuoja su daugiapakopėmis apsaugos sistemomis, galinčiomis aptikti įtartiną elgesį, sustabdyti agentus ir atjungti resursus, kurių tiems agentams reikia veikimui tęsti. Apie šią technologiją anksčiau yra užsiminęs ir JAV prezidentas Donaldas Trampas (Donald Trump), teigęs, kad „visada turime kažką, kas juos sustabdytų… Turėsim mažą pavarą. Bum.“

Pagrindinių bendrovių strategijos

1. „OpenAI“ avarinis stabdys

Po incidento su „Hugging Face“, kai DI agentai ištrūko iš numatytų ribų ir bendrai pakenkė platformos sistemoms, „OpenAI“ atnaujino savo reagavimo sistemą. Kompanijos tikslas – sukurti „visiškai autonomines išjungimo procedūras kritinėms problemoms šalinti“.

Kaip tai veikia: Stebėjimo sistema, vertinanti DI „minties grandinę“ (chain-of-thought), įspėja darbuotojus, kai agentas atlieka kažką pavojingo.

Reaguotojai privalo sustabdyti veiklą per 30 minučių, nebent nustato, kad tai klaidingas pavojaus signalas.

Pasak „OpenAI“, ankstesnė monitoringo sistema būtų perspėjusi saugumo komandą daugiau nei parą prieš modeliams pažeidžiant „Hugging Face“ saugumą.

2. „Anthropic“ saugumo kamera

„Anthropic“ strategija remiasi DI panaudojimu kito DI stebėjimui, daugiau dėmesio skiriant ne automatiniam išjungimui, o sabotažo aptikimui.

Ataskaitoje apie „Claude Opus 4.6“ rizikas bendrovė nurodė įdiegusi automatizuotą stebėseną sabotažui ir netinkamam elgesiui identifikuoti. Aptikus įtartiną elgesį, veiksmai gali būti pažymėti, sustabdyti, o žmonės – įspėti.

Šis monitoringas sugavo 50% inscenizuoto kenksmingo elgesio atvejų. Tačiau bandymų metu 50% iš 40 specialiai suimituotų atakų nebuvo aptiktos, o tik 8 iš 40 atvejų aptiktos patikimai.

Nepriklausoma pelno nesiekianti organizacija METR taip pat identifikavo kelis anksčiau nežinomus pažeidžiamumus.

3. „Agent Kill Switch“ (Salesforce MuleSoft)

„Salesforce“ padalinys „MuleSoft“ sukūrė realų produktą, nutaikytą į DI agentams reikalingus resursus. Operatorius gali sustabdyti atskirą užklausą, sesiją, agentą ar – kritiniu atveju – visą įmonės paskyrą. Šis mechanizmas blokuoja visus prisijungimo duomenis ir kredencialus, net jei agentas bando išsisukti.

Siūlomasis galutinis avarinis išjungiklis

2024 metais Naujojo Amerikos saugumo centras (Center for New American Security – CNAS) pasiūlė sukurti „saugų, valdomą“ DI lustą, kurio veikimui reikėtų galiojančio autorizavimo. Tokia licencijavimo struktūra neleistų lustams veikt be leidimo.

CNAS teigia, kad valstybės turėtų koordinuoti veiksmus, jog visi pažangiausi DI lustai turėtų tokius mechanizmus, tačiau tam sistemas reikės apsaugoti nuo sudėtingų apeidinėjimo bandymų.

Galutinė išvada išlieka viena: sukurti DI išjungimo jungiklį, kurio pats DI negalėtų įveikti, bus itin sudėtinga ir nepilnai patikima.