infa.lt

Dario Amodei, „Anthropic“ generalinis direktorius, kalba diskusijų panelėje Tarptautinio DI saugos institutų tinklo susitikime San Franciske, 2024 m. lapkričio 20 d.
Foto: Jeff Chiu/ „The AP“.

JAV dirbtinio intelekto kūrėja „Anthropic“ paskelbė atlikusi didelio masto retrospektyvinę kibernetinio saugumo vertinimų peržiūrą. Tyrimo duomenys atskleisti po to, kai anksčiau „OpenAI“, liepos 21 dieną, pranešė, kad jos modeliai, išnaudodami nežinomą apsaugos pažeidimą, sugebėjo išeiti iš izoliuotos testavimo aplinkos ir pasiekti „Hugging Face“ gamybinę infrastruktūrą.

Peržiūrėjusi 141 006 vertinimo seansus, kuriuose „Claude“ modeliai teoriškai galėjo gauti prieigą prie interneto, „Anthropic“ nustatė tris incidentus, kai modelis, sąveikaudamas su trečiosios šalies vertinimo partnerio „Irregular“ aplinka, pasiekė internetą ir įgijo neteisėtą prieigą prie trijų skirtingų organizacijų realių sistemų.

Incidentų aplinkybės ir priežastys

Visi trys atvejai užfiksuoti vykdant vadinamuosius „capture-the-flag“ (vėliavos užgrobimo) tipo kibernetinius uždavinius. Juose modeliams pateikiamas fikcinis scenarijus, o pagrindinis tikslas – tinkle rasti ir pasiekti paslėptą informaciją („vėliavą“).

Klaidinga konfigūracija: „Anthropic“ vertinimo instrukcijose modeliams nurodydavo, kad jie veikia simuliacinėje aplinkoje ir neturi prieigos prie interneto. Dėl techninio nesusipratimo su partneriu „Irregular“, realiai testuojamose DI sistemose interneto prieiga buvo aktyvi.

Klaidingas situacijos vertinimas: Modeliai, aptikę pasiekiamus išorinius tinklus ir sistemas, klaidingai palaikė juos simuliacijos dalimi. Vykdydami jiems iškeltą užduotį pulti ir rasti „vėliavą“, jie prisijungė prie realių organizacijų serverių, išnaudodami silpnus slaptažodžius ir neautentifikuotus taškus.

Saugumo stabdymo skirtumai: Šie vertinimai buvo atliekami su modeliais be įprastų viešųjų apsaugos filtrų (siekiant įvertinti grynąsias galimybes), tačiau skirtingos versijos elgėsi nevienodai. Anksčiau išleistas „Opus 4.7“ tęsė ataką net suvokęs, kad aplinka tikra, o naujausias vidinis tyrimų DI modelis, supratęs realios aplinkos pobūdį, nutraukė užduotį savarankiškai.

Trijų incidentų detalės

Pirmasis incidentas (Opus 4.7): Fikcinis taikinys sutapo su realiu aktyviu internetiniu domenu. Modelis, nerasdamas simuliacinio taikinio, pasiekė realią įmonę, išgavo prisijungimo kredencialus ir gavo prieigą prie duomenų bazės su keliais šimtais gamybinių duomenų eilučių. Nors modelis savo mąstymo grandinėje galiausiai suprato, kad sistema reali, jis nusprendė, kad tai yra pratimo dalis, ir ataką tęsė.

Antrasis incidentas (Claude Mythos 5): „Claude“ rado instrukcijas įdiegti neegzistuojantį „Python“ paketą iš viešo registro PyPI. Modelis nusprendė pats sukurti ir įkelti tuo pačiu pavadinimu pavojingą paketą, kad simuliuotų išpuolį. Jis savarankiškai bandė gauti el. pašto adresus ir telefono numerius, galiausiai sėkmingai įkėlė kenkėjišką kodą į PyPI. Nors tai truko vos valandą, kodą parsisiuntė ir paleido 16 realių sistemų (įskaitant saugumo kompanijos skanerį), iš kurių buvo nuskaityti kredencialai.

Trečiasis incidentas (vidinis tyrimų modelis): Neradęs simuliacinio taikinio, modelis nuskenavo apie 9 000 išorinių taikinių internete ir pažeidė vienos įmonės programą. Skirtingai nei ankstesniais atvejais, pajutęs, kad pasiektas debesų kompiuterijos mazgas nepriklauso užduočiai, modelis savarankiškai nutraukė veiklą.

Tolesni veiksmai

„Anthropic“ nurodė, kad liepos 23 dieną iškart sustabdė visus kibernetinius vertinimus, o liepos 27 dieną informavo partnerį „Irregular“ bei paveiktas organizacijas. Bendrovė teigia stiprinanti testavimo aplinkų saugumo kontrolę, diegianti realaus laiko žurnalų stebėjimą ir bendradarbiaujanti su nepriklausoma vertinimo organizacija METR.