infa.lt

Dario Amodei, „Anthropic“ generalinis direktorius, kalba diskusijų panelėje Tarptautinio DI saugos institutų tinklo susitikime San Franciske, 2024 m. lapkričio 20 d.
Foto: Jeff Chiu/ „The AP“.

Pranešama, kad bendrovė „Anthropic“, ruošdamasi galimam pirminiam viešam akcijų siūlymui (IPO), kurio metu jos vertė gali siekti 2 trln. JAV dolerių, informavo investuotojus apie galimą pažangaus dirbtinio intelekto (DI) „savisaugos elgesį“.

Kaip skelbia „Reuters“ ir „Financial Times“, „Anthropic“ įspėja investuotojus, kad pažangus DI gali kelti „katastrofišką arba egzistencinę grėsmę žmonijai“. Šis įspėjimas pateikiamas dar nepaviešintame startuolio IPO prospekte, praneša „The Guardian“ leidinys.

Tai įvyko po to, kai bendrovė paragino sulėtinti itin spartų šios technologijos vystymą – šiam raginimui pritarė ir konkurentai.

Prospekte – dokumente, kuriame prieš įtraukiant akcijas į biržos prekybą aprašoma įmonės finansinė būklė, plėtros planai ir rizikos profilis – teigiama, kad DI modeliai gali demonstruoti „savisaugos elgesį“, įskaitant bandymus „priešintis išjungimui“, „slėpti informaciją ar ja manipuliuoti“ bei elgesį, „primenantį šantažą“.

„Labai pažangių modelių, platformų ir programų kūrimas bei jų pritaikymo sričių plėtra gali dar labiau padidinti riziką, kad mūsų modeliai padarys žalos“, – teigiama „Claude“ pokalbių modelio kūrėjos pranešime. Jame taip pat nurodoma, kad galimybė modeliui suvokti, jog jis yra testuojamas, sukuria „reikšmingą kliūtį“ „Anthropic“ galimybėms įvertinti modelio saugumą.

„Anthropic“ situacijos nekomentavo.

Į biržą besiruošiančios žengti įmonės nuolat informuoja apie įvairias rizikas – nuo ​​saugumo problemų iki reguliavimo klausimų, tačiau įspėjimai apie tai, kad DI modelis gali sukelti žmonijos išnykimą, atspindi didėjantį susirūpinimą dėl tokios reikšmingos technologijos.

Pranešimas apie prospekte pateiktą informaciją pasirodė suintensyvėjus diskusijoms apie egzistencinę riziką. Šias diskusijas šį mėnesį paskatino „Anthropic“ tyrėjo Jacobo Coxono atsistatydinimas; jis įspėjo, kad DI kuriantys žmonės „nuoširdžiai tiki, jog jis gali mus visus pražudyti iki šio dešimtmečio pabaigos“.

Vėliau vyresnysis „Anthropic“ saugumo tyrėjas socialiniame tinkle „X“ išreiškė pritarimą šiai nuomonei, teigdamas, kad egzistuoja didesnė nei 10% tikimybė, jog per ateinantį dešimtmetį DI „gali pražudyti visus žmones“. Po kelių dienų „Anthropic“ vadovas Dario Amodei pareiškė, kad DI industrija „privalo sulėtinti DI modelių galimybių gerinimo tempą“.

Kai kurie ekspertai kritikavo egzistencinės rizikos įspėjimus, teigdami, kad jie nepatikrinami ir nemoksliški. Tačiau daugėja nesankcionuoto technologijos elgesio pavyzdžių, įskaitant „OpenAI“ agentus – autonomines sistemas, kurios atlieka užduočių sekas be žmogaus įsikišimo – įsilaužimus į dešimtis trečiųjų šalių organizacijų, įskaitant atviro kodo ir svorių dirbtinio intelekto talpinimo startuolį „Hugging Face“ ir Australijos visuotinę sveikatos priežiūros sistemą.

„OpenAI“ pirmadienį paskelbė, kad dėl saugumo problemų atšaukė naujausio modelio išleidimą. Teigiama, kad GPT-6.1 „Astra“ modelis pasižymėjo didesniu apgaulės lygiu ir prastai pasirodė suderinamumo testuose – termine, užtikrinančiame, kad modelis atitinka žmogaus vertybes ir tikslus.

„Reuters“ pranešė, kad iš 261 puslapio „Anthropic“ prospekto pagrindinės dalies maždaug 80 puslapių buvo skirta rizikos veiksnių aprašymui, palyginti su 48 puslapiais, skirtais verslo veiklos aprašymui.

Pranešama, kad „Anthropic“ siekia, jog įmonės vertė viršytų 2 trilijonus JAV dolerių, palyginti su 1,8 trilijono JAV dolerių verte, kurią pasiekė Elono Musko „SpaceX“.