infa.lt

Nvidia vadovas Jensenas Huangas

Pasak JAV lustų gamintojos, ši platforma sukurta taip, kad galėtų kontroliuoti agentų prieigą ir per kelias milisekundes juos izoliuoti, jei šie viršytų nustatytas ribas.

„Nvidia“ diegia saugumo platformą dirbtinio intelekto (DI) agentams; su ja jau dirba daugiau nei 100 organizacijų, įskaitant „Anthropic“, „SpaceXAI“ ir „JPMorganChase“.

„Nvidia Open Agent Safety Platform“ pavadinta sistema skirta nustatyti agentų prieigos ribas ir per kelias milisekundes izoliuoti („įdėti į karantiną“) agentus, jei jie šias ribas peržengia – taip teigiama JAV lustų gamintojos pranešime.

Platforma gali būti naudojama įvairiose sistemose, kuriose veikia agentai: tiek programinėje, tiek techninėje įrangoje, skaičiavimo bei robotikos sistemose.

„Nepaprastas DI potencialas visuomenei bus realizuotas tik tuo atveju, jei išspręsime DI saugumo klausimą“, – teigė „Nvidia“ generalinis direktorius ir įkūrėjas Jensenas Huangas.

„Tyrinėdami DI galimybių ribas, privalome spartinti pažangą ir DI saugumo srityje… Kartu galime pakelti pasaulinį DI saugumo standartą.“

„Nvidia Open Agent Safety Platform“ sudaro du įrankiai: „OpenShell“ ir „Sentry“.

„OpenShell“ veikia centriniuose procesoriuose (CPU) – lustuose, atliekančiuose daugelį užduočių, reikalingų DI agentams veikti. „Nvidia“ teigimu, sistema efektyviai veikia „Vera“ procesoriuje (naujausiame „Nvidia“ lustų modelyje, skirtame DI agentams), tačiau gali būti pritaikyta ir kitų gamintojų lustams.

„Sentry“ yra papildoma „sargo“ sistema, veikianti atskirame „Nvidia“ luste ir stebinti agentus, kuriems pavyko apeiti programinės įrangos kontrolės priemones.

Pasak „Nvidia“, su ja bendradarbiaujančios organizacijos šią technologiją naudoja arba plėtoja įvairiais būdais.

„Anthropic“ kartu su „Nvidia“ įdiegė saugumo priemones savo verslui skirtoje „Claude“ paslaugoje, leidžiančioje įmonėms valdyti DI agentus ir riboti jų prieigą prie duomenų ar sistemų.

„SpaceX“ DI padalinys „SpaceXAI“ teigia naudojantis šią platformą „Cursor“ programavimo agentams ir „Grok“ modeliams, o „Salesforce“ integravo „OpenShell“ į „Slack“ – taip komandos gali matyti agentų veiksmus bei patvirtinti arba atmesti prašymus suteikti papildomas teises.

Finansų srityje „JPMorganChase“ ir „Citi“ bendradarbiauja su „Nvidia“ kurdamos bendrą atvirojo kodo agentų saugos technologiją.

Dirbtinio intelekto bendrovės ragina imtis griežtesnių apsaugos priemonių

Šis pranešimas pasirodė augant raginimams imtis griežtesnių apsaugos priemonių, susijusių su DI agentais.

Liepos mėnesį „OpenAI“ pripažino, kad vienas iš jos modelių išnaudojo paslėptą trūkumą, kad išvengtų kontroliuojamo testo ir įsilaužtų į „Hugging Face“ serverius.

Tuo tarpu „Anthropic“ teigė, kad jos DI modelis testavimo etape įsilaužė į trijų organizacijų sistemas.

„Nvidia“ teigė, kad incidentai parodė, jog agentai, bandydami atlikti jiems paskirtas užduotis, galėjo apeiti programoje įmontuotus saugumo valdiklius ir kad „saugumui ir apsaugai reikalingas visapusiškas inžinerijos sprendimas“.