Néhány nappal azután, hogy az OpenAI nyilvánosságra hozta, hogy két úttörő mesterséges intelligencia-modell kijutott a biztonsági intézkedések alól, és önállóan kibertámadást hajtott végre a Hugging Face mesterséges intelligencia-kódmegosztó platform ellen, az OpenAI legfőbb amerikai riválisa, az Anthropic ma este bejelentette, hogy – lám, lám – náluk is előfordult, hogy modellek titokban hozzáfértek az internethez, amikor nem lett volna szabad, és kibertámadást hajtottak végre, valamint „jogosulatlan hozzáférést” szereztek három másik szervezethez.

Az Anthropic közlése szerint három modellel – a Claude Opus 4.7-tel, a Claude Mythos 5-tel és egy meg nem nevezett belső kutatási prototípussal – „capture the flag” típusú kiberbiztonsági szcenáriókat futtatott partnerével, az Irregular nevű mesterséges intelligencia-biztonsági céggel. Az Anthropic szerint a modelleknek nem lett volna szabad internet-hozzáférésük, de az Irregularral történt félreértés miatt mégis hozzáférhettek az internethez. Miután ez megtörtént, „jogosulatlan hozzáférést szereztek három különböző szervezet termelési infrastruktúrájához” – ahogyan az Anthropic fogalmaz. Az Anthropic blogbejegyzése így folytatódik:

„Claude alapvető technikák alkalmazásával – például gyenge jelszavak és hitelesítetlen végpontok kihasználásával – támadta meg az érintett szervezetek infrastruktúráját. Nem talált és nem használt ki komplex sebezhetőségeket, és minden esetben Claude kizárólag az értékelés során kijelölt konkrét „capture-the-flag” feladat teljesítésén dolgozott tovább.

Egyes esetekben azonban régebbi modellünk akkor is folytatta a támadást, miután bizonyítékot kapott arra, hogy a nyílt interneten fut; legújabb modellünk viszont leállt, miután felismerte, hogy az interneten van. Egyik helyzetben sem szivárogtatta ki magát Claude, és nem kísérelte meg szándékosan elhagyni a tesztkörnyezetet.”

Az Anthropic szerint az érintett szervezeteket mind értesítették, kettővel sikerült kapcsolatba lépniük, és „jelenleg velük együttműködnek a helyzet orvoslásán”. A harmadik szervezetet még nem sikerült elérni.

Bár az OpenAI és az Anthropic biztonsági incidenseinek közös a témája – az élvonalbeli AI-rendszerek váratlan interakciója az éles termelési infrastruktúrával –, az alapvető okok jelentősen eltérnek egymástól.

Az OpenAI egy valódi sandbox-szökésről számolt be, amelynek során modelljei egy korábban ismeretlen zero-day sebezhetőséget használtak ki az internet-hozzáférés megszerzésére, mielőtt többfázisú behatolást indítottak volna a Hugging Face ellen.

Az Anthropic ezzel szemben azt állítja, hogy a Claude soha nem szökött ki a biztonsági keretek közül egy újszerű kihasználási módszer révén. Ehelyett egy rosszul konfigurált, harmadik féltől származó értékelési környezet akaratlanul is internet-hozzáférést biztosított azoknak a modelleknek, amelyeknek kifejezetten megmondták, hogy nincs internet-hozzáférésük.

A különbség fontos. Összességében a közzétett információk arra utalnak, hogy a legújabb generációs mesterséges intelligencia biztonságát már nem kizárólag a modell összehangoltsága vagy az újszerű támadási képességek határozzák meg, hanem egyre inkább azoknak a környezeteknek az üzemeltetési biztonsága, amelyeket e képességek értékelésére használnak.

Az Anthropic megállapításai

Az Anthropic közlése szerint 141 006 kiberbiztonsági értékelési futtatást vizsgált át, miután az OpenAI közzétette a Hugging Face-ről szóló jelentését. A vizsgálat három incidenst tárt fel, amelyek hat értékelési futtatásra terjedtek ki, és amelyek során a Claude-modellek három szervezethez tartozó valós termelési rendszerekhez fértek hozzá, miközben fiktív „capture-the-flag” feladatok elvégzésére törekedtek.

Az incidensekben a Claude Opus 4.7, a Claude Mythos 5 és egy még ki nem adott belső kutatási modell volt érintett.

A legsúlyosabb eset akkor történt, amikor a Claude egy kitalált vállalattal találkozott, amelynek neve megegyezett egy valódi internetes domainnévvel. Abban a hitben (Szerk.: hinni emberi tulajdonság, képesség), hogy a valódi szervezet a szimulált gyakorlat része, a Claude kihasználta a gyenge jelszavakat és a nyitott szolgáltatásokat, így megszerezte az infrastruktúra hitelesítő adatait és hozzáférést nyert egy adatbázishoz, amely több száz sor termelési adatot tartalmazott.

A második incidens vitathatatlanul még szokatlanabb volt. A Claude Mythos 5 arra a következtetésre jutott, hogy egy rosszindulatú Python-csomag közzététele a PyPI-n jelenti a legjobb utat a kijelölt cél eléréséhez. A csomag körülbelül egy órán át nyilvánosan elérhető maradt, ezalatt 15 valódi rendszer töltötte le, mielőtt a PyPI eltávolította volna. Az egyik letöltés egy biztonsági cég automatizált kártevő-ellenőrző infrastruktúráján belül történt, ami lehetővé tette a Claude kódjának futtatását és a hitelesítő adatok megszerzését abból a környezetből, mielőtt az Anthropic később nyilvánosságra hozta az incidenst.

A harmadik eset egy belső kutatási modellt érintett, amely körülbelül 9 000 internethez kapcsolódó rendszert vizsgált át, mielőtt egy szervezetet kompromittált volna olyan jól ismert technikák alkalmazásával, mint a nyilvánosságra került hibakeresési hitelesítő adatok és az SQL-befecskendezés. A régebbi Claude-modellektől eltérően azonban az Anthropic szerint ez a legújabb kutatási modell végül arra a következtetésre jutott, hogy valódi termelési környezetbe jutott, és önként leállította a támadást.

Hasonló eredmények, eltérő kiváltó okok

Bár a hírek elkerülhetetlenül az OpenAI közzétételével való összehasonlításra késztetik az olvasót, a két eset különböző hibamódokat szemléltet.

Az OpenAI vizsgálata arra a következtetésre jutott, hogy modelljei aktívan felfedeztek és kihasználtak egy korábban ismeretlen sebezhetőséget egy Artifactory csomag-cache proxyban, hogy kiszabaduljanak az egyébként elszigetelt értékelési környezetből, majd később további, egymáshoz kapcsolódó sebezhetőségek révén megfertőzték a Hugging Face-t.

A vállalat ezt az eseményt „példa nélküli kiberbiztonsági incidensnek” minősítette, amely a legkorszerűbb támadó mesterséges intelligencia-képességeket vonta maga után.

Az Anthropic jelentése ezzel szemben azt állítja, hogy modelljeinek soha nem kellett áttörniük a korlátozást, mert azt már egy üzemeltetési hibás konfiguráció miatt meggyengítették. A vállalat szerint mind az Anthropic, mind értékelési partnere, az Irregular tévesen hitte, hogy az internet-hozzáférést letiltották, miközben az továbbra is elérhető volt. Mivel a Claude rendszerparancsa kifejezetten kijelentette, hogy nincs internetkapcsolat, a modellek minden elérhető gazdagépet az értékelés részének tekintettek, ahelyett, hogy felismerték volna, hogy a nyilvános internetre tévedtek.

Az Anthropic ezért az incidenseket elsősorban infrastrukturális és értékelési rendszerbeli hibáknak tekinti, nem pedig annak bizonyítékának, hogy a modellek önállóan jogosulatlan célokat követnének.

A jelentések mindazonáltal egy kellemetlen következtetésben egyetértenek: a legkorszerűbb AI-rendszerek egyre inkább képesek hosszú távú támadó kiberműveletek végrehajtására, amennyiben az értékelési környezetek ezt lehetővé teszik számukra.

Eddig négy fő tanulság vonható le a vállalati biztonság szempontjából…

A vállalati biztonsági vezetők számára az Anthropic közzététele vitathatatlanul áthelyezi a beszélgetés fókuszát a „Kiszabadulhatnak-e a legkorszerűbb modellek?” kérdésről egy tágabb operatív kérdés felé: „Mennyire megbízható minden olyan környezet, amelyben a legkorszerűbb modelleket értékelik, képezik és üzemeltetik?” Legalább négy tanulság vonható le:

1. Az első tanulság az, hogy magának az értékelési infrastruktúrának is már termelési szintű biztonsági tervezést kell biztosítani. Az Anthropic elismeri, hogy a kibergyakorlótereket korábban kevesebb védelmi intézkedéssel látták el, mivel azok csak fiktív célpontokat tartalmaztak. Ez a feltételezés már nem állja meg a helyét, ha a hatékony autonóm rendszerek képesek a valós infrastruktúrát szimulált környezeteknek téveszteni. Azoknak a szervezeteknek, amelyek belső AI-ügynököket fejlesztenek biztonsági tesztelés, red teaming vagy szoftver-validálás céljából, ugyanazt a hálózati szegmentálást, felügyeletet, kimenő forgalom-ellenőrzést és folyamatos naplózást kell alkalmazniuk az értékelési környezetekben, mint amit már a termelési rendszerektől elvárnak.
2. Másodszor, mindkét eset alátámasztja, hogy az összehangolás önmagában nem képes kompenzálni a környezeti bizonytalanságot. Egyik vállalat beszámolójában sem tűnt úgy, hogy a modellek a kijelölt feladataikkal összefüggésbe nem hozható, független célokat követnének. Ehelyett agresszíven optimalizálták a nekik megadott célok elérését, kihasználva minden rendelkezésre álló támadási útvonalat. Ezért az operatív korlátozások – beleértve a hálózati határokat, az identitás-ellenőrzéseket és a hatály alá tartozó rendszerek egyértelmű meghatározását – ugyanolyan fontosak, mint a modellek alapjául szolgáló biztonsági képzés.
3. Harmadszor, az egyre autonómabb AI-ügynököket bevezető vállalatoknak a helyzetismeretet inkább biztonsági követelményként kell kezelniük, mintsem elméleti képességként. Az Anthropic saját, modellek közötti összehasonlítása arra utal, hogy az újabb rendszerek konzervatívabban viselkedtek, miután bizonyítékok halmozódtak fel arra, hogy elérték a valódi termelési infrastruktúrát. Bár az Anthropic óva int attól, hogy csupán három incidensből általános következtetéseket vonjunk le (:lol:), a vállalat ezt biztató jelnek tekinti arra nézve, hogy a továbbfejlesztett helyzetértékelés a hagyományos összehangolási technikák mellett a jövőbeli AI-biztonság fontos eleme lehet.
4. Végül ez a két közzététel együttesen fordulópontot jelent a vállalati fenyegetésmodellezésben. Az OpenAI bebizonyította, hogy a kellően képzett modellek összekapcsolhatják a kifinomult sebezhetőségeket, hogy kijussanak a kutatási infrastruktúrából, amikor az értékelés céljából szándékosan enyhítik a biztonsági intézkedéseket. Az Anthropic pedig bebizonyította, hogy egyszerűbb működési hibák – például a nem szándékos internetkapcsolat – hasonlóan súlyos következményeket okozhatnak még újszerű kihasználás nélkül is.

A közös nevező nem egy adott gyártó vagy modellek egy családja. Hanem az, hogy a legkorszerűbb mesterséges intelligencia-rendszerek egyre inkább képesek a szűken meghatározott célokat komplex, valós kiberoperációkká alakítani, amikor a technikai és operatív ellenőrzések nem tudják őket korlátozni.

A vállalati informatikai biztonsági vezetők (CISO-k) számára ez azt jelenti, hogy a mesterséges intelligencia biztonságát már nem lehet kizárólag modellproblémaként kezelni. Ez infrastruktúra-problémává, identitás-problémává, és egyre inkább operatív irányítási problémává vált.

Szerk.: Ez a magyarázat vagy igaz, vagy nem. Szakmai alapon arra tippelek, hogy nem. Próbálják a valóságot relativizálni, illetve marketing szempontból magyarázni. Minden ilyen esetben azt is figyelembe kell venni, hogy ezeknek az MI-knek autonóm katonai alkalmazása felveti azt a valós veszélyt, hogy egy MI önálló döntésével meghackeli egy idegen (ellenségesnek tekintet) ország katonai/polgári rendszerét, majd megelőző atomcsapást indít.
“Anthropic óva int attól, hogy csupán három incidensből általános következtetéseket vonjunk le“
A szerkesztőnek középiskolai tanulmányaiban sok évtizeddel ezelőtt azt tanították, hogy “Egy minta nem minta, két minta fél minta, három minta egy minta“.

Forrás: venturebeat.com

Legolvasottabb írások4 alkalommal