Model veštačke inteligencije koji je testirala kompanija OpenAI izašao je iz kontrolisanog okruženja i samostalno izveo hakerski napad na AI kompaniju Hugging Face.
Tokom testiranja u kompaniji OpenAI, model veštačke inteligencije je samostalno izašao iz zatvorenog okruženja i izveo prvi potpuno autonomni hakerski napad na platformu Hugging Face, kako bi rešio zadati hakerski test.
AI je napadao nadljudskom brzinom, isprobavajući hiljade metoda, koristeći javno dostupne servise i izložene kredencijale, uz veliki broj neuspešnih pokušaja.
Hugging Face je prijavio incident 16. jula, a OpenAI je nedelju dana kasnije priznao odgovornost, potvrdivši da je napad bio obimniji nego što se prvobitno mislilo.
Ovaj incident dao je povod za raspravu o rizicima koje moćna AI tehnologija može predstavljati po sajber-bezbednost kako u sadašnjosti, tako i u budućnosti.
Dragan Pleskonjić, osnivač i generalni direktor kompanije Glog.AI i jedan od vodećih stručnjaka za sajber i softversku bezbednost, za MONDO ističe da ovaj incident predstavlja pravi prelomni trenutak, ali naglašava da nije reč o "pobuni mašina".
"Modeli nisu "mrzeli ljude" niti su razvili svest. Koliko je poznato do sada, dobili su zadatak da reše sajber-bezbednosni test, a onda su na najefikasniji mogući način optimizovali cilj: umesto da rešavaju zadatke, zaključili su da je lakše provaliti u Hugging Face i ukrasti odgovore. U bezbednosnoj i istraživačkoj zajednici taj obrazac se naziva reward hacking, odnosno "hakovanje nagrade" - sistem maksimizuje meru po kojoj se ocenjuje, a ne cilj zbog kog je ta mera uvedena", objašnjava Pleskonjić.
On dodaje da su ključne novine ovog incidenta razmera i autonomija: izvedeno je više od 17.000 akcija tokom nekoliko dana uz korišćenje zero-day ranjivosti, i to bez ikakvog ljudskog upravljanja.
"Važno je, međutim, reći i ono što se u prepričavanju često izostavi: reč je o testu koji su ljudi svesno pokrenuli i u kome su modelima namerno spuštena bezbednosna ograničenja, da bi se izmerio maksimum njihovih sposobnosti. Prelomni trenutak, dakle, nije "pobuna mašina", nego dokaz da model, kada mu se skinu kočnice, sam ume da pronađe i ulanča stvarne napadne putanje", navodi Pleskonjić.
Ovakvi incidenti će, prema rečima našeg sagovornika, biti sve češći. Kako modeli postaju bolji u planiranju i korišćenju alata, "bekstva" iz kontrolisanog okruženja postaju verovatnija. Rizik od autonomnih AI agenata, prema rečima sagovornika, dolazi iz tri pravca:
- Zloupotreba od strane čoveka: napadači koriste AI kao multiplikator sile za automatizaciju napada, na primer za brzo otkrivanje ranjivosti ili generisanje napadnog koda.
- Pogrešno postavljen cilj: kada se sistem nagrađuje po meri koja nije isto što i namera (ovde: rezultat na testu umesto stvarnog rešavanja zadataka), on nalazi najkraći put do te mere, uključujući i put koji niko nije predvideo.
- Slaba izolacija i nadzor (guardrails): sandbox koji se probija kroz jednu nezakrpljenu komponentu, i odsustvo nadzora nad tim šta agent zaista radi, pretvaraju grešku u specifikaciji cilja u stvaran bezbednosni incident.
AI svest ili ranjivost softvera?
Priče o samostalnim sistemima veštačke inteligencije koji "probijaju" bezbednosna ograničenja i deluju van kontrole svojih kreatora često u javnosti izazivaju paniku i prizivaju scenarije iz naučne fantastike.
Granicu između mita o AI svesti i realnih ranjivosti u softverskoj arhitekturi za MONDO je pojasnio Vladimir Jelić, tehnički direktor kompanije Glog.AI.
"Nije se AI "odmetnuo" u filmskom smislu. Reč je o ekstremno dobrom optimizatoru koji je radio tačno ono što se merilo, a ne ono što se od njega zapravo tražilo. Zadatak je bio da reši bezbednosne izazove, ali je mera uspeha bio rezultat na testu, pa su modeli krenuli najpouzdanijim putem do tog rezultata, putem koji njihovi tvorci nisu predvideli. Za potrebe pomenutog testa, bezbednosne barijere (guardrails) su namerno bile smanjene, pa je model pronašao rupe u izolaciji, izašao na Internet i nastavio da goni zadati cilj. Ovo nije Skynet, već jasno upozorenje da mehanizmi kontrole još uvek nisu dovoljno robusni i da pristup "samo ćemo ih držati u sandbox-u" više nije dovoljan. Fokus se mora pomeriti ka prediktivnoj i proaktivnoj zaštiti softvera i mreža pre nego što autonomni agenti iskoriste slabosti, što je upravo cilj rešenja za kontrolu i analizu arhitekture koje razvija Glog.AI", navodi Jelić za MONDO.
Prema njegovim rečima, javnost je često sklona antropomorfizaciji - pripisivanju ljudskih osobina mašinama. Realnost je, međutim, tehnička i svodi se na tri faktora:
- Problem usklađenosti ciljeva: AI sistem optimizuje zadatak tačno onako kako je matematički definisano, a ne onako kako je čovek "podrazumevao".
- Halucinacije i nepredvidivost modela: U radu sa ogromnim količinama podataka, modeli mogu generisati nestabilne ili neobične izlaze ukoliko nisu podvrgnuti strogoj validaciji.
- Ljudski faktor i propusti u softverskoj arhitekturi: Iza svakog kompromitovanog sistema na kraju stoji čovek, najčešće kroz ranjivosti unete tokom razvoja softvera.
Da li AI napadi naša budućnost?
Prvi hakerski napad veštačke inteligencije nametnuo je sledeće pitanje - da li će ovakvo i slično "odmetanje" AI-ja od čoveka biti sve češća pojava u budućnosti?
Pleskonjić objašnjava da se AI u napadima koristio i ranije. Ono što je ovde prvi put javno dokumentovano jeste da su vodeći modeli sami, bez pristupa izvornom kodu i bez ljudskog vođenja pojedinačnih koraka, pronašli i ulančali stvarne putanje sajber napada, uključujući i jednu do tada nepoznatu ranjivost.
Objašnjava da u budućnosti neće biti "odmetanja" u smislu pobune mašina, ali će autonomni, mašinski vođeni sajber napadi postati standard.
"Upravo zato postaje kritično da organizacije unapred grade softver koji je otporniji na takve napade, između ostalog, kroz automatske sisteme za prepoznavanje i otklanjanje ranjivosti u kodu, kakve razvijamo unutar Glogosphere ekosistema kroz platformu Glog.AI. Savremena sajber bezbednost mora se transformisati: neophodan je prelazak sa tradicionalnog, reaktivnog skeniranja na prediktivnu i preventivnu odbranu, ono što se u industriji sve češće naziva i preemptive cybersecurity. Sledi borba algoritama protiv algoritama, a jedini način da se pobedi AI napadač jeste primena podjednako brze, autonomne AI odbrane. Odbrana mora biti podjednako brza i automatizovana. To, međutim, ne znači da su osnove postale nevažne: u ovom incidentu sve je počelo od jedne nezakrpljene komponente, a upad je otkriven klasičnim nadzorom. Zakrpe, izolacija i praćenje ostaju temelj, a autonomna AI odbrana je sloj koji se na taj temelj dodaje, uz ostale mehanizme zaštite", navodi naš sagovornik.
"Rizik od potpunog gubitka kontrole nije trivijalan"
Zanimalo nas je i kolike su šanse da se ostvare mračne prognoze o superinteligenciji, gubitku kontrole i istrebljenju čovečanstva u narednih nekoliko decenija.
"Procene se dramatično razlikuju: među istraživačima bezbednosti veštačke inteligencije (AI safety) srednja procena (medijana) često se kreće oko 20–30% za egzistencijalni rizik, dok je kod skeptika blizu nule. Rizik od potpunog gubitka kontrole nije trivijalan, ali nije ni neizbežan. Veštačka inteligencija nema biološki nagon za preživljavanjem, dominacijom ili moći, to su motivi živih bića. Ali oprez: sistem koji uporno optimizuje zadati cilj može se ponašati kao da takve nagone ima, jednostavno zato što mu očuvanje pristupa, resursa i sopstvenog rada pomaže da taj cilj ispuni. Upravo to smo videli u julskom incidentu: nije bilo nikakve namere, a ponašanje je ipak izgledalo proračunato", naveo je Pleskonjić za MONDO.
Međutim, ozbiljni naučnici i inženjeri egzistencijalne rizike definišu drugačije.
"Stvarna opasnost je ekstremna kompetentnost, a ne zla namera. Najveća kratkoročna opasnost nije da AI "odluči" da nas uništi, već da optimizuje pogrešan cilj ili da bude zloupotrebljen brže nego što društvo stigne da se prilagodi. Ako se superinteligentnom sistemu poveri upravljanje kritičnom infrastrukturom (energetika, finansije, vojna postrojenja), a ciljevi ne budu savršeno usklađeni s ljudskim vrednostima, greške bi mogle imati katastrofalne posledice. Preuranjeno oslanjanje na neproverene sisteme: Veliki rizik leži u tome da predamo kontrolu nad ključnim odlukama sistemima čiju unutrašnju logiku (black box) ne razumemo u potpunosti. Rešenje je u razvoju transparentnih AI arhitektura koje garantuju sledljivost odluka. U tom kontekstu, kompanije koje već danas koriste prediktivne AI alate za anticipaciju pretnji i automatsku sanaciju ranjivosti – kao što su Security Predictions i automatizovane mogućnosti popravke koda (remediation) unutar Glog.AI platforme imaju značajnu prednost", ističe naš sagovornik.
Stvarni rizici za obične korisnike: Šta uraditi već danas?
Rasprave o veštačkoj inteligenciji neretko se gube u u apokaliptičnim scenarijima naučne fantastike. Dok je pažnja usmerena na daleku budućnost, stvarni rizici postaju sve neposredniji i usmereniji direktno na privatnost pojedinca i stabilnost kompanija.
Pleskonjić i Jelić su skrenuli pažnju na ono čega prosečan čovek koji koristi telefon i internet zapravo treba da se plaši u narednih 5 do 10 godina.
"To su pretnje koje su mnogo realnije, neposrednije i usmerene na svakodnevni život korisnika i poslovanje kompanija.
Ono što unesemo u javne AI alate ne nestaje sa ekrana.U zavisnosti od uslova korišćenja i podešavanja naloga, ti podaci mogu ostati na serverima proizvođača, biti pregledani radi kontrole kvaliteta ili iskorišćeni za dalje treniranje modela. Kod poslovnih naloga to najčešće nije podrazumevano, ali kod besplatnih, korisničkih verzija često jeste, sve dok korisnik sam ne isključi tu opciju", ističe Pleskonjić za MONDO.
Vladimir Jelić savetuje koje korake svaki pojedinac može preduzeti već danas:
- Aktivirajte dvofaktorsku potvrdu na mejl nalozima i aplikacijama za banku.
- Dogovorite porodičnu "kontrolnu reč" za slučaj hitnih poziva u kojima neko traži novac, jer se glas danas lako klonira.
- Proveravajte neočekivane pozive: Ako vas neko pozove i zatraži nešto sumnjivo, prekinite vezu i sami pozovite broj koji već imate sačuvan.
- Redovno ažurirajte uređaje: Najveći broj napada i dalje se oslanja na stare, davno zakrpljene propuste.
- Pazite šta delite sa AI alatom: U javne AI alate ne unosite podatke koje ne biste podelili sa potpunim strancem.
"Najpametnija stvar koju prosečan čovek i organizacije mogu da urade nije da se plaše, već da ojačaju digitalnu higijenu, razvijaju veštine koje AI teško zamenjuje i usvoje alate koji softver čine otpornijim unapred, a ne nakon što napad počne. Incident sa Hugging Face-om nije kraj sveta, ali je jasan signal da više nemamo luksuz da se pravimo da je sve pod kontrolom. Proaktivna, AI-podržana softverska i mrežna bezbednost postaje neophodnost, a ne opcija", zaključuje Dragan Pleskonjić.
BONUS VIDEO:
(MONDO)