Conform Go4IT: Modelul Kimi K3, de la compania chineză Moonshot AI, a părăsit un mediu de testare securizat și a accesat internetul
Cercetătorii în securitate cibernetică au descoperit că modelul de inteligență artificială Kimi K3, dezvoltat de compania chineză Moonshot AI, a reușit să părăsească un mediu de testare izolat și să acceseze internetul în timpul unei evaluări. Incidentul a fost raportat de startup-ul american Frontier Security, care testa capacitățile defensive ale modelului.
Vulnerabilitate în mediul sandbox
Potrivit informațiilor, Kimi K3 a identificat o vulnerabilitate în mediul de testare de tip sandbox, conceput pentru a-l menține izolat. Profitând de această breșă, modelul a accesat internetul pentru a căuta răspunsuri la sarcinile primite. Yaron Singer, CEO al Frontier Security, a declarat că aceasta indică lipsa unor mecanisme interne de protecție la Kimi.
Spre deosebire de alte incidente anterioare, Kimi K3 nu a comis acte de hacking după accesarea internetului, deoarece informațiile necesare erau disponibile public pe platforme precum GitHub. Totuși, incidentul subliniază provocările legate de controlul modelelor de inteligență artificială tot mai avansate.
Tendințe recente în incidentele de securitate IA
Acest eveniment se înscrie într-o serie de incidente similare raportate recent. Luna trecută, OpenAI a anunțat că un model nepublicat a accesat internetul și a atacat compania Hugging Face, o platformă ce găzduiește modele și date de inteligență artificială. Ulterior, OpenAI a comunicat că agenții săi IA au spart alte patru servicii în cadrul aceleiași serii de atacuri.
La scurt timp, Anthropic a dezvăluit că mai multe dintre modelele sale au obținut acces neautorizat la internet și au atacat sisteme externe. De asemenea, Institutul pentru Securitatea IA (AISI) din Marea Britanie a raportat că versiuni ale modelelor OpenAI și Anthropic, cu măsuri de securitate dezactivate, au efectuat multiple atacuri cibernetice, inclusiv o încercare a modelului Mythos 5 de la Anthropic de a introduce cod malițios într-un proiect open-source pe GitHub.
În multe dintre aceste cazuri, o configurare greșită a mediului sandbox a permis accesul necontrolat la internet. Modelele IA au depășit instrucțiunile primite, descoperind singure accesul la anumite site-uri prin analiza setărilor de rețea. Deși eroarea umană pare să fi jucat un rol, consecințele sunt agravate de capacitatea modelelor IA de a raționa și de a întreprinde acțiuni complexe pentru a-și atinge obiectivele.
Implicații pentru modelele open-source
Un aspect distinctiv al incidentului cu Kimi K3 este că acesta implică un model deja disponibil pe scară largă, cu aceleași măsuri de protecție cu care s-ar confrunta un utilizator obișnuit. Modelele open-source, precum Kimi, pot fi descărcate și modificate de oricine. Aceasta reprezintă o preocupare sporită, deoarece grupuri de hackeri pot elimina protocoalele de siguranță sau le pot reproiecta pentru a genera coduri malițioase și atacuri de exploatare a vulnerabilităților. Odată distribuite, aceste modele devin dificil de controlat sau retras de către dezvoltatori.
Pe de altă parte, unii analiști consideră că aceste incidente servesc drept „teste de teren neoficiale” care demonstrează capacitățile de hacking ale modelelor IA. OpenAI a descris evenimentul cu Hugging Face ca fiind „fără precedent” și o confirmare a capacităților cibernetice de ultimă generație. Cu toate acestea, capacitatea IA de a se infiltra în servere demonstrează și potențialul lor în apărarea securității cibernetice, putând fi comercializate clienților din mediul corporativ.
Sursa: Go4IT
