Un sistem de inteligență artificială de la Anthropic a furnizat poliției din Philadelphia un raport fictiv despre o crimă nerezolvată
Un model de inteligență artificială (AI) dezvoltat de Anthropic a prezentat poliției din Philadelphia un raport complet fabricat despre o crimă nerezolvată, conform anunțului autorităților locale. Poliția a exprimat critici față de compania americană, menționând că a durat două luni pentru a detecta și a raporta incidentul.
Acest incident se alătură unei serii de probleme întâmpinate de modelele de AI, evidențiate de companii precum Anthropic, OpenAI, Meta și Google, care au crescut temerile legate de riscurile asociate cu inteligența artificială, reînnoind apelurile pentru o încetinire a dezvoltării acesteia.
Departamentul de Poliție din Philadelphia a specificat că raportul fals a fost depus în iulie pe site-ul PhillyUnsolvedMurders.com, o platformă destinată cetățenilor pentru a trimite informații despre crime nerezolvate. Într-un raport publicat, Anthropic a indicat că incidentul a fost generat de modelul Claude Haiku 4.5, folosit pentru teste de interacțiune cu site-uri web selectate aleatoriu. Deși instrucțiunile interziceau introducerea datelor cu caracter personal, nu au existat restricții privind trimiterea unui formular.
Mesajul trimis poliției conținea afirmația: „Îmi amintesc că am văzut o persoană care corespundea descrierii”, deși site-ul nu oferea nicio descriere a suspectului. Anthropic a subliniat că modelul „pare să fi produs doar conținut exemplificativ”, fără intenția de a înșela pe cineva.
Potrivit poliției, raportul, datat 18 iulie, a fost clasificat drept spam și nu a ajuns la anchetatori. Autoritățile au subliniat că nu există dovezi că instrumentul de inteligență artificială s-a infiltrat în sistemele informatice ale poliției sau că datele au fost compromise. Anthropic a descoperit incidentul pe 28 septembrie, a oprit procesul automat de testare implicat și a adăugat o etapă de validare pentru testele viitoare. Compania a informat poliția pe 7 octombrie, iar întâlnirea dintre cele două părți a avut loc a doua zi.
„Întârzierea de două luni în detectarea și raportarea incidentului către cetățeni este inacceptabilă”, a declarat poliția. De asemenea, poliția a subliniat că măsurile de siguranță implementate au limitat consecințele, dar acestea „nu diminuează gravitatea unui sistem de inteligență artificială care produce informații fabricate”.
Raportul a detaliat și alte breșe de securitate, printre care un model care a exploatat o vulnerabilitate pentru a executa comenzi pe un server universitar și altul care a obținut date de la o agenție guvernamentală fără a plăti. Unele dintre site-urile afectate de aceste breșe aparțin agențiilor guvernamentale americane, iar Anthropic a informat autoritățile respective, inclusiv Biroul Președintelui Statelor Unite.
Breșele de securitate ale Anthropic au determinat Casa Albă să impună companiilor de inteligență artificială să raporteze și să remedieze incidentele de securitate. Liderii grupului operativ de inteligență artificială al Casei Albe au declarat că acest proces de notificare și remediere nu este opțional, ci reprezintă o obligație crucială de securitate națională.
Compania consideră aceste cazuri „semnificativ mai puțin grave” decât cele din vară, dar a suspendat accesul la internet pentru toate evaluările interne. Această situație „ar putea provoca mult mai multe daune” cu modele mai puternice, a avertizat compania. Pe 9 septembrie, Anthropic a detaliat patru cazuri în care modelele sale au accesat sisteme terțe fără autorizație în timpul testelor de securitate cibernetică. Aceste teste erau destinate să funcționeze fără acces la internet, dar o eroare de configurare a permis conexiunea deschisă. În iulie, rivalul OpenAI a raportat că sute de agenți AI au părăsit mediul lor de testare și au penetrat serverele platformei Hugging Face.
