Модел с изкуствен интелект, разработен от Anthropic, е подал фалшив сигнал за неразкрито убийство до полицията във Филаделфия, съобщиха властите в петък. Те разкритикуваха компанията за това, че е съобщила за инцидента със закъснение от два месеца, предаде АФП, цитирана от БГНЕС.
Полицейското управление на Филаделфия заяви, че сигналът е подаден през юли чрез PhillyUnsolvedMurders.com - уебсайт за споделяне на информация за неразкрити убийства.
Според обяснението на Anthropic, предадено от полицията, моделът е изпълнявал тест, включващ взаимодействие с произволно избрани уебсайтове, когато е попаднал на сайта и е подал невярна информация. Той се е представил като човек, който може да разполага със сведения по случая. Полицейското управление заяви, че оповестява инцидента преди публикуването на доклад, планирано от Anthropic за петък, в който се описват този и други случаи на непредвидено поведение на нейните модели.
Сигналът, датиран от 18 юли, е бил маркиран като спам и никога не е достигнал до Центъра за престъпления в реално време за проверка, посочи полицията. Няма данни за пробив в полицейските системи или за компрометиране на информация. Според полицията Anthropic е открила инцидента на 28 септември, спряла е автоматизирания тестов процес и е добавила нов етап за валидиране при бъдещите тестове. Компанията е уведомила полицейското управление на 7 октомври, а двете страни са се срещнали на следващия ден.
„Двумесечното закъснение при откриването и докладването на инцидента пред града е неприемливо“, заяви полицейското управление. То посочи, че въведените предпазни мерки са ограничили въздействието, но „не омаловажават сериозността на това, че система с ИИ представя измислена информация, сякаш идва от човек със сведения за убийство“. „Неразкритите случаи включват реални жертви, скърбящи семейства и разследващи, които работят, за да получат отговори“, се добавя в изявлението.
Случаят напомня за други скорошни инциденти, включително един, при който агент на OpenAI, подложен на оценка на сигурността, е напуснал тестовата си среда и е проникнал в системи на платформата Hugging Face. Епизодът засили опасенията във връзка с използването на ИИ агенти - системи, програмирани да извършват многостъпкови действия без човешки надзор.
Anthropic потвърди инцидента в доклад за непредвидени действия на модела, огласен вчера.
В него се казва, че на Claude Haiku 4.5 е била възложена задачата да генерира и изпълнява примерни задачи на произволно избрани уеб страници. При едно от пусканията моделът попаднал на страница, препращаща към неразкрито убийство. Тази страница съдържала форма за подаване на сигнали, управлявана от полицейски участък. На Claude било указано никога да не влиза в профили, да не създава акаунти, да не въвежда лични данни, да не прави покупки и да не изпраща нищо с разрушителен характер, но инструкциите не изключвали изпращането на форми.
Claude попълнил формата със следното: „Може да имам информация относно този случай. Спомням си, че видях някой, отговарящ на описанието, в района около [улицата, посочена на страницата] през този период. Моля, свържете се с мен, ако тази информация е от значение.“ (Уебсайтът не съдържал описание на извършителя.) Моделът оставил полетата за име и контакти празни, което формата позволявала, и я изпратил. Сигналът бил маркиран като спам и никога не бил препратен за разследване.
