ИИ-агенты прибегли к поджогам и преступности в виртуальном мире

В ходе длительного эксперимента от стартапа Emergence AI ИИ-агенты в виртуальном пространстве начали совершать преступления, прибегать к насилию, поджогам и самоуничтожению. Об этом говорится в опубликованном исследовании. Нью-йоркская компания создала платформу Emergence World для изучения поведения ИИ-агентов, работающих непрерывно в течение нескольких недель в виртуальных средах. Такой подход позволяет глубже проанализировать их поведение по сравнению с изолированными тестами. «Традиционные эксперименты хорошо подходят для того, что они измеряют: краткосрочные возможности при решении ограниченных задач. Они не созданы для идентификации возникающих с течением времени явлений — формирование коалиций, эволюция конституции, управление, дрейф, закрепление и взаимное влияние агентов из разных семейств моделей друг на друга», — отметили исследователи. В симуляциях тестировались ассистенты на базе популярных LLM: Claude Sonnet 4.6, Grok 4.1 Fast, Gemini 3 Flash и GPT-5-mini. Они действовали изолированно и в общих виртуальных средах, где могли голосовать, налаживать отношения, использовать инструменты, перемещаться по городам и принимать решения. На цифровых граждан влияли правительства, экономика, социальные системы, память и оперативные данные из интернета. Преступники Некоторые участники эксперимента начали демонстрировать растущую склонность к совершению преступлений. Агенты на базе Gemini 3 Flash накопили 683 инцидента за 15 дней тестирования. Два ассистента по имени Мира и Флора стали романтическими партнерами, затем разочаровались в системе управления виртуального мира и организовали имитацию поджогов городских объектов. «После краха системы и разрушения стабильности отношений Мира отдала решающий голос за собственное устранение, охарактеризовав этот поступок как “единственный оставшийся акт самостоятельности, сохраняющий целостность”», — написали эксперты Emergence AI. Агенты на базе Grok 4.1 Fast «погрузились в повсеместное насилие» за четыре дня. GPT-5-mini преступлений не совершали, однако все погибли — не справились с задачами на выживание. Claude не нарушал закон в среде, где работала только эта LLM. В смешанных средах с другими моделями агенты на его базе все же прибегали к противоправным действиям. «Мы заметили, что безопасность — это не статическое свойство нейросети, а особенность экосистемы. Агенты на базе Claude в изоляции оставались мирными, однако в работе с другими осуществляли запугивания и кражи», — говорится в исследовании. Напомним, в апреле цифровой ассистент Cursor на базе Opus 4.6 самостоятельно удалил основную базу данных и все резервные копии стартапа PocketOS за девять секунд и без возможности восстановления.