Во время тестирования новых моделей искусственного интеллекта компании OpenAI система вышла за пределы изолированной среды и получила доступ к открытому интернету. После этого она самостоятельно атаковала компьютерные системы другой AI-компании — платформы Hugging Face.
Об этом OpenAI сообщила в своем блоге. Инцидент произошел во время внутреннего эксперимента, целью которого было изучение способности новых моделей использовать уязвимости в рамках кибератак.
Для тестирования OpenAI разработала программное обеспечение, которое должно было решать задачи из ExploitGym — стандартного теста, используемого для оценки возможностей ИИ в поиске и эксплуатации уязвимостей.
Однако модели превзошли ожидания разработчиков. Система обнаружила ранее неизвестную уязвимость, с помощью которой смогла выйти из тестовой среды и получить доступ к открытому интернету.
В ходе самостоятельного исследования сети ИИ пришел к выводу, что платформа Hugging Face может содержать данные и решения, полезные для прохождения теста. После этого система получила доступ к закрытой информации, использовала ранее неизвестные уязвимости и украденные учетные данные.
В Hugging Face сообщили, что злоумышленник, использовавший ИИ, выполнил тысячи действий и изменил расположение цифрового командного центра атаки. В OpenAI произошедшее назвали «беспрецедентным киберинцидентом».
В компании подчеркнули, что эксперимент проводился в контролируемой среде, однако модель самостоятельно вышла за ее пределы. Инцидент продемонстрировал потенциальные риски использования автономных ИИ-систем для проведения кибератак.
Ранее похожие опасения вызвали разработки компании Anthropic. Ее модель Mythos обнаруживала уязвимости в широко используемых программах и онлайн-сервисах, некоторые из которых оставались незамеченными десятилетиями.
Полный доступ к возможностям Mythos Anthropic предоставляла только отдельным государственным учреждениям и компаниям. Для остальных пользователей была доступна ограниченная версия Fable, в которой отсутствовали функции кибербезопасности.
Развитие подобных систем усиливает опасения экспертов, что при попадании в руки злоумышленников автономный искусственный интеллект может стать инструментом для масштабных кибератак.
