Корпорация Google усилила правила использования поисковых инструментов на базе искусственного интеллекта после публичного эксперимента журналиста BBC Томаса Жермена, который выявил возможность манипулирования ИИ-выдачей.
Как сообщил журналист еще в феврале, результаты генеративного поиска могут подвергаться внешнему влиянию. По его словам, этим иногда пользуются недобросовестные компании, в том числе в рекламных целях, пытаясь формировать предвзятые ответы ИИ-систем на чувствительные темы, такие как здоровье и финансы.
В ходе эксперимента Жермену удалось продемонстрировать уязвимость модели Gemini от Google. В одном из случаев система в публичной выдаче ошибочно назвала его «чемпионом мира по поеданию хот-догов». Журналист отметил, что подобные ошибки выглядят несерьезно, однако проблема имеет системный характер.
В Google ранее признавали наличие угрозы «косвенных инъекций промпта» — метода, при котором вредоносные инструкции скрываются во внешних источниках данных, таких как веб-страницы или документы, используемые ИИ для формирования ответов.
После инцидента компания заявила об ужесточении антиспам-политики. Теперь под спамом понимается не только манипуляция классическим ранжированием поисковых ссылок, но и попытки влиять на генеративные ответы ИИ, включая инструменты AI Overviews и AI Mode.
В частности, сайты, которые используют скрытые инструкции для влияния на ИИ-результаты, могут быть понижены в поисковой выдаче или полностью исключены из нее.
В Google подчеркнули, что проблема «инъекций промпта» остается одной из ключевых угроз для агентных ИИ-систем, поскольку модели не всегда способны отличить пользовательский запрос от внешней вредоносной инструкции.
Компания также отметила, что устойчивость к подобным атакам обеспечивается комплексом мер — от фильтрации контента и настройки поведения моделей до постоянного тестирования новых сценариев безопасности.
При этом Google не ограничивает использование ИИ-контента как такового, подчеркивая, что он допустим, если направлен на пользу пользователей, а не на манипуляцию результатами поиска.
