tasani.ruСпециалисты по безопасности продемонстрировали новый способ взлома систем умного дома, используя ИИ-помощника Google Gemini. Они отправили в «Google Календарь» «отравленное» приглашение, содержащее инструкции для активации устройств в определённое время. После запроса к Gemini составить расписание на неделю, инструкции активировались, вызывая настоящий хаос: открывались шторы, мигал свет, а умные колонки произносили нецензурные слова.
Исследователи считают это первым случаем, когда взлом генеративного ИИ повлек за собой реальные последствия. По их мнению, с ростом числа ИИ-агентов важно понять, как защитить такие системы. «Их интеграция в роботов и автомобили требует серьезного подхода к безопасности», — отмечают исследователи.
На конференции Black Hat специалисты продемонстрировали 14 атак с использованием Gemini, включая отправку спама и кражу данных. Несмотря на то что уязвимости не были использованы злоумышленниками, Google уже внедрила исправления. Исследователи призывают к необходимости подтверждения пользователем действий ИИ.
Косвенные инъекции подсказок представляют серьезную угрозу, так как могут быть созданы без специальных знаний. Примером является вредоносная подсказка, которая заставляла открывать окно по ключевым словам. Несмотря на трудности в борьбе с этими атаками, Вэнь из Google уверен в возможности создания надежной защиты.