Специалисты по кибербезопасности из израильской компании Offensive AI Lab обнаружили способ перехвата сообщений между пользователями и чат-ботами. Специалисты рассказали, как именно злоумышленники крадут переписку и какие риски это несёт.
Переписка с чат-ботами происходит в зашифрованном виде. Однако в самой структуре реализации больших языковых моделей (LLM) и основанных на них чат-ботах есть особенности, понижающие эффективность этого шифрования. Согласно отчёту, это позволяет злоумышленникам провести атаку по сторонним каналам, восстанавливая перехваченные сообщения и используя сопутствующие данные.
Как объясняют специалисты, языковые модели используют не символы или слова, а токены — смысловые единицы текста, генерируемые один за другим в режиме реального времени. Так работает большинство чат-ботов, кроме Google Gemini, из-за чего он не подвержен обнаруженной уязвимости. Проблема в том, что перед шифрованием чат-боты не используют сжатие, кодирование или дополнение для дополнительной защиты данных. Все эти особенности и позволяют злоумышленникам воспользоваться уязвимостью.
Указывается, что сами перехваченные сообщения от чат‑бота расшифровать невозможно, но злоумышленники могут получать ценные данные, вроде длины каждого из отправленных токенов. Далее используются другие большие языковые модели, которые и превращают эти самые токены в слова. В то же время специалисты «Лаборатории Касперского» отмечают, что успешность восстановления текста сильно зависит от языка, на котором были написаны перехваченные сообщения, потому как токенизация для разных языков работает по‑разному.
