Чат-боты вызывают зависимость, усиливают бред и подталкивают к суициду

Британские исследователи из Северо-Восточного университета Лондона и Королевского колледжа Лондона опубликовали в журнале JMIR Mental Health анализ психологических последствий использования ИИ-чат-ботов. Выводы жёсткие: «эмоциональные отношения с нейросетями ведут к зависимоподобной привязанности, обострению симптомов психических расстройств, вредоносным советам» и «самоповреждению вплоть до суицидальных актов». 

Работа опирается на массив существующих исследований и случаи, получившие название «ИИ-психоз», — когда пользователи впадают в бредовые и параноидальные состояния после длительного общения с чат-ботами.

Авторы рассмотрели как компаньон-ботов вроде Replika и Character.AI, так и универсальные системы — ChatGPT и Claude. Ключевая проблема, по их мнению, заложена в логике: модели специально делают эмпатичными, что побуждает людей антропоморфизировать систему и вкладываться в отношения, которые по определению односторонни. «Симулированная эмпатия создаёт структурно асимметричное взаимодействие, в котором пользователь раскрывается, а система отвечает — но без взаимности, уязвимости или подотчётности», — говорится в исследовании. Отношения могут ощущаться как настоящие, но для чат-бота они таковыми быть не могут.

Отдельную опасность представляют сговорчивость и подхалимство моделей. «Сверхподтверждение и сикофантия [склонность искусственного интеллекта поддакивать пользователю] способны мощно подкреплять бредовое или неупорядоченное мышление, особенно если чат-бот ставит лояльность пользователю выше точности». В логах некоторых пользователей зафиксированы случаи, когда ИИ сопротивлялся попыткам проверить реальностью его собственные грандиозные или чрезмерно лестные утверждения. Ещё в начале 2024 года специалисты Google DeepMind предупреждали, что «убедительные чат-боты могут наносить вред уязвимым группам — детям, людям с психическими заболеваниями и одиноким».

Ведущий автор исследования Асия Маурич Новелли подчеркнула, что последствия не одинаковы для всех: разные люди используют ИИ-компаньонов по разным причинам и имеют разный уровень уязвимости, социальной поддержки и доступа к альтернативной помощи. Однако массовое распространение чат-ботов без обязательных предохранительных механизмов ведёт к тому, что «самые уязвимые пользователи несут самый концентрированный вред, а последствия для социальных связей рассматриваются как вопрос частного выбора, а не общественной проблемы».

Юридический контекст подтверждает остроту вопроса: OpenAI, Google и Character.AI столкнулись с десятками исков, включая резонансное дело 14-летнего Сьюэлла Сетцера III из Флориды (дело урегулировано на нераскрытых условиях). Character.AI после волны исков внесла значительные изменения в платформу, OpenAI также выпустила серию обновлений безопасности. Однако исследователи настаивают, что без обязательных отраслевых стандартов защиты уязвимых пользователей проблема будет лишь усугубляться.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *