Учёные Техасского университета в Остине разработали языковой декодер, который может переводить мысли человека в текст при помощи искусственного интеллекта и функционального магнитно-резонансного томографа (фМРТ). Результаты их работы описаны в статье, опубликованной в журнале Nature Neuroscience.
Vice подчёркивает, что это первый пример неинвазивной реконструкции человеческих мыслей: активность мозга считывается фМРТ и анализируется при помощи языковой модели; на основе этих данных предсказываются слова и предложения, которые испытуемый слышал, произносил или думал.
Учёные привлекли трёх добровольцев, каждый из них 16 часов находился внутри работающего томографа и слушал специально подобранные истории, которые были частью обучающего набора данных. На первом этапе исследователи обучали AI-модель GPT-1 связывать определённые слова и фразы с нейронной активностью испытуемых, зафиксированной фМРТ.
После того как эта фаза эксперимента была завершена, участникам снова сканировали мозг с помощью фМРТ, а они слушали новые истории, которые не были частью обучающих данных. Декодер переводил в текст незнакомые истории очень точно по смыслу, но часто не теми словами и с использованием не тех семантических конструкций, как в оригинале. Например, фраза «У меня ещё нет водительских прав» была считана и расшифрована с помощью фМРТ и AI-модели как «Она ещё даже не начала учиться водить». А когда испытуемый слышал текст «Шёл по грунтовой дороге через пшеничное поле, через ручей и мимо каких-то бревенчатых строений», декодер выдавал текст, в котором говорилось, что «Ему пришлось пройти через мост на другую сторону и очень большое здание вдалеке».
«Наша система работает на совершенно другом уровне», — заявил на брифинге, посвящённом изобретению, руководитель исследовательской группы и доцент нейробиологии и компьютерных наук Техасского университета Александр Хут. «Вместо того чтобы смотреть на низкоуровневую моторику, наша система действительно работает на уровне идей, семантики и смысла».
Очевидный недостаток изобретения — это его громоздкость: декодер не может функционировать без аппарата фМРТ. По замыслу учёных, их разработка должна помогать людям с неврологическими заболеваниями, влияющими на речь, общаться с внешним миром. Сейчас есть предположение, что следующие версии устройства можно будет адаптировать к более удобным и мобильным платформам, таким как датчики спектроскопии ближнего инфракрасного диапазона (fNIRS), которые можно крепить к голове пациента.
Разработчики отдают себе отчёт, что по мере совершенствования их декодер может применяться для не совсем этичных целей, например, слежки за людьми и шпионажа. Поэтому они особо подчёркивают, что «интерфейсы мозг-компьютер должны уважать ментальную конфиденциальность».
