Японцы научились визуализировать мысли людей

В университете Осака японские ученые сумели воссоздать изображения на основе человеческих мыслей. Для этого исследователи использовали искусственный интеллект от Stable Diffusion.

Пять лет назад японские ученые из Киотского университета под руководством Юкиасу Камитани презентовали новую нейросеть, которая работает на базе методов глубокого обучения. Она работала по принципу декодера паттернов изображений в мозговой активности, переводя увиденные людьми буквы, геометрические картинки и предметы в цифровые фото. Однако эффективно визуализировать нейросеть могла лишь простые формы.

Доработали метод в университете Осаки. Препринт исследований опубликовали в репозитории BioRxiv. В работе японские ученые воспользовались нейросетью Stable Diffusion, в которую загрузили данные фМРТ пациентов. Респондентам вначале был показан определенный набор картинок, а во время их просмотра, активность мозга людей записывалась.

После этого полученные данные пропустили через нейросеть и воссоздали изображения «из мыслей» людей. При этом визуализация данных проводилась в два этапа. На первом этапе ученые смогли угадать скрытое изображение на основе сигналов фМРТ, а затем в исследуемую модель добавили шум и данные фМРТ.
Итог визуализации можно увидеть ниже. Сверху показали реальные картинки, которые люди смотрели, а ниже представлены воссозданные нейросетью.