Ученые научились «срисовывать» образы из мозга человека при помощи нейросети Stable Diffusion

Исследователи из Высшей школы передовых биологических наук Университета Осаки разработали методику «визуализации мыслей» человека на основании данных, полученных в процессе функциональной магнитно-резонансной томографии (фМРТ) мозга. Авторы нового подхода Ю Такаги и Синдзи Нисимото утверждают, что при помощи нейросети Stable Diffusion им удается генерировать точные изображения высокого разрешения.

Реконструкция визуальных образов на основе активности мозга, измеренной с помощью фМРТ, является сложной задачей. В последнее время ученые начали решать ее с помощью искусственного интеллекта (ИИ) — в частности, таких моделей и алгоритмов машинного обучения, как генеративно-состязательные сети и самоконтролируемое обучение.

Японские исследователи реконструировали визуальные образы по сигналам фМРТ, используя нейросеть Stable Diffusion — алгоритм машинного обучения, способный анализировать сложные системы, включая человеческий мозг. Алгоритм Stable Diffusion основан на принципах процесса диффузии, который моделирует движение и распространение частиц по системе с течением времени.

Архитектура модели скрытой диффузии, разработанная Такаги и Нисимото, демонстрирует «исключительную» производительность генерации текста в изображение, говорится в докладе.

Для своего проекта исследователи использовали Natural Scenes Dataset, который включает данные, собранные с помощью фМРТ-сканера 7-Tesla в течение 30-40 сеансов. Во время этих сеансов участникам проекта показали 10 000 изображений, каждое — по три раза. Исследователи изучили данные четырех из восьми испытуемых, которые участвовали во всех сеансах визуализации. По словам ученых, полученные результаты демонстрируют «многообещающий подход» к реконструкции изображений на основе активности человеческого мозга и новую основу для понимания диффузионных моделей.

Ученые смогут применить новый метод для лучшего понимания того, как различные области мозга взаимодействуют и обрабатывают информацию.

Исследователи уже несколько лет используют модели искусственного интеллекта для декодирования информации из человеческого мозга.

В 2019 году группа российских ученых заявила, что ей удалось разработать нейронную сеть для чтения мыслей, способную расшифровывать мозговые волны и генерировать в реальном времени визуальные представления того, что наблюдает человек.

Группа исследователей из компании Meta (в России включена в перечень организаций, причастных к терроризму и экстремизму, ее деятельность запрещена) под руководством Жана-Реми Кинга также опубликовала исследование, в ходе которого полученные во время фМРТ данные преобразовывались в текст.

В прошлом году исследователи из Университета Радбоуда в Нидерландах заявили, что они обучили генеративную сеть ИИ, предшественницу Stable Diffusion, на данных фМРТ 1050 человек, и впоследствии преобразовали результаты визуализации мозга в реальные изображения. Исследование показало, что ИИ способен выполнять «беспрецедентную» реконструкцию стимулов.

Источник — Computing