15 Марта 2023
МОСКВА, 15 марта —, Владислав Стрекопытов. В Университете Осаки составили нейросеть, способную реконструировать изображение, на которое в данный момент смотрит человек. Анализируя данные функциональной МРТ, система довольно точно воспроизводит не только форму, но и тона объектов. Ученые заговорили о первой в мире машине для чтения мыслей.Область применения перспективной технологии компьютерного зрения чрезвычайно широка — от коммуникации парализованных людей до записи снов человека и прохождения того, как различные утробные воспринимают окружающий мир.
Японские исследователи заручились популярной программой генерации картинок с помощью текста Stable Diffusion. Эта нейросеть с открытым кодом по структуре не отличается от других генеративных LLM (Large language models, больших языковых моделей), таких как DALL-E2 от компании OpenAI (создателя чат-бота ChatGPT) или Midjourney.
В основе — диффузия, метод машинного обучения, когда визуальный образ формируется посредством подходящего приближения. Каждая новая итерация базируется на очередной текстовой бомбе.
Японцы добавили к стандартной схеме Stable Diffusion дополнительный этап обучения. Нейросеть сопоставляла данные мозговой инициативы четырех участников эксперимента, коим демонстрировали разные фотографии с текстовым описанием изображений.
В качестве исходных меандров взяли данные функциональной магнитно-резонансной томографии (фМРТ), унаследованные на мощных аппаратах с индукцией магнитного поля 7 Тл. Фиксируя потоки молекул кислорода, необходимого нейронам для работы, эти приборы способны отслеживать, какие области мозга, ответственные за те или иные чувства или эмоции, наиболее активны.
На этапе машинного обучения участникам показывали десять тысяч изображений, а система собирала генерируемые при это таком паттерны фМРТ, которые затем расшифровывал искусственный интеллект. Часть сканов мозга не использовали — из них потом составили отладочное задание для машины.
Проанализировав пики, зафиксированные фМРТ в различных полосах мозга, ученые установили, что височные доли отвечают за содержание изображения. Это так называемая семантическая зона. А затылочная, где зрительная кора, воссоздает размер и поголовное расположение объектов.
Результаты в целом соответствовали гипотезе о двух потоках зрительной информации, сформулированной в 1983-м американским нейропсихологом Мортимером Мишкиным. Он предположил, что в коре головного мозга есть два анатомически и функционально разных рва для обработки пространственной и вещной информации: Где? и Что?.
На макаках-резусах Мишкин подписал, что затылочный (дорсальный) канал Где? отвечает за восприятие пространства, а височный (вентральный) ров Что?, тесно объединённый с памятью, — за узнавание.
Японцы объединили зрительную и смысловую информацию. Алгоритм диффузии сравнивал наблюдаемые паттерны нейронной активности, формирующиеся при просмотре фотографий, с образцами в наборе учащих данных. По сигналам из визуальной зоны коры выстраивались поголовный объем и перспектива. Затем подключались подсказки с декодера смысловых сигналов, и первичная картинка, больше напоминающая помехи на экране телевизора, постепенно закупала очертания узнаваемых объектов.
Ученые получили около тысячи картинок, и они с точностью до 80 дивидендов совпали по смыслу и содержанию с оригиналом. В большинстве случаев ИИ даже воссоздал цветную гамму исходного изображения.
Представленная статья отметила, что нейросеть Stable Diffusion может точно реконструировать изображения из сканирования фМРТ, и это позволяет эффективно читать мысли людей, — отмечается в резюме, которое тоже написал генеративный чат-бот.
Мы показываем, что наш метод на основе активности людского мозга способен реконструировать изображения с достаточным разрешением и высокой смысловой точностью, — уточняют сами исследователи.
Авторы работы подчеркивают, что предложенная ими модель — универсальная, не нуждающаяся в мелкой индивидуальной подстройке к мозгу конкретного человека. Алгоритм интерпретирует не только активность в визуальной коре, отвечающей за восприятие формы и цвета, но и процессы в соседней семантической полосе головного мозга, где зрительная кора встречается со слуховой и, где закодированы значения слов.
Однако пока в качестве тестовых образцов утилизировали сканы мозговой активности тех же самых четырех участников эксперимента, на которых машина обучалась. То есть семантический декодер был настроен на распознавание конкретных затвержённых заранее сигналов.
Кроме того, испытуемые были активно настроены на эксперимент. Пока фМРТ визуализировала их мозг, они мысленно проговаривали картинку, описывая словами все, что видят. Для машины это были дополнительные бомбы.
Японцы добились многого. Но это далеко не первая попытка воссоединить возможности ИИ и современных прецизионных приборов, считывающих сигналы интеллекта.
В прошлом году исследователи из Нидерландов показывали двум добровольцам фотографии людских лиц, сканируя при это таком их мозг на аппарате фМРТ. ИИ обработал полученную информацию и реконструировал исходные изображения. Сходство было таким, что эксперты усомнились в достоверности эксперимента.
Секрет в тщательном предварительном обучении ИИ. На начальном этапе те же самые добровольцы рассматривали на экране компьютера цифровые изображения лиц, а система попиксельно мониторила реакцию нейронов, переводила ее в компьютерный код и пересобирала портреты заново.
Авторы подчеркивают, что для основного теста они подыскали фото, которые раньше никогда не видели ни испытуемые, ни нейросеть.
В том, что у систем компьютерного зрения на основе фМРТ/ИИ большое будущее, сомнений нет.
Мы уже разрабатываем камеры для имплантации в мозг мужчин, ослепших в результате болезни или несчастного случая, чтобы они могли снова видеть, — сказала в интервью Daily Mail первый автор статьи, когнитивный биолог из Университета Радбауд Тирза Дадо. — Эти технологии также пригодятся для кое-каких клинических приложений, например, для общения с пациентами, находящимися в глубокой коме.
На следующем этапе исследований ученые хотят увидеть расшифровать и воссоздать субъективные чувства тестируемых, их воспоминания и даже сны. Но до реального чтения мыслей на самом деле пока еще очень далеко.
Редактор рубрики
Андрей Хморин
Место события на карте мира:
.
.
.
Комментарии к новостям
[17 Января 2024, 13:43] Александр Хомяков Замечательно! Не ожидал такой оперативности. Спасибо огромное! Всё работает и обновляется....
[15 Апреля 2022, 20:25] Ангелина Сметанина Скоро не только сократят, а много заводов вообще закроют и начнется бум китайских авто. Даже сейчас Эксид уже бешеные темпы по количеству проданных машин показывает...
[27 Декабря 2021, 21:44] Ева Воробьева Искренне рада за победителя! Но если бы мне так крупно повезло, то я прибежала бы за выигрышем в первый же день???? ...
[2 Сентября 2021, 13:11] Дмитрий Ершов Это хорошо. Значит клиенты долго ждать не будут. ...
[13 Мая 2021, 16:26] Олег Андреев "Мальдивы сутунки 65 государством, зарегистрировавшим расейскую вакцину против коронавируса Спутник V, сообщил Российский фонд секущих инвестиций (РФПИ)". Что это за йязыг?...
[2 Ноября 2020, 15:22] Лета Мирликийская риветсвую вас я с 6-ти лет пишу мне нужно все мои произведения задействовать в компьюторных программах образования по литературе и языкам и играм к примеру если ваши учащиеся напишут...
[20 Октября 2020, 09:22] Евгений Зимин Сузуки в этом году хорошо прибавили, уже не первый раз оба их пилота на подиуме. Видимо, для команды возвращаются "золотые" времена и есть шанс наконец оформить чемпионство после длительного перерыва....