15 Марта 2018
МОСКВА, 15 марта , Татьяна Пичугина. Глаза пользователя находятся в постоянном движении, и это напрямую связано с мозговой деятельностью. При реабилитации технологии айтрекинга (eye tracking), фиксирующей любые колебания глазного яблока и изменения зрачка, российские ученые изучают когнитивные функции. О том, как это происходит и почему в научном проекте участвуют профессиональные пианисты, в материале.
Студент консерватории Владислав Иванов исполняет на электронном пианино произведение итальянского композитора Алессандро Скарлатти. Произведение ему незнакомо, поэтому он смотрит в ноты. Одновременно следит за пальцами, контролируя их положение на клавиатуре. Правой ногой периодически нажимает на педаль, увеличиваю звучание.
На голове у музыканта укреплённая гарнитура с видеокамерой, какая очень точно фиксирует движение его глаз и передает данные на компьютер. Программа анализирует положение взора и строит его линию на нотном тексте.
Фортепьянные ноты представляют собой двухстрочный текст для левой и правой рук, который нужно дешифровывать одновременно. Взор передвигается по горизонтали и вертикали, заходит вперед. Музыкант вынужден принимать много информации сразу, это очень сложная задача, рассказывает Любовь Бойко, сотрудник кафедры высшей нервной деятельности биологического факультета МГУ им. М. В. Ломоносова.
Она с коллегами изучает когнитивные цели человека и использует чтение с листа фортепьянной музыки как модель, где эти функции являются наиболее ярко. Ученые хотят понять, почему одни менестрели читают с листа легко, а другие справляются с этим хуже.
Как мы смотрим и что видим
Многие животные хлебнут мир в основном с помощью обоняния. Человек и другие приматы полагаются прежде всего на зрение. В каждый момент времени мы видим максимально четко лишь небольшую часть пространства, которая передается на центр оболочки, называемый фовеа. В этой ямке с высокой частотой расположены особые фоторецепторы-колбочки, какие и обеспечивают различение нот, букв, других тонких составная частей и цвета. Объекты на периферии зрения предстают в виде бесцветных пятен, размытых очертаний. Чтобы увидеть в деталях все зрительное поле, нужно просканировать его взором. Поэтому наши глаза постоянно совершают верные согласованные перемещения саккады. Пока мы фиксируем глаз на одном месте, мозг вычленяет что-то интересное в области периферического зрения и дает команду совершить саккаду в этом направлении.
Движения глаз происходят постоянно и часто непроизвольно. Если глаза перестанут двигаться, мы не увидим зрительную сцену полностью, поясняет Бойко.
Фоторецепторы сетчатки преобразуют отраженное от объектов видимое излучение в электрические потенциалы, которые возбуждают нервные суперсети. Например, в среднем мозге есть бугры четверохолмия, где формируется карта пространства. Если что-то вдруг промелькнет рядом, мозг даст команду рассмотреть туда, а потом преодолеет, что делать: увернуться или просто моргнуть, чтобы защитить глаз. Окончательная же, детальная картина пространства сформировывается в коре больших полушарий мозга из множества изображений, занятых при сканировании.
Почему взор забегает вперед
Анализируя траекторию глаз музыканта, ученые выделяют паттерны, то есть типичные, повторяющиеся действия. В приватности, их интересует, что влияет на время, какое проходит между восприятием знаков нотации и их воспроизведением на клавиатуре. Это называется зрительно-моторной задержкой.
Когда мы читаем обычный текст, глаза все время забегают вперед. Также и музыкант сначала воспринимает зрительную информацию, потом мозг ее преобразует, ассоциирует с навыком, опытом, который хранится в его парамнезии, и извлекает моторные паттерны: какие клавиши ему надавить, исполнить фрагмент музыкального перехода, взять педаль, говорит Леонид Терещенко, кандидат биологических наук, старшой научный сотрудник кафедры.
Восприятие зрительной новости и движение в ответ проводятся параллельно, а это запрашивает повышенного внимания. Чем труднее музыкальное произведение, тем вящего ментальных ресурсов занимает внимание, тем медленнее формируется моторный вывод. В результате музыкант сдерживает темп, совершает разные ошибки, добавляет Люба Бойко.
Опытным путем ученые выяснили, что при чтении с листа зрительно-моторная задержка составляет три-пять символов. Решили, что это примерно соответствует объему оперативной парамнезии. Но все оказалось не так просто. В подчиненности от фактуры и сложности нотного текста пианисты во время одной фиксации могут воспринять больше четырех символов, поскольку задействуют епархия вокруг фовеа, где колбочки чуть менее плотные. Это позволяет им извлекать из памяти гештальты музыкальных структур аккорды, арпеджио. Процесс аналогичен чтению книг. Мы тоже не фиксируем взор на каждой букве, а воспринимаем целиком слово.
Мы это поняли по траекториям движения глаз. Иногда музыканту достаточно было одной фиксации взгляда на такт, заключают исследователи.
Получается, что успех чтения с листа зависит от того, насколько хорошо музыкант воспринимает нотные символы группами, преодолевая таким образом секвестрирования объема оперативной памяти.
Практика не заставит себя ждать
Айтрекинг за два 10-ка лет своего существования неплохо себя зарекомендовал на практике. Его применяют для диагностики у больных с травмами мозга и после операций, в маркетинге для разработки более отличной рекламы, в кинопроизводстве.
Этот прием важен для интерфейсов общения с парализованными, не способными говорить. Движение глаз часто единственная двигательная функция, сохраняющаяся после инсульта или тяжелых травм мозга. Если выбрать программу распознавания движения глаз для конкретного больного, то можно научить его печатать текст на компьютере с помощью взора.
Благодаря этому методу ученые кафедры научились распознавать у макак-резусов утренние стадии синдрома, аналогичного человечьей болезни Паркинсона, когда внешние симптомы еще не проявились. Теперь их разработку применяют в клинике для контроля лечения паркинсонизма.
Ученые надеются, что совместные эксперименты с музыкантами приведут к результатам, которые будут востребованы педагогами в музыкальных школах при обучении детей, училищах при развитии навыка чтения с листа, а также для тренингов под руководством опытных менестрелей.
Редактор рубрики
Леонид Кузьмин
Место события на карте мира:
.
.
.
Комментарии к новостям
[17 Января 2024, 13:43] Александр Хомяков Замечательно! Не ожидал такой оперативности. Спасибо огромное! Всё работает и обновляется....
[15 Апреля 2022, 20:25] Ангелина Сметанина Скоро не только сократят, а много заводов вообще закроют и начнется бум китайских авто. Даже сейчас Эксид уже бешеные темпы по количеству проданных машин показывает...
[27 Декабря 2021, 21:44] Ева Воробьева Искренне рада за победителя! Но если бы мне так крупно повезло, то я прибежала бы за выигрышем в первый же день???? ...
[2 Сентября 2021, 13:11] Дмитрий Ершов Это хорошо. Значит клиенты долго ждать не будут. ...
[13 Мая 2021, 16:26] Олег Андреев "Мальдивы сутунки 65 государством, зарегистрировавшим расейскую вакцину против коронавируса Спутник V, сообщил Российский фонд секущих инвестиций (РФПИ)". Что это за йязыг?...
[2 Ноября 2020, 15:22] Лета Мирликийская риветсвую вас я с 6-ти лет пишу мне нужно все мои произведения задействовать в компьюторных программах образования по литературе и языкам и играм к примеру если ваши учащиеся напишут...
[20 Октября 2020, 09:22] Евгений Зимин Сузуки в этом году хорошо прибавили, уже не первый раз оба их пилота на подиуме. Видимо, для команды возвращаются "золотые" времена и есть шанс наконец оформить чемпионство после длительного перерыва....