Учёные ЮФУ научились «слышать» мысленную речь: открытая база данных для распознавания мысленной речи

Фото: пресс-служба ЮФУ

Представьте: вы хотите отправить сообщение, но не можете пошевелить ни рукой, ни языком. Единственное, что остаётся, — думать. Учёные НИТЦ нейротехнологий ЮФУ сделали шаг к тому, чтобы такие мысли можно было превращать в слова и команды. Они создали общедоступную базу данных сигналов мозга, которые возникают при мысленном произнесении простых слов. Теперь исследователи со всего мира смогут использовать этот «словарь» для обучения искусственного интеллекта распознавать внутреннюю речь — и в будущем дать голос тем, кто его лишён. 

Люди с тяжёлыми нарушениями речи и двигательных функций — например, пациенты с боковым амиотрофическим склерозом или синдромом изоляции — часто оказываются запертыми в собственном теле. Они всё понимают, но не могут говорить и двигаться. Интерфейсы «мозг-компьютер» — технологии, которые считывают сигналы мозга и превращают их в команды для внешних устройств, — могли бы вернуть им возможность общаться. Но для этого нужно научиться расшифровывать то, что человек говорит про себя, не шевеля губами.

Учёные НИТЦ нейротехнологий ЮФУ сделали важный шаг в этом направлении. Они записали электроэнцефалограммы (ЭЭГ) 22 здоровых добровольцев — 12 русскоязычных и 10 испаноязычных — в тот момент, когда те произносили вслух и мысленно шесть слов-команд: «вверх», «вниз», «влево», «вправо», «вперёд», «назад». Оказалось, что даже при мысленном проговаривании мозг генерирует устойчивые и уникальные паттерны активности, которые можно зафиксировать с помощью обычной ЭЭГ-шапочки с датчиками. А алгоритмы машинного обучения способны различать эти сигналы с точностью до 78%.

«Наша цель — создать качественный инструмент для разработки алгоритмов, способных распознавать «внутреннюю речь» — то, что человек мысленно произносит, не шевеля губами. Такие технологии критически необходимы людям, которые по каким-либо причинам не могут говорить или двигаться: они дадут возможность управлять техникой, печатать тексты и взаимодействовать с виртуальной реальностью посредством одной только мысли», — объяснил один из авторов разработки, ведущий научный сотрудник Научно-исследовательского технологического Центра нейротехнологий ЮФУ Дмитрий Шапошников.

Главный результат работы — не просто эксперимент, а открытая база данных, доступная для всех исследователей мира на платформе Zenodo. Это своего рода «словарь» сигналов мозга, соответствующих разным словам. Любой учёный или разработчик может использовать его для тестирования и сравнения своих алгоритмов распознавания мысленной речи.

Особенность базы данных в том, что она двуязычная. Это позволяет изучать, как мозг обрабатывает речь на разных языках, и создавать универсальные алгоритмы, которые будут работать независимо от родного языка пользователя. 

«На данном этапе разработанные алгоритмы позволяют распознавать мозговые паттерны с точностью около 78% — это уже достойный показатель для такой сложной задачи, как расшифровка мысленной речи. Однако мы не планируем останавливаться на достигнутом. В ближайших планах — расширить словарь распознаваемых слов с шести базовых команд до нескольких десятков, а также довести точность распознавания до 90-95% за счёт совершенствования методов анализа ЭЭГ и применения более продвинутых алгоритмов искусственного интеллекта. Подобный уровень точности сделает технологию по-настоящему надёжной и пригодной для повседневного использования», — подчёркивает Дмитрий Шапошников. 

В долгосрочной перспективе такие системы смогут стать надёжным каналом коммуникации для людей, перенёсших инсульт, тяжёлую травму или страдающих нейродегенеративными заболеваниями. Им больше не нужно будет говорить вслух или двигаться — достаточно будет просто подумать нужное слово, чтобы напечатать текст, управлять компьютером или даже инвалидной коляской. 

Исследование выполнено при поддержке Программы стратегического академического лидерства ЮФУ «Приоритет-2030» (нацпроект «Молодежь и дети») в рамках стратегического технологического проекта ЮФУ «Технологии многофункциональной микроэлектроники и интеллектуальной сенсорики для биогибридных и киберфизических систем» (№ СП-12-26-03).

Результаты работы опубликованы в журнале Scientific Data — это престижное международное издание из линейки Nature, специализирующееся на публикации описаний научных наборов данных со строгой международной экспертизой.

____________________________________________________________________________________

Южный федеральный университет, являясь участником программы стратегического академического лидерства «Приоритет-2030» (нацпроект «Молодежь и дети»), концентрирует усилия на решении задач научно-технологического развития страны. В рамках этой работы университет на основе сетевой архитектуры взаимодействия создает производственно-технологические цепочки полного цикла для ответа на «большие вызовы». Ключевые направления развития охватывают ряд критических и сквозных технологий, которые лежат в основе трех ключевых стратегических технологических проектов вуза: «Технологии биоинженерии почв», «Технологии многофункциональной микроэлектроники и интеллектуальной сенсорики для биогибридных и киберфизических систем» и «Технологии ускоренной разработки и трансфера стратегически важных материалов в микро- и малотоннажное производство».