Команда исследователей из Технологического университета Сиднея (UTS) подчеркивает, что новая технология DeWave не является инвазивной. Дело в том, что до недавнего времени ученые разрабатывали модели для считывания сигналов мозга, которые предполагали имплантацию электродов или использование дорогих аппаратов МРТ.
Теперь для записи мыслей и их преобразования в текст достаточно специальной кепки, которая плотно прилегает к голове. Умная головная уборка оснащена датчиками, которые улавливают мозговые волны для дальнейшего создания электроэнцефалограмм (ЭЭГ). Затем система расшифровывает их с помощью кодовой книги DeWave.
О чем рассказали ученые
Свою находку исследователи протестировали на двух десятках добровольцев. Они молча читали текст, надев волшебные кепки, которые записывали мозговые волны. Полученные ЭЭГ система ШИ декодировала в текст.
Команда заявила, что при дальнейшем совершенствовании DeWave может оказаться полезной для пациентов, перенесших инсульт и паралич, а также помочь управлять бионическими руками или роботами.
Ученый-компьютерщик Чин-Тенг Лин отметил, что это исследование является новаторской попыткой перевода необработанных волн ЭЭГ непосредственно на язык. А это знаменует собой значительный прорыв в этой области.
Хотя в экспериментах, проведенных господином Лином и его коллегами, DeWave продемонстрировала лишь 40 процентов точности, это все равно на три процента больше, чем данные предыдущих тестирований инвазивных моделей для чтения мыслей. Ближайшая цель исследователей – повысить точность перевода ШИ хотя бы до 90 процентов.
Лучше всего система угадывает глаголы
После тщательной тренировки кодер DeWave преобразует волны ЭЭГ в код, который затем можно сопоставить с конкретными словами в зависимости от того, насколько они близки к записям в кодовой книге DeWave.
«Это первая модель, которая привлекла методы дискретного кодирования к процессу перевода волн мозга в текст, представляя инновационный подход к нейронному декодированию», – объяснил Чин-Тенг Лин. По его мнению, интеграция с большими языковыми моделями «также открывает новые горизонты в нейробиологии и искусственном интеллекте».
Команда использовала обученные языковые модели BERT и GPT, тестируя их на наборах данных, полученных в результате отслеживания движения глаз и записей активности мозга во время чтения текста. Благодаря этому система научилась сопоставлять паттерны мозговых волн со словами кодовой книги, рассказало издание Science Alert.
Лучше всего искусственный интеллект проявил себя в переводе глаголов. А вот существительные давались системе хуже всего. Например, слова «человек» и «автор» ШИ понимал как почти идентичные понятия.
Вероятно, это происходит потому, что когда мозг обрабатывает семантически схожие слова, они могут создавать похожие паттерны мозговых волн, считает ведущий автор исследования Ицюнь Дуань. В любом случае модель демонстрирует значительные результаты, «выравнивая ключевые слова и формируя похожие структуры предложений», добавил он.
Исследователи настроены на будущие исследования своего изобретения. «Перевод мыслей непосредственно из мозга – ценное, но сложное занятие, требующее значительных постоянных усилий», – написали ученые в отчетной статье.
Фото: DeWave
