В 2003 году 20-летний мужчина перенес интенсивный инсульт после автомобильной аварии. В результате инсульта он остался парализованным, у него сохранились только движения глаз и минимальные движения головы. Парализованные мышцы голосового тракта также означали, что он больше не мог говорить.
Восемнадцать лет спустя ученые объявили, что благодаря вживленному массиву электродов и помощи искусственного интеллекта этот человек снова обрел частичную способность говорить.
В ходе трехчасовой операции ученые вскрыли череп мужчины и установили массив из 128 электродов на сенсомоторной коре головного мозга, где расположены нейронные области, участвующие в обработке речи. Перед тем как закрыть череп, они подключили эти электроды к порту, который выходит из головы участника и посылает сигналы от электродов на компьютер через съемный кабель.
Иллюстрация, показывающая размещение электрода eCOG на речедвигательной коре головного мозга участника и головные этапы, используемые для подключения электрода к компьютеру. Кен Пробст, UCSFКогда этот человек, получивший прозвище Панчо, как сообщает The New York Times, думает о словах, эти коммуникационные центры мозга активизируются, а электроды улавливают эти сигналы. В течение 50 сеансов, длившихся 81 неделю, Панчо просматривал списки обычных слов, будучи подключенным к интерфейсу искусственного интеллекта. Ученые обучили эту модель глубокого обучения привыкать к нейронным паттернам Панчо и сопоставлять их со словами, которые он хотел сказать. Благодаря этой системе Панчо смог общаться не только "да" и "нет". Он смог сказать такие вещи, как "Они выходят на улицу" и "Принесите, пожалуйста, мои очки".
Но алгоритм был несовершенен, и иногда у него возникали проблемы с похожими по звучанию словами. Предложения типа "Привет, как дела?" превращались в "Голоден, как ты?". Поэтому команда исследователей создала второй искусственный интеллект, который моделировал естественный язык. Этот вид ИИ учитывает такие вещи, как синтаксис, предсказывая и расшифровывая предложения на основе правил языка и вероятности того, что одни слова будут следовать за другими. Все вместе эти модели смогли успешно расшифровать 75 процентов слов Панчо. Этот беспрецедентный научный подвиг был опубликован в журнале New England Journal of Medicine.
Когда исследование только началось, Панчо не разговаривал уже более десяти лет. После такого длительного перерыва исследователи не были уверены, сохранились ли в его мозгу механизмы и схемы для речи.
"Мы не знали, будут ли речевые команды в мозгу работать через 15 лет", - сказал в интервью NPR председатель кафедры неврологической хирургии Калифорнийского университета в Сан-Франциско и ведущий исследователь Эдвард Чанг. "И даже если бы мы смогли оживить эти спящие сигналы мозга для речи, смогли бы мы на самом деле перевести их в полноценные слова?"
К счастью, речевые цепи Панчо были и остаются неповрежденными. Конечно, в настоящее время он может говорить со скоростью всего 15-18 слов в минуту (что гораздо ниже, чем 125-150 слов в минуту, характерных для обычной разговорной речи), но команда оптимистично настроена на то, что они смогут усовершенствовать систему, чтобы сделать ее более быстрой, точной и, в конечном итоге, беспроводной.
Для Панчо новый способ общаться и быть понятым - это "судьбоносный опыт", - сказал он в интервью The Times по электронной почте. "Не иметь возможности общаться с кем-либо, вести нормальный разговор и выражать себя любым способом - это разрушительно, с этим очень трудно жить... Это очень похоже на получение второго шанса снова заговорить".