Вчені створили інтерфейс для читання думок паралізованих людей

У більшості людей в голові звучить внутрішній голос, коли вони слухають, читають або готуються говорити. Цей «внутрішній монолог» підтримує складні когнітивні процеси, такі як робоча пам'ять, логічне мислення та мотивація. Внутрішнє мовлення продовжує функціонувати навіть у багатьох людей, які втратили здатність говорити через травми або хвороби.

Понад півстоліття тому Жак Відаль, комп'ютерний науковець з Каліфорнійського університету в Лос-Анджелесі, запропонував ідею інтерфейсів мозок-комп'ютер — систем, які могли б використовувати електричні сигнали мозку для керування протезними пристроями. Відтоді вчені розробили інтерфейси, які дозволили людям з тетраплегією керувати комп'ютерним курсором, роботизованою рукою і навіть рухати власними кінцівками.

Нещодавно людина з аміотрофічним латеральним склерозом, нейродегенеративним захворюванням, яка мала серйозні труднощі з мовленням, змогла вести вільну розмову за допомогою мовленнєвого інтерфейсу мозок-комп'ютер. Нейропротез точно перекладав мозкову активність у зв'язні речення, поки людина намагалася говорити якнайкраще. Однак залежність від спроб мовлення може втомлювати користувача і обмежувати швидкість спілкування.

Щоб вирішити цю проблему, Френсіс Віллетт, нейрохірург зі Стенфордського університету, та його команда розробили мовленнєвий інтерфейс мозок-комп'ютер, який міг розшифровувати уявні речення. Їхні результати, опубліковані в журналі Cell, дозволили людям з паралічем мовлення голосно спілкуватися, просто думаючи про те, що вони хочуть сказати в реальному часі.

«Якщо вам просто потрібно думати про мовлення замість того, щоб насправді намагатися говорити, це потенційно легше і швидше для людей», — сказав Беньямін Мешеде-Краса, аспірант Стенфордського університету та співавтор дослідження.

Дослідники залучили чотирьох учасників, зареєстрованих у клінічному випробуванні BrainGate2, які мали різний ступінь мовленнєвих дефектів через аміотрофічний латеральний склероз або інсульт, та імплантовані пристрої для запису нейронних сигналів з їхньої моторної кори. Потім вони попросили учасників або уявити промовляння набору англійських слів, або спробувати їх вимовити.

Хоча обидва типи мовленнєвої поведінки активували одні й ті ж ділянки мозку, нейронні відповіді на внутрішнє мовлення були слабшими за ті, що виникали при спробах говоріння. Команда потім навчила модель машинного навчання на нейронних сигналах, пов'язаних з бібліотекою уявних слів, щоб створити мовленнєвий інтерфейс мозок-комп'ютер.

Щоб перевірити його продуктивність, дослідники попросили учасників дослідження уявити різні підказані речення, всі засновані на словнику з 125 тисяч слів, і спостерігали, що нейропротез міг декодувати внутрішнє мовлення з точністю 74 відсотки.

«Це перший раз, коли нам вдалося зрозуміти, як виглядає мозкова активність, коли ви просто думаєте про говоріння», — сказала Ерін Кунц, інженер-електрик зі Стенфордського університету та співавтор дослідження. «Для людей з серйозними порушеннями мовлення та рухів інтерфейси мозок-комп'ютер, здатні декодувати внутрішнє мовлення, могли б допомогти їм спілкуватися набагато легше і природніше».

Але справжнім випробуванням було побачити, чи може інтерфейс мозок-комп'ютер перекладати неінструктовані вільні словесні думки. Для цього Віллетт та його команда показали двом учасникам сходинкоподібний візерунок, який вони мали відтворити за допомогою джойстика. Вони попросили їх запам'ятати форму або як набір напрямків, використовуючи внутрішнє мовлення (вгору, ліворуч, вгору), або покладаючись виключно на свою зорову пам'ять. Мовленнєвий інтерфейс мозок-комп'ютер міг декодувати перший варіант, але не другий.

В іншому завданні, коли люди рахували кількість разів, коли певна кольорова фігура з'являлася в сітці, інтерфейс мозок-комп'ютер міг декодувати внутрішній монолог чисел, хоча і зі значними помилками.

Хоча мовленнєвий інтерфейс мозок-комп'ютер пропонує значні переваги користувачам, він також створює можливість ненавмисного декодування приватних словесних думок. Щоб запобігти цьому, команда навчила систему виявляти пароль «читтічіттібенгбенг» з точністю 98 відсотків. Користувачі могли розблокувати систему, просто внутрішньо вимовивши фразу, а потім те, що вони хотіли сказати.

Віллетт та його команда визнали, що поточна система ще не готова точно декодувати спонтанне мислення, але покращення технології запису могли б зрештою зробити це реальністю.

«Майбутнє інтерфейсів мозок-комп'ютер яскраве», — сказав Віллетт. «Ця робота дає справжню надію, що мовленнєві інтерфейси мозок-комп'ютер одного дня зможуть відновити спілкування, яке буде таким же вільним, природним і комфортним, як розмовне мовлення».

Дослідження відкриває нові можливості для людей з серйозними порушеннями мовлення. Технологія може стати особливо корисною для пацієнтів з аміотрофічним латеральним склерозом, інсультом та іншими станами, які впливають на здатність говорити. Розробка також демонструє потенціал для створення більш інтуїтивних та ефективних систем допоміжного спілкування.

Команда продовжує працювати над удосконаленням системи, зосереджуючись на підвищенні точності декодування та розширенні словникового запасу. Вони також досліджують можливості інтеграції системи з іншими допоміжними технологіями для створення більш комплексних рішень для людей з обмеженими можливостями спілкування.