Odczytano myśli i mimikę sparaliżowanej kobiety. Teraz może porozumiewać się ze światem

Pierwszy raz eksperci na podstawie fal mózgowych odtworzyli zarówno mowę, jak i mimikę osoby, która nie może się ruszać. Program potrafi dekodować osiemdziesiąt słów na minutę, co stanowi spory postęp w porównaniu z wcześniejszymi BCI.

Kierownik oddziału neurochirurgii na Uniwersytecie Kalifornijskim Edward Chang ma nadzieję, że niedługo amerykańska Agencja ds. Żywności i Leków (Food and Drug Administration, FDA) zatwierdzi nowy system. Daje on nadzieję tysiącom sparaliżowanych osób na sprawne porozumiewanie się ze światem.

„Naszym celem jest opracowanie interfejsu mózg-komputer, który pozwoli na komunikowanie się w jak najnaturalniejszy sposób”

– tłumaczy Chang.

Wyniki badań opublikowano w czasopiśmie „Nature”.

Ambitniejsze badania nad BCI

Zespół już wcześniej wykazał, że można dekodować aktywność mózgu i przetwarzać ją na słowa. Teraz naukowcy postawili sobie ambitniejszy cel: chcieli nie tylko odczytać mowę, ale też mimikę twarzy.

Sparaliżowana kobieta przeszła procedurę elektroencefalografii wewnątrzczaszkowej (iEEG). Chang bezpośrednio pod czaszką umieścił siatkę, do której podpięte były 253 elektrody. Rejestrowane fale elektryczne przekształcono na dane, które następnie zostały poddane analizie przez AI.

Uczestniczka badania przez kilka tygodni współpracowała z naukowcami nad szkoleniem algorytmów. Wiązało się to z powtarzaniem w myślach różnych słów do czasu, aż komputery zaczynały łączyć wzorce aktywności mózgu z konkretnymi wyrażeniami.

System oparty na fonemach

Eksperci zastosowali nowatorskie podejście. Zamiast trenować AI do rozpoznawania całych wyrazów, badacze opracowali system, który dekoduje słowa z fonemów. Są to jednostki, które składają się na mowę w podobny sposób, w jaki litery tworzą pismo. Na przykład „hello” zawiera cztery fonemy: „HH”, „AH”, „L” i „OW”.

Wystarczy trzydzieści dziewięć fonemów, aby algorytm mógł rozszyfrować dowolne słowo w języku angielskim. Zwiększyło to dokładność systemu i sprawiło, że był on trzykrotnie szybszy od innych, podobnych metod.

Zobacz też:

„Dokładność, szybkość i słownictwo są kluczowe. Jesteśmy coraz bliżej tego, aby sparaliżowana osoba komunikowała się niemal tak sprawnie jak my”

– przekonuje Sean Metzger, który wraz z Aleksem Silvą z Uniwersytetu Kalifornijskiego wymyślili nowy sposób dekodowania fal mózgowych.

Głos i animacja mimiki twarzy

Zespół opracował też syntezator mowy, który na podstawie dawnego nagrania sparaliżowanej kobiety odtworzył jej głos, aby brzmiał jak przed udarem.

Z kolei program symulujący ruchy mięśni twarzy „nauczył się” rozpoznawać sygnały wysyłane przez mózg. W ten sposób awatar animuje ruch ust, gdy chora próbuje mówić. AI wie też, kiedy fale mózgowe świadczą o jej zadowoleniu, smutku i zaskoczeniu.

„Naprawiamy połączenia między mózgiem i aparatem mowy, które zostały przerwane przez udar. Wiedziałem, że to będzie przełom, kiedy tylko po raz pierwszy zobaczyłem efekty naszej pracy”

– mówi współautor badań Kaylo Littlejohn.

Teraz eksperci chcą opracować bezprzewodową wersję ich interfejsu mózg-komputer. Dałoby to sparaliżowanym jeszcze większą niezależność. Można wyobrazić sobie, że podobne programy będą w przyszłości instalowane na smartfonach, co będzie miało głęboki wpływ na interakcje osób chorych ze światem.

Polecamy:

To nie jedyne podobne badania prowadzone w ostatnim czasie. Niedawno pisaliśmy o tym, że tylko na podstawie fal mózgowych naukowcom udało się odtworzyć utwór Pink Floyd „Another brick in the wall”. Efekt może zaskakiwać. W sieci pojawiają się też komentarze, w których internauci porównują metody do telepatii.

Nowe odkrycia stanowią nadzieję dla tysięcy chorych, którzy są obecnie „zamknięci” w swoich sparaliżowanych ciałach. Rodzą też obawy o to, czy władze nie będą chciały użyć podobnych sposobów do czytania w naszych myślach.

Dowiedz się więcej:

Źródła: The Guardian, Sciencedaily.com