L'interfaccia cervello-computer può tradurre i pensieri in discorso

I neuroingegneri hanno creato un nuovo sistema in grado di tradurre pensieri semplici in un linguaggio riconoscibile, utilizzando l'intelligenza artificiale e un sintetizzatore vocale, secondo uno studio pubblicato martedì.

Un team di ricercatori di New York è stato in grado di ricostruire le parole usando solo l'attività cerebrale, un'innovazione che potrebbe aprire la strada a tecnologie controllate dal cervello come, ad esempio, uno smartphone in grado di tradurre i tuoi pensieri in messaggi di testo.

Il dottor Nima Mesgarani, professore associato alla Columbia University, ha guidato lo studio e racconta Inverso che vede un grande potenziale per aiutare a ripristinare il linguaggio per le persone che si riprendono da un ictus o che vivono con sclerosi laterale amiotrofica (SLA). Più avanti, questo tipo di tecnologia potrebbe anche aprire porte agli smartphone connessi al cervello che potrebbero consentire agli utenti di inviare messaggi usando le loro menti, sebbene sia ancora lontano. Il suo lavoro è stato pubblicato sulla rivista Rapporti scientifici.

"Una delle motivazioni di questo lavoro … è per metodi alternativi di interazione uomo-computer, come una possibile interfaccia tra un utente e uno smartphone", dice. "Tuttavia, questo è ancora lontano dalla realtà, e al momento, l'informazione che può essere estratta usando metodi non invasivi non è abbastanza buona per un'applicazione di interfaccia cervello-computer."

Ascolta il discorso generato dall'interfaccia cervello-computer.

Per sviluppare la nuova tecnica, Mesgarani e il suo collega, il dottor Ashesh Dinesh Mehta del Northwell Health Physician Partners Neuroscience Institute, hanno iniziato esaminando l'attività cerebrale dei pazienti affetti da epilessia per il loro studio. Questi pazienti avevano già impianti di elettrodi nel cervello per monitorare le convulsioni, che Mesgarani e Mehta erano in grado di utilizzare per raccogliere dati per la loro ricerca.

Il duo ha chiesto ai partecipanti disposti ad ascoltare i relatori di recitare i numeri tra zero e nove, e quindi ha registrato i segnali cerebrali di quell'interazione. Successivamente, hanno addestrato una rete neurale - un programma che imita la struttura dei neuroni nel cervello umano - per riconoscere i pattern nei segnali e tradurli in parole dal suono robotico usando un sintetizzatore vocale, noto come vocoder.

Il risultato è stato un breve clip vocale di ciò che sembra Microsoft Sam contando da zero a nove. La parte impressionante è quanto sia chiaro il discorso rispetto ad altri metodi testati dai ricercatori. C'è ancora molto lavoro da fare, però.

"Potrebbe volerci un decennio prima che questa tecnologia diventi disponibile", afferma Mesgarani. "Abbiamo bisogno di più progressi sia in elettrodi impiantabili biologicamente compatibili che a lungo termine e / o tecnologie rivoluzionarie in metodi di registrazione neurale non invasivi. Abbiamo anche bisogno di una migliore comprensione di come il cervello rappresenta la parola, in modo che possiamo perfezionare i nostri metodi di decodifica."

I pazienti che facevano parte di questo studio, per esempio, avevano tutti un intervento chirurgico al cervello per impiantare monitor per elettrocorticografia. Questo è un processo estremamente invasivo che richiede un intervento chirurgico al cervello aperto, qualcosa che la maggior parte delle persone potrebbe non essere disposta a subire, anche se ci fosse la possibilità di ripristinare alcune delle loro capacità di parola.

Per ora, questo studio ha introdotto un metodo per decodificare i segnali cerebrali in parlato. Se scopriamo come rilevare con precisione l'attività cerebrale senza un intervento chirurgico, saremo un passo avanti non solo verso la rivoluzione della logopedia, ma potenzialmente verso la realizzazione di smartphone connessi al cervello.

La ricerca sull'interfaccia cervello-computer ha riscosso un rinnovato interesse negli ultimi anni. Ad aprile 2017, Facebook ha annunciato che stava lavorando a un BCI durante la sua conferenza annuale F8. E Elon Musk ha annunciato nel novembre 2018 che Neuralink, la sua startup BCI, stava assumendo.

Astratto

La ricostruzione dello stimolo uditivo è una tecnica che trova la migliore approssimazione dello stimolo acustico dalla popolazione di attività neurale evocata. Ricostruire il parlato dalla corteccia uditiva umana crea la possibilità di un discorso neuroprotesico per stabilire una comunicazione diretta con il cervello e si è dimostrato che è possibile in condizioni sia palesi che occulte. Tuttavia, la scarsa qualità del parlato ricostruito ha seriamente limitato l'utilità di questo metodo per le applicazioni di interfaccia cervello-computer (BCI). Per far progredire la neuroprotesi all'avanguardia nel linguaggio, abbiamo combinato i recenti progressi nell'apprendimento approfondito con le ultime innovazioni nelle tecnologie di sintesi vocale per ricostruire il linguaggio intelligibile a set chiuso dalla corteccia uditiva umana. Abbiamo studiato la dipendenza dell'accuratezza della ricostruzione sui metodi di regressione lineare e non lineare (rete neurale profonda) e la rappresentazione acustica che viene utilizzata come obiettivo della ricostruzione, compresi i parametri di spettrogramma uditivo e sintesi vocale. Inoltre, abbiamo confrontato l'accuratezza della ricostruzione con le gamme di frequenza neurale bassa e alta. I nostri risultati mostrano che un modello di rete neurale profondo che stima direttamente i parametri di un sintetizzatore vocale da tutte le frequenze neurali raggiunge i massimi punteggi soggettivi e oggettivi su un compito di riconoscimento di cifre, migliorando l'intelligibilità del 65% rispetto al metodo di base che ha usato la regressione lineare per ricostruire lo spettrogramma uditivo. Questi risultati dimostrano l'efficacia degli algoritmi di deep learning e sintesi vocale per la progettazione della prossima generazione di sistemi BCI vocali, che non solo possono ripristinare le comunicazioni per i pazienti paralizzati ma hanno anche il potenziale per trasformare le tecnologie di interazione uomo-computer.

Video correlati: I robot sensibili all'onda cerebrale possono servire come estensioni del corpo umano