Die Ingenieure übersetzen Gehirn Signale direkt in die Rede: Vorkasse Marken wichtiger Schritt in Richtung Gehirn-computer Schnittstellen, die einen immensen Versprechen für diejenigen mit wenig oder keine Fähigkeit zu sprechen

In einer ersten wissenschaftlichen, Columbia neuroengineers haben ein system geschaffen, das übersetzt Gedanken in verständliche, nachvollziehbare Sprache. Durch die überwachung von jemandem, der die Aktivität des Gehirns, die Technologie zu rekonstruieren, die Worte, die eine person hört mit beispielloser Klarheit. Dieser Durchbruch, der nutzt die Kraft der Sprache-Synthesizer und künstliche Intelligenz, könnte neue Möglichkeiten für die Computer kommunizieren direkt mit dem Gehirn. Sie legt auch den Grundstein für die Unterstützung von Menschen, die nicht sprechen können, wie diejenigen, die Leben mit Amyotrophe Lateralsklerose (ALS) oder erholt sich von Schlaganfall, wieder Ihre Fähigkeit zu kommunizieren mit der Außenwelt.

Diese Ergebnisse wurden heute veröffentlicht in Wissenschaftliche Berichte.

„Unsere Stimmen helfen verbinden uns mit unseren Freunden, Familie und der Welt um uns herum, die ist, warum verlieren die Kraft der Stimme aufgrund von Verletzungen oder Krankheit ist so verheerend,“ sagte Nima Mesgarani, PhD, der die Studie leitende Autor und principal investigator an der Columbia University ‚ s Mortimer B. Zuckerman Mind-Gehirn-Verhalten-Instituts. „Mit der heutigen Studie, haben wir einen möglichen Weg zur Wiederherstellung dieser macht. Wir haben gezeigt, dass, mit der richtigen Technik, diese die Gedanken der Menschen entschlüsselt werden konnte und von jedem verstanden Zuhörer.“

Jahrzehntelange Forschung hat gezeigt, dass, wenn die Menschen sprechen-oder sogar vorstellen sprechen — verräterische Muster der Aktivität entstehen in Ihrem Gehirn. Deutliche (aber erkennbar) Muster von Signalen, die auch entstehen, wenn wir jemandem Zuhören, sprechen, hören oder sich vorstellen,. Experten, die versuchen zu erfassen und Dekodieren diese Muster, sehen eine Zukunft, in der die Gedanken müssen nicht bleiben verborgen im inneren des Gehirns — sondern könnte übersetzt werden in die mündliche Rede.

Aber vollbringen das Kunststück bewiesen hat, eine Herausforderung. Frühen Bemühungen zu entschlüsseln Gehirn Signale, die von Dr. Mesgarani und andere konzentrierte sich auf die einfachen computer-Modelle, die Spektrogramme analysiert, die visuelle Darstellungen von Ton-Frequenzen.

Aber weil dieser Ansatz hat es versäumt, etwas zu produzieren, ähnlich verständlichen Rede von Dr. Mesgarani das team wandte sich stattdessen an einen vocoder, einen computer-Algorithmus, der zu synthetisieren Rede nach ausgebildet, die auf Aufnahmen von Menschen reden.

„Dies ist die gleiche Technologie, die von Amazon Echo und Apple Siri zu geben, verbale Antworten auf unsere Fragen“, sagte Dr. Mesgarani, der auch ein associate professor für Elektrotechnik an der Columbia ‚ s Fu Foundation School of Engineering and Applied Science.

Zu lehren, den vocoder zu interpretieren, um die Aktivität des Gehirns, Dr. Mesgarani zusammen mit Ashesh Dinesh Mehta, MD, PhD, ein Neurochirurg an Northwell Gesundheit Arzt Partner Neuroscience Institute und co-Autor von “ die Zeitung von heute. Dr. Mehta behandelt Epilepsie-Patienten, von denen einige regelmäßige Operationen.

„Die Zusammenarbeit mit Dr. Mehta, wir fragten Epilepsie-Patienten bereits im Gehirn-Chirurgie zu hören Sätze, gesprochen von verschiedenen Leuten, während wir gemessen Muster der Aktivität des Gehirns“, sagte Dr. Mesgarani. „Diese neuronalen Muster ausgebildet, den vocoder.“

Als Nächstes baten die Forscher die gleichen Patienten Lautsprechern hören zu rezitieren Ziffern zwischen 0 bis 9 während der Aufzeichnung Gehirn signalisiert, dass könnte dann ausgeführt werden, durch den vocoder. Den Klang der vocoder in Reaktion auf diese Signale wurden analysiert und bereinigt durch neuronale Netze, die eine Art künstlicher Intelligenz, die imitiert die Struktur der Neuronen im biologischen Gehirn.

Das Endergebnis war ein Roboter-klingende Stimme rezitieren eine Folge von zahlen. Zum testen der Genauigkeit der Aufzeichnung, Dr. Mesgarani und sein team beauftragt, Einzelpersonen um die Aufnahme anzuhören und zu berichten, was Sie hörten.

„Wir fanden, dass die Menschen verstehen konnte, und wiederholen Sie die sounds, die über 75% der Zeit, die ist auch über und jenseits aller bisherigen versuche,“ sagte Dr. Mesgarani. Die Verbesserung der Sprachverständlichkeit wurde besonders deutlich beim Vergleich der neuen Aufnahmen zu den früheren, Spektrogramm-basierten versucht. „Das sensible vocoder und leistungsfähige neuronale Netze vertreten die Klänge der Patienten hatten ursprünglich hörte, mit erstaunlicher Genauigkeit.“

Dr. Mesgarani und sein team planen, zu testen, mehr komplizierte Wörter und Sätze weiter, und Sie möchten, führen Sie die gleichen tests auf Gehirn Signale ausgegeben, wenn eine person spricht oder sich vorstellt, zu sprechen. Schließlich, Sie hoffen, dass Ihre system könnte Teil eines Implantats, ähnlich denen getragen, die von einigen Epilepsie-Patienten, bedeutet, dass der Träger die Gedanken direkt in Worte zu fassen.

„In diesem Szenario, wenn der Träger denkt“ ich brauche ein Glas Wasser, “ unser system könnte das Gehirn Signale generiert, die dachte, und verwandeln Sie in künstliche, wörtliche Rede,“ sagte Dr. Mesgarani. „Dies wäre ein Spiel-wechsler. Es geben würde, wer hat die Fähigkeit verloren, zu sprechen, ob durch Verletzung oder Krankheit, die erneute chance, eine Verbindung zu der Welt um Sie herum.“