Paul Sparks
0 
3768
851
Neurowetenschappers leren computers om woorden rechtstreeks uit de hersenen van mensen te lezen.
Kelly Servick, die voor Science schrijft, rapporteerde deze week over drie papers die op de preprint-server bioRxiv waren gepost, waarin drie verschillende teams van onderzoekers aantoonden dat ze spraak konden decoderen op basis van opnames van neuronen die vuren. In elk onderzoek registreerden elektroden die rechtstreeks op de hersenen waren geplaatst, neurale activiteit, terwijl patiënten met hersenoperaties naar spraak luisterden of woorden voorlezen. Vervolgens probeerden onderzoekers erachter te komen wat de patiënten hoorden of zeiden. In beide gevallen waren onderzoekers in staat de elektrische activiteit van de hersenen om te zetten in op zijn minst enigszins begrijpelijke geluidsbestanden.
De eerste paper, gepost op bioRxiv op 10 oktober 2018, beschrijft een experiment waarin onderzoekers spraakopnames speelden voor patiënten met epilepsie die midden in een hersenoperatie zaten. (De neurale opnames die in het experiment werden gemaakt, moesten zeer gedetailleerd zijn om te worden geïnterpreteerd. En dat detailniveau is alleen beschikbaar in de zeldzame omstandigheden waarin een brein wordt blootgesteld aan de lucht en er direct elektroden op worden geplaatst, zoals bij hersenchirurgie. .) [3D-afbeeldingen: het menselijk brein verkennen]
Terwijl de patiënten naar de geluidsbestanden luisterden, namen de onderzoekers neuronen op die vuren in de delen van de hersenen van de patiënt die geluid verwerken. De wetenschappers probeerden een aantal verschillende methoden uit om die neuronale afvuurgegevens om te zetten in spraak en ontdekten dat "diep leren" - waarbij een computer een probleem min of meer zonder toezicht probeert op te lossen - het beste werkte. Toen ze de resultaten speelden via een vocoder, die menselijke stemmen synthetiseert, voor een groep van 11 luisteraars, konden die individuen de woorden 75 procent van de tijd correct interpreteren.
U kunt hier naar audio van dit experiment luisteren.
De tweede paper, geplaatst op 27 november 2018, was gebaseerd op neurale opnames van mensen die een operatie ondergingen om hersentumoren te verwijderen. Terwijl de patiënten woorden met één lettergreep voorlezen, namen de onderzoekers zowel de geluiden op die uit de mond van de deelnemers kwamen als de neuronen die vuren in de spraakproducerende gebieden van hun hersenen. In plaats van computers diep op elke patiënt te trainen, leerden deze onderzoekers een kunstmatig neuraal netwerk om de neurale opnames om te zetten in audio, wat aantoont dat de resultaten op zijn minst redelijk begrijpelijk waren en vergelijkbaar met de opnames gemaakt door de microfoons. (De audio van dit experiment is hier, maar moet als zip-bestand worden gedownload.)
Het derde artikel, geplaatst op 9 augustus 2018, was gebaseerd op het opnemen van het deel van de hersenen dat specifieke woorden omzet die een persoon besluit te spreken in spierbewegingen. Hoewel er geen opname van dit experiment online beschikbaar is, meldden de onderzoekers dat ze hele zinnen konden reconstrueren (ook opgenomen tijdens hersenoperaties bij patiënten met epilepsie) en dat mensen die naar de zinnen luisterden, ze correct konden interpreteren op een multiple choice test (van de 10 keuzes) 83 procent van de tijd. De methode van dat experiment was gebaseerd op het identificeren van de patronen die betrokken zijn bij het produceren van individuele lettergrepen, in plaats van hele woorden.
Het doel van al deze experimenten is om het op een dag mogelijk te maken voor mensen die niet meer kunnen spreken (vanwege amyotrofische laterale sclerose of soortgelijke aandoeningen) om via een computer-naar-herseninterface te spreken. De wetenschap voor die toepassing is er echter nog niet.
Het interpreteren van de neurale patronen van iemand die zich alleen maar spraak voorstelt, is ingewikkelder dan het interpreteren van de patronen van iemand die naar spraak luistert of spraak produceert, meldde Science. (De auteurs van het tweede artikel zeiden echter dat het mogelijk is om de hersenactiviteit van iemand die zich spraak voorstelt, te interpreteren.)
Het is ook belangrijk om in gedachten te houden dat dit kleine onderzoeken zijn. De eerste paper was gebaseerd op gegevens van slechts vijf patiënten, terwijl de tweede naar zes patiënten keek en de derde slechts drie. En geen van de neurale opnames duurde meer dan een uur.
Toch gaat de wetenschap vooruit, en kunstmatige spraakapparatuur die rechtstreeks op de hersenen is aangesloten, lijkt op een gegeven moment een reële mogelijkheid op de weg..
- 10 dingen die we in 2018 over de hersenen hebben geleerd
- 10 dingen die je niet over jou wist
- Afbeeldingengalerij: door de hersenen snijden
Oorspronkelijk gepubliceerd op .