Para pakar neurosains mengajar komputer untuk membaca kata-kata langsung dari otak orang.
Kelly Servick, menulis untuk Sains, melaporkan minggu ini mengenai tiga kertas yang diposkan ke bioRxiv server preprint di mana tiga pasukan penyelidik yang berbeza menunjukkan bahawa mereka boleh memecahkan ucapan daripada rakaman pembakaran neurons. Dalam setiap kajian, elektrod diletakkan terus ke otak yang mencatatkan aktiviti saraf manakala pesakit pembedahan otak mendengar ucapan atau membaca kata-kata dengan kuat. Kemudian, para penyelidik cuba memikirkan apa yang didengar atau dikatakan oleh pesakit. Dalam setiap kes, para penyelidik dapat menukar aktiviti elektrik otak ke dalam fail suara yang agak mudah difahami.
Kertas pertama, yang diposting ke bioRxiv pada 10 Oktober 2018, menggambarkan satu percubaan di mana penyelidik memainkan rakaman ucapan kepada pesakit dengan epilepsi yang berada di tengah pembedahan otak. (Rekaman neural yang diambil dalam eksperimen itu harus sangat terperinci untuk ditafsirkan. Dan tahap terperinci hanya tersedia semasa keadaan jarang ketika otak terdedah kepada udara dan elektroda diletakkan di atasnya secara langsung, seperti dalam pembedahan otak .)
Ketika pesakit mendengar fail bunyi, para penyelidik mencatatkan neuron menembak di bahagian otak pesakit yang memproses bunyi. Para saintis mencuba beberapa kaedah yang berbeza untuk mengubah data tembakan neuron ke dalam ucapan dan mendapati bahawa "pembelajaran mendalam" - di mana komputer cuba untuk menyelesaikan masalah yang kurang atau tidak terjaga - bekerja paling baik. Apabila mereka memainkan hasil melalui seorang vocoder, yang mensintesiskan suara manusia, untuk sekumpulan 11 pendengar, orang-orang itu dapat menerangkan dengan betul perkataan 75 peratus masa itu.
Anda boleh mendengar audio dari eksperimen ini di sini.
Kertas kedua, yang disiarkan pada 27 Nov, 2018, bergantung pada rakaman saraf daripada orang yang menjalani pembedahan untuk menghilangkan tumor otak. Ketika para pesakit membaca kata-kata suku kata dengan lantang, para penyelidik mencatatkan kedua-dua bunyi yang keluar dari mulut peserta dan neurons yang menembak di daerah yang menghasilkan ucapan otak mereka. Daripada latihan komputer secara mendalam pada setiap pesakit, penyelidik-penyelidik ini mengajar rangkaian saraf buatan untuk menukar rekod saraf ke dalam audio, menunjukkan bahawa hasilnya adalah paling mudah difahami dan mirip dengan rakaman yang dibuat oleh mikrofon. (Audio dari percubaan ini disini tetapi perlu dimuat turun sebagai fail zip.)
Kertas ketiga, yang disiarkan pada 9 Ogos 2018, bergantung pada rakaman bahagian otak yang mengubah kata-kata khusus yang seseorang memutuskan untuk bercakap dalam pergerakan otot. Walaupun tiada rakaman dari percubaan ini boleh didapati dalam talian, para penyelidik melaporkan bahawa mereka dapat membina semula keseluruhan ayat (juga direkodkan semasa pembedahan otak pada pesakit dengan epilepsi) dan bahawa orang yang mendengar ayat-ayat itu mampu menerangkannya dengan betul pada pilihan berganda ujian (daripada 10 pilihan) 83 peratus masa. Kaedah eksperimen itu bergantung pada mengenal pasti corak yang terlibat dalam menghasilkan suku kata individu, bukannya perkataan keseluruhan.
Matlamat dalam semua eksperimen ini adalah untuk satu hari membolehkan orang yang kehilangan keupayaan untuk bercakap (disebabkan oleh sklerosis lateral amyotrophic atau keadaan yang sama) untuk bercakap melalui antara muka komputer-ke-otak. Bagaimanapun, sains untuk aplikasi itu belum ada lagi.
Mentafsirkan corak saraf seseorang hanya membayangkan pertuturan lebih rumit daripada mentafsirkan corak orang yang mendengar atau menghasilkan ucapan, kata Sains. (Walau bagaimanapun, penulis kertas kedua mengatakan bahawa menafsirkan aktiviti otak seseorang yang membayangkan ucapan mungkin.)
Ia juga penting untuk diingat bahawa ini adalah kajian kecil. Kertas pertama bergantung kepada data yang diambil dari hanya lima orang pesakit, manakala yang kedua memandang enam pesakit dan ketiga hanya tiga. Dan tidak ada rakaman saraf yang berlangsung lebih dari satu jam.
Namun, sains sedang bergerak ke hadapan, dan alat-alat tiruan yang bersambung langsung ke otak kelihatan seperti kemungkinan sebenar di beberapa titik di jalan.
