Ndërfaqet tru-kompjuter janë një teknologji novator që mund të ndihmojë njerëzit e paralizuar të rifitojnë funksionet që kanë humbur, si lëvizja e dorës. Këto pajisje regjistrojnë sinjale nga truri dhe deshifrojnë veprimin e synuar të përdoruesit, duke anashkaluar nervat e dëmtuar ose të degraduar që normalisht do t'i transmetonin ato sinjale të trurit për të kontrolluar muskujt.
Që nga viti 2006demonstrimet e ndërfaqeve tru-kompjuter te njerëzit janë fokusuar kryesisht në rivendosjen e lëvizjeve të krahëve dhe duarve duke u mundësuar njerëzve që të kompjuter kontrollues kursorët ose krahët robotikë. Kohët e fundit, studiuesit kanë filluar të zhvillohen truri i fjalës-kompjuter ndërfaqet për të rivendosur komunikimin për njerëzit që nuk mund të flasin.
Ndërsa përdoruesi përpiqet të flasë, këto ndërfaqe tru-kompjuter regjistrojnë sinjalet unike të trurit të personit që lidhen me përpjekjet për lëvizje të muskujve për të folur dhe më pas i përkthen ato në fjalë. Këto fjalë më pas mund të shfaqen si tekst në një ekran ose të shqiptohen me zë të lartë duke përdorur softuerin tekst-në-fjalë.
Unë jam një studiues në të Laboratori i neuroprotetikës në Universitetin e Kalifornisë, Davis, i cili është pjesë e BrainGate2 provë klinike. Kohët e fundit unë dhe kolegët e mi demonstruam një ndërfaqe të të folurit tru-kompjuter që deshifron tentativën e të folurit të një burri me ALS, ose skleroza anësore amiotrofike, e njohur edhe si sëmundja e Lou Gehrig. Ndërfaqja konverton sinjalet nervore në tekst me mbi 97% saktësi. Çelësi i sistemit tonë është një grup modelesh gjuhësore të inteligjencës artificiale – rrjete nervore artificiale që ndihmojnë në interpretimin e atyre natyrore.
Regjistrimi i sinjaleve të trurit
Hapi i parë në ndërfaqen tonë të fjalës-tru-kompjuter është regjistrimi i sinjaleve të trurit. Ekzistojnë disa burime të sinjaleve të trurit, disa prej të cilave kërkojnë kirurgji për t'u regjistruar. Pajisjet e regjistrimit të implantuara në mënyrë kirurgjikale mund të kapin sinjale të trurit me cilësi të lartë, sepse ato vendosen më afër neuroneve, duke rezultuar në sinjale më të forta me më pak ndërhyrje. Këto pajisje të regjistrimit nervor përfshijnë rrjeta elektrodash të vendosura në sipërfaqen e trurit ose elektroda të implantuara direkt në indin e trurit.
Në studimin tonë, ne përdorëm grupe elektrodash të vendosura në mënyrë kirurgjikale në korteksin motorik të të folurit, pjesa e trurit që kontrollon muskujt që lidhen me të folurin, të pjesëmarrësit, Casey Harrell. Ne regjistruam aktivitetin nervor nga 256 elektroda ndërsa Harrell u përpoq të fliste.
Një grup prej 64 elektrodash që futen në indin e trurit regjistron sinjalet nervore. UC Davis Health
Dekodimi i sinjaleve të trurit
Sfida tjetër është lidhja e sinjaleve komplekse të trurit me fjalët që përdoruesi po përpiqet të thotë.
Një qasje është hartimi i modeleve të aktivitetit nervor drejtpërdrejt me fjalët e folura. Kjo metodë kërkon regjistrimin e sinjaleve të trurit që korrespondojnë me secilën fjalë disa herë për të identifikuar marrëdhënien mesatare midis aktivitetit nervor dhe fjalëve specifike. Ndërsa kjo strategji funksionon mirë për fjalorë të vegjël, siç tregohet në a Studim 2021 me një fjalor 50 fjalëshbëhet jopraktike për më të mëdhenjtë. Imagjinoni t'i kërkoni përdoruesit e ndërfaqes tru-kompjuter që të përpiqet të thotë çdo fjalë në fjalor disa herë – mund të duhen muaj dhe ende nuk do të funksionojë për fjalë të reja.
Në vend të kësaj, ne përdorim një strategji alternative: hartimin e sinjaleve të trurit me fonemat, njësitë bazë të tingullit që përbëjnë fjalët. Në anglisht, ka 39 fonema, duke përfshirë ch, er, oo, pl dhe sh, që mund të kombinohen për të formuar çdo fjalë. Ne mund të matim aktivitetin nervor të lidhur me çdo fonemë disa herë vetëm duke i kërkuar pjesëmarrësit të lexojë disa fjali me zë të lartë. Duke hartuar me saktësi aktivitetin nervor me fonema, ne mund t'i bashkojmë ato në çdo fjalë angleze, madje edhe ato me të cilat sistemi nuk ishte trajnuar në mënyrë eksplicite.
Për të hartuar sinjalet e trurit me fonemat, ne përdorim modele të avancuara të mësimit të makinerive. Këto modele janë veçanërisht të përshtatshme për këtë detyrë për shkak të aftësisë së tyre për të gjetur modele në sasi të mëdha të dhënash komplekse që do të ishte e pamundur për njerëzit t'i dallonin. Mendoni për këto modele si dëgjues super të zgjuar që mund të zgjedhin informacione të rëndësishme nga sinjalet e zhurmshme të trurit, njësoj si ju mund të përqendroheni në një bisedë në një dhomë të mbushur me njerëz. Duke përdorur këto modele, ne ishim në gjendje të deshifronim sekuencat e fonemave gjatë përpjekjes së të folurit me mbi 90% saktësi.
Ndërfaqja tru-kompjuter përdor një klon të zërit të Casey Harrell për të lexuar me zë të lartë tekstin që deshifron nga aktiviteti i tij nervor.
Nga Fonemat te Fjalët
Pasi të kemi sekuencat e fonemave të deshifruara, duhet t'i kthejmë ato në fjalë dhe fjali. Kjo është sfiduese, veçanërisht nëse sekuenca e fonemave të deshifruara nuk është plotësisht e saktë. Për të zgjidhur këtë enigmë, ne përdorim dy lloje plotësuese të modeleve të gjuhës së mësimit të makinës.
E para janë modelet e gjuhës n-gram, të cilat parashikojnë se cila fjalë ka më shumë gjasa të ndjekë një grup n fjalët. Ne trajnuam një model gjuhësor prej 5 gramësh ose pesë fjalësh miliona fjali për për të parashikuar gjasat e një fjale bazuar në katër fjalët e mëparshme, duke kapur kontekstin lokal dhe frazat e zakonshme. Për shembull, pas “Unë jam shumë mirë”, mund të sugjerojë “sot” si më të mundshme se “patate”. Duke përdorur këtë model, ne i konvertojmë sekuencat tona të fonemave në 100 sekuencat më të mundshme të fjalëve, secila me një probabilitet të lidhur.
E dyta janë modelet e mëdha të gjuhës, të cilat fuqizojnë chatbot-et e AI dhe gjithashtu parashikojnë se cilat fjalë pasojnë më shumë të tjerat. Ne përdorim modele të mëdha gjuhësore për të përmirësuar zgjedhjet tona. Këto modele, të trajnuara në sasi të mëdha tekstesh të larmishme, kanë një kuptim më të gjerë të strukturës dhe kuptimit të gjuhës. Ato na ndihmojnë të përcaktojmë se cila nga 100 fjalitë tona kandidate ka më shumë kuptim në një kontekst më të gjerë.
Duke balancuar me kujdes probabilitetet nga modeli n-gram, modeli i gjuhës së madhe dhe parashikimet tona fillestare të fonemës, ne mund të bëjmë një supozim shumë të arsimuar për atë që përdoruesi i ndërfaqes tru-kompjuter po përpiqet të thotë. Ky proces me shumë hapa na lejon të trajtojmë pasiguritë në dekodimin e fonemave dhe të prodhojmë fjali koherente, të përshtatshme në kontekst.
Si ndërfaqja e të folurit UC Davis tru-kompjuter deshifron aktivitetin nervor dhe i kthen ato në fjalë. UC Davis Health
Përfitimet e botës reale
Në praktikë, kjo strategji e dekodimit të të folurit ka qenë jashtëzakonisht e suksesshme. Ne i kemi mundësuar Casey Harrell, një burrë me ALS, të “flasë” me mbi 97% saktësi duke përdorur vetëm mendimet e tij. Ky zbulim i lejon atij të bisedojë lehtësisht me familjen dhe miqtë e tij për herë të parë në vite, të gjitha në komoditetin e shtëpisë së tij.
Ndërfaqet e të folurit tru-kompjuter përfaqësojnë një hap të rëndësishëm përpara në rivendosjen e komunikimit. Ndërsa vazhdojmë t'i përpunojmë këto pajisje, ato mbajnë premtimin për t'u dhënë zë atyre që kanë humbur aftësinë për të folur, duke i rilidhur me të dashurit e tyre dhe botën përreth tyre.
Megjithatë, sfidat mbeten, të tilla si bërja e teknologjisë më e aksesueshme, e lëvizshme dhe më e qëndrueshme gjatë viteve të përdorimit. Pavarësisht këtyre pengesave, ndërfaqet fjalë-tru-kompjuter janë një shembull i fuqishëm se si shkenca dhe teknologjia mund të bashkohen për të zgjidhur probleme komplekse dhe për të përmirësuar në mënyrë dramatike jetën e njerëzve.
Nicholas Card është një student postdoktoral në neuroshkencë dhe neuro-inxhinieri në Universitetin e Kalifornisë, Davis. Ky artikull është ribotuar nga Biseda nën një Licenca Creative Commons. Lexoni artikull origjinal.
