Μεταφράζοντας τον εγκέφαλο. Translating the brain

Οι επιστήμονες έκαναν ακόμη ένα βήμα για τη δημιουργία μηχανών που καταλαβαίνουν τι λέει ένας άνθρωπος, αναλύοντας μόνο τα εγκεφαλικά κύτταρά του και μετατρέποντας, στη συνέχεια, αυτόματα, σε γραπτό κείμενο, τις προτάσεις του. Researchers in US tracked the neural data from people while they were speaking. Computer-generated image of a brain. The team found the accuracy of the latest system was far higher than previous approaches. Photograph: Jezper/Alamy

Ερευνητές στις ΗΠΑ δημιούργησαν έναν αλγόριθμο τεχνητής νοημοσύνης, ο οποίος μπορεί να αποκωδικοποιήσει τη νευρωνική δραστηριότητα του εγκεφάλου και να τη «μεταφράσει» σε πραγματικό χρόνο σε προτάσεις με μεγάλη ακρίβεια (σφάλμα μόνο 3%), κάτι που επιτυγχάνεται για πρώτη φορά σε αυτόν τον βαθμό.

Οι διεπαφές εγκεφάλου-μηχανής (brain-machine interfaces) είχαν έως τώρα περιορισμένη επιτυχία στο να αποκωδικοποιήσουν τη σκέψη με βάση μόνο την εγκεφαλική δραστηριότητα και έτσι να δημιουργήσουν τεχνητή ομιλία, έχοντας πετύχει ακρίβεια αρκετά μικρότερη από τη φυσική ομιλία, ενώ μέχρι σήμερα δεν είχαν καταφέρει να «διαβάσουν» ολόκληρες προτάσεις παρά μόνο λέξεις.

Αυτήν τη φορά, οι ερευνητές, με επικεφαλής τους Τζόζεφ Μέικιν και Έντουαρντ Τσανγκ του Πανεπιστημίου της Καλιφόρνια-Σαν Φρανσίσκο, που έκαναν τη σχετική δημοσίευση στο περιοδικό νευροεπιστήμης «Nature Neuroscience», αξιοποίησαν τις τελευταίες εξελίξεις στο πεδίο της μηχανικής μετάφρασης για να εκπαιδεύσουν τεχνητά νευρωνικά δίκτυα να μετατρέπουν απευθείας τα σήματα των νευρώνων σε προτάσεις.

The decoding pipeline. Each participant read sentences from one of two data sets (MOCHA-TIMIT, picture descriptions) while neural signals were recorded with an ECoG array (120–250 electrodes) covering peri-Sylvian cortices. The analytic amplitudes of the high-γ signals (70–150 Hz) were extracted at about 200 Hz, clipped to the length of the spoken sentences, and supplied as input to an artificial neural network. The early stages of the network learn temporal convolutional filters that, additionally, effectively downsample these signals. Each filter maps data from twelve-sample-wide windows across all electrodes (e.g., the green window shown on the example high-γ signals in red) to single samples of a feature sequence (highlighted in the green square on the blue feature sequences); then slides by twelve input samples to produce the next sample of the feature sequence; and so on. One hundred feature sequences are produced in this way, and then passed to the encoder RNN, which learns to summarize them in a single hidden state. The encoder RNN is also trained to predict the MFCCs of the speech audio signal that temporally coincide with the ECoG data, although these are not used during testing (see text for details). The final encoder hidden state initializes the decoder RNN, which learns to predict the next word in the sequence, given the previous word and its own current state. During testing, the previous predicted word is used instead.

Τέσσερις εθελοντές, στο κρανίο των οποίων είχαν εμφυτευθεί ηλεκτρόδια καταγραφής της νευρωνικής δραστηριότητας, διάβαζαν φωναχτά προτάσεις κειμένου. Το σύστημα τεχνητής νοημοσύνης έμαθε έτσι να συσχετίζει τα νευρωνικά σήματα με την ομιλία και τα συστατικά των λέξεων (φωνήεντα, σύμφωνα κ.ά.), ενώ στη συνέχεια έμαθε να «δένει» τις λέξεις σε προτάσεις.

Η ακρίβεια του αλγόριθμου είναι ανάλογη εκείνης που χρησιμοποιούν τα «έξυπνα» επαγγελματικά υπολογιστικά συστήματα αυτόματης μετατροπής της ομιλίας σε γραπτό κείμενο. Πάντως, σύμφωνα με τους ερευνητές, το σύστημα χρειάζεται ακόμη περαιτέρω βελτίωση, καθώς έως τώρα δεν μπορεί να ξεπεράσει τις 30 έως 50 προτάσεις με βάση ένα λεξιλόγιο έως 250 λέξεων. Το επόμενο βήμα θα είναι να μπορεί το σύστημα να μετατρέπει σε προτάσεις τη νευρωνική δραστηριότητα ανθρώπων που απλώς σκέφτονται και δεν μιλάνε.

Πηγές: Nature Neuroscience - https://www.theguardian.com/science/2020/mar/30/scientists-develop-ai-that-can-turn-brain-activity-into-text - https://www.amna.gr/home/article/445283/I-techniti-noimosuni-metafrazei-tin-egkefaliki-drastiriotita