Mit einem Brain Computer Interface (BCI) können bewegungsunfähige Menschen über Hirnsignale Computer ansteuern. Eine Beispielanwendung ist ein P300-Speller, mit dessen Hilfe eine Person Buchstaben mit Augen «eingeben» kann. Dieser nutzt ereigniskorrelierte Potenziale namens P300 Stimuli, welche bei visuellen Reizen evoziert werden. Im Rahmen dieser Bachelorarbeit wurden Algorithmen des Deep Learnings (DL) genutzt, um aus EEG-Daten mit P300-Stimuli Zahlen vorherzusagen.
2017 wurde im Rahmen eines Experiments in Tschechien bei 250 Schülern das EEG aufgezeichnet. Das Subjekt (der/die jeweilige Schüler/Schülerin) musste sich eine Zahl zwischen 1-9 ausdenken und dann auf einem Bildschirm (ca. 10 min) schauen. Auf diesem lief eine Sequenz von zufälligen Zahlen zwischen 1-9. Während dieser Zeit wurde das EEG aufgezeichnet. Jedes Mal, wenn die gedachte Zahl auf dem Bildschirm erschien, wurde der P300 Stimulus beim Subjekt evoziert. Dieser Stimulus macht sich ca. 300 ms nach einem visuellen Sinnesreiz als einen Peak auf dem EEG bemerkbar. Forschende haben mittels Methoden des maschinellen Lernens diese EEG-Daten mit den P300 Stimuli ausgewertet (Vařeka L. (2020) Evaluation of convolutional neural networks using a large multi-subject P300 dataset). Verschiedene Algorithmen kamen zur Lösung des Zwei-Klassen-Klassifikationsproblem „target“ vs. „non target“ (bzw. gedachte Zahl vs. Zufallszahl) zum Einsatz: Die Klassifikationsgenauigkeit mit CNN lag bei 62.18 % und war nicht besser als die bewährte LDA Methode. Diese Bachelorarbeit verfolgte das Ziel, eine andere DL Architektur zu implementieren, um die bisherige Performance zu übertreffen.
Mit dem DL Framework Tensorflow 2.0 wurden verschiedene Modelle der neuronalen Netze implementiert. Als Inspiration dienten Literaturrecherchen mit dem Fokus auf DL Projekten mit EEG-Daten. Erprobt wurden > 30 Modelle unter anderem zur Gruppe CNN, (Bi | Stacked)LSTM, CNN-LSTM, ConvLSTM und LSTM + Attention. Das beste Modell war das Stacked LSTM (siehe Signifikanzmatrix Modell ID 3) mit einer Genauigkeit von 63.7 %. Jedoch war sie nicht signifikant besser als die vom Baseline Modell (CNN - siehe Signifikanzmatrix Modell ID 1).
Die derzeitige Performance mittels DL Methoden ist ungenügend für einen praktischen Einsatz. Eine Ursache der niedrigen Qualität kann in der zur Verfügung stehenden EEG-Kanäle liegen. Die Forschenden haben nur drei EEG-Kanäle bei den Schülern aufgezeichnet. Gemäss Literaturrecherche wurden dabei bei vielen anderen DL Projekten mehr als acht Kanäle verwendet. Eine weitere Verbesserungsmöglichkeit besteht in der Nutzung von Transfer Learning, wodurch ein aussagekräftigeres Modell anhand eines ähnlichen EEG-Datensatzes trainiert wird. Ferner empfiehlt der Autor mit weiteren Architekturen wie etwa Inception, ResNet und Graph Convolutional Network zu experimentieren.