Schlüsselwörter

4.1 Einführung

Die Weltgesundheitsorganisation (WHO) schätzt, dass es über 1 Milliarde beeinträchtigte Personen gibt, von denen 20 % täglich schwerwiegende funktionale Herausforderungen erleben [1]. Zum Beispiel nutzen 75 Millionen Menschen täglich Rollstühle. Das entspricht 1 % der Weltbevölkerung. Das sind doppelt so viele Menschen wie die Bevölkerung Kanadas [2]. Die Technologie der Gehirn-Computer-Schnittstelle (BCI) kann das Leben dieses beträchtlichen Bevölkerungssegments erheblich verbessern.

Mit der Nutzung der BCI kann eine Person mit der Außenwelt interagieren oder diese steuern, ohne die regulären neuromuskulären Wege zu nutzen. Daher unterstützt es Menschen mit schwerer motorischer Beeinträchtigung, Lähmung oder diejenigen, die ihre Gliedmaßen verloren haben, indem es ihre Gehirnaktivität und Absichten in Handlungen übersetzt, die es ihnen ermöglichen, sich selbst zu helfen [3]. Eine solche Erfindung hilft einem großen Teil der Gesellschaft, die Teilhabe am sozialen Leben wiederzugewinnen und wieder produktiv zu werden, anstatt eine Belastung zu sein, was auf den Wohlstand der Gesellschaft hindeutet.

Bei der Verwendung von BCI kann die Übersetzung von Gehirnwellen in Befehle zur Steuerung von Hilfsgeräten ein komplizierter Prozess mit vielen zu berücksichtigenden Parametern sein. So sind zum Beispiel, wenn die Gehirnsignale mit der nicht-invasiven Methode des EEG erfasst werden, die Signale viel Lärm ausgesetzt, weil der Schädel und die Kopfhaut als Barrieren zwischen den Elektroden und dem Gehirn wirken [4]. Daher besteht die Herausforderung darin, eine geeignete Filterung und Konditionierung der erfassten Gehirnsignale anzuwenden, um klare Muster zu erhalten, die mit künstlicher Intelligenz (KI) Algorithmen dekodiert werden können. Schließlich sorgt ein genauer Start der Schnittstelle für weniger Übersetzungsfehler der Absicht und gewährleistet eine präzisere Robotersteuerung am Ende.

4.2 Die Evolution der BCI

Die Geschichte der BCI reicht bis ins Jahr 1875 zurück, als Richard Canton die Präsenz von elektrischen Signalen im Gehirn von Tieren entdeckte [5]. Vor etwa 100 Jahren inspirierte Cantons Entdeckung Hans Berger, einen deutschen Neurowissenschaftler, zur Aufzeichnung im Jahr 1924. Es war die erste nicht-invasive EEG-Studie, die Nadelelektroden mit einer Tonspitze zur Aufzeichnung der elektrischen Aktivität im menschlichen Gehirn einsetzte [6]. Bei einem 17-jährigen Jugendlichen mit einem möglichen Fall von Gehirnkrebs wurden die Elektroden an der Trepanationsstelle positioniert und an ein Galvanometer angeschlossen. Im Jahr 1929 schrieb Berger in einem Artikel mit dem Titel „Über das Elektroenzephalogramm des Menschen“, dass elektrische Stromschwankungen mit Elektroden, die auf die Haut über der Schädelöffnung gelegt wurden, aufgezeichnet werden konnten [7].

Dann begann die University of California, Los Angeles (UCLA) in den 1970er-Jahren mit echter BCI-Forschung an Tieren, um eine neue, direkte Verbindung zwischen ihrem Gehirn und der Welt zu schaffen [6]. Der Begriff „Gehirn-Computer-Schnittstelle“ wurde erstmals 1973 von UCLA-Professor Jacques Vidal verwendet, der auch die Ziele der Forschung skizzierte, EEG-Daten über eine Gehirn-Computer-Schnittstelle zu analysieren. Er veröffentlichte einen Artikel mit dem Titel „Toward Direct Brain-Computer Communications“ und 1976 demonstrierte das BCI-Labor der UCLA, dass ein einzelner visueller Versuch ein Potenzial hervorrief, das für die Cursorsteuerung in einem zweidimensionalen Labyrinth genutzt werden könnte [8].

Im Jahr 1988 wurden erstmals P300-Schreiber von Farwell und Donchin in einem Artikel mit dem Titel „Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials“ vorgestellt [9]. Basierend auf der Erkennung einer positiven Abweichung im Potenzial 300 msec nach einem Stimulus wurde das Gerät „P300“ genannt [9, 10]. Das Ziel eines P300-Schreibers war es, Buchstaben anzuzeigen, die vom Patienten mental ausgewählt wurden. Die ersten Versuche waren, wenn der Patient aufgefordert wurde, einen Buchstaben aus einer 6 × 6- oder 5 × 5-Matrix auszuwählen, in der die Zeilen und Spalten für eine bestimmte Zeit zu blinken beginnen. Dies ließ das Gehirn einen einzigartigen Potenzialwert für jeden Buchstaben erzeugen, wodurch der benötigte Buchstabe erkannt wurde [10].

Zehn Jahre später, im Jahr 1998, implantierte der Forscher Philip Kennedy das erste BCI in einen Menschen [11]. Diese Person war eine Locked-in-Patientin mit Amyotropher Lateralsklerose (ALS). Obwohl es keinen Versuch zur „Schreibmaschinen“-Steuerung gab, konnte sie bis zu ihrem Tod 76 Tage nach der Implantation binäre Entscheidungen treffen [12]. Danach implantierte er die Hauptkortexregion seines zweiten Locked-in-Patienten in der Nähe der Hand, wo er lernte, die 2D-Position des Mauscursors zu steuern, während er eine virtuelle Tastatur benutzte. Er musste bestimmte Handgesten visualisieren, um die gewünschten Buchstaben auszuwählen und den Imaginationskortex zu aktivieren. Obwohl der Patient nur drei Buchstaben pro Minute tippen konnte, stellte diese Methode einen enormen Fortschritt im Bereich der Gehirnkartierung dar [13].

Ein bedeutender Schritt in der Entwicklung von BCI-Systemen wurde gemacht, als Matthew Nagle 2004 die erste Person wurde, bei der das kommerzielle BCI CyberKinetics BrainGate implantiert wurde [14]. Im selben Jahr zeigte eine Studie des Wadsworth Center des New Yorker Gesundheitsministeriums, wie ein BCI zur Bedienung eines Computers verwendet werden könnte. Patienten nahmen an der Studie teil, indem sie eine Kappe mit Elektroden aufsetzten, um EEG-Signale aus dem Motorkortex, einem Bereich des Gehirns, der für die Steuerung der Bewegung verantwortlich ist, aufzuzeichnen [15].

Als neuroprothetische Technologie, die bei der Wiederherstellung des Gehörs hilft, wurden Cochlea-Implantate bis 2010 bei über 220.000 Patienten weltweit eingesetzt [16]. Eine 58-jährige querschnittsgelähmte Frau und ein 66-jähriger Mann wurden 2012 nach Angaben von Leigh Hochberg, einem Neurologen am Massachusetts General Hospital, mit Elektroden in ihrem Gehirn implantiert, um einen Roboterarm zu bedienen. Sie konnten kleine Gegenstände greifen, sie erreichen und sogar mit einem Strohhalm Kaffee aus einer Flasche trinken. Er prognostizierte, dass BCI-Technologie eines Tages gelähmten Menschen ermöglichen würde, alltägliche Aufgaben auszuführen [17].

Darüber hinaus entwickelten Wissenschaftler der University of California, Berkeley, im Jahr 2016 „neural dust“, das kleinste und effektivste drahtlose Implantat der Welt. In ihrer Idee verwandelte ein cue-basiertes System visuelle Darstellungen von motorischen Aktivitäten in Anweisungen zur Bedienung einer Orthese für die Hand oder einer virtuellen Tastatur [18].

Im Jahr 2019 präsentierten Forscher der University of California, San Francisco (UCSF), ein BCI, das mithilfe von Deep-Learning-Techniken die Sprache von Patienten mit Sprachproblemen, die durch Erkrankungen des Nervensystems verursacht wurden, synthetisiert. Es war die erste Studie, die Gehirnaktivität entschlüsselte, um ganze Sätze in einer Geschwindigkeit zu erzeugen, die der normalen Sprache ähnlich ist [19].

Heutzutage verbessern und erweitern Forscher BCI-Techniken, um umfassender zu sein. Um die universelle Anwendbarkeit einer solchen Innovation zu veranschaulichen, untersuchten Forscher der University of Washington in den USA die Erweiterung des Designs des P300-Schreibers mit Englisch auf zwei weitere Sprachen, Spanisch und Griechisch. Solche Untersuchungen ermöglichen die Erweiterung der Zugänglichkeit von BCI-Systemen für weitere Personen, insbesondere in unterentwickelten Ländern [20].

Abb. 4.1 unten zeigt die Evolution der BCI-Systeme im Laufe der Zeit, beginnend mit der Entdeckung der Präsenz von elektrischen Signalen im Gehirn von Tieren im Jahr 1875 bis zur Gegenwart.

Abb. 4.1
figure 1

Die Evolution der BCI-Systeme

Full size image

4.3 Studien über die BCI

In dieser Übersicht konzentrieren wir uns hauptsächlich auf frühere Methoden, die in den letzten Jahren auf dem Gebiet der BCI durchgeführt wurden. Forscher und Pioniere in der Welt der BCI können von dieser Übersicht profitieren, indem sie ihre Vision davon erweitern, wie BCI in der Zukunft entwickelt werden sollte. Indem wir einige der Experimente hervorheben, die in der Vergangenheit auf dem Gebiet der BCI durchgeführt wurden, erwarten wir, dass der Leser einen Einblick erhält, wie die Pioniere in der Welt der BCI dachten, und daher einen ähnlichen Ansatz verfolgen kann, der zur Weiterentwicklung der BCI-Systeme beiträgt.

Die Kontrolle von Maschinen mit Gehirnen und umgekehrt ist ein Problem, das Wissenschaftler schon seit geraumer Zeit untersuchen. Delgado [21], in seinem Buch „Physical Control of the Mind: Toward a psychocivilized society“, hatte die Vision, eine psycho-zivilisierte Gesellschaft zu schaffen, indem er die Gehirne der Bürger kontrolliert, um ihr aggressives und gewalttätiges Verhalten zu verringern. Seine Vision kam, nachdem er ein Gerät namens „Stimoceiver“ entwickelt und es in den Kortex mehrerer Stiere eingeführt hatte, einige waren Kampfstiere und andere waren zahme Stiere. Er tat dies, um die funktionalen Unterschiede in den Gehirnen der beiden Rassen zu studieren, damit er einige Hinweise auf ihre neurologische Basis der Aggression entdecken konnte. Nach der chirurgischen Implantation von Elektroden wurden mehrere zerebrale Punkte durch Radio-Stimulation erkundet und motorische Effekte im Stier hervorgerufen, wie Kopfdrehen, Anheben eines Beines und Kreisen.

In seinem Experiment drückte Delgado einen Knopf, manipulierte somit elektronisch die Muskelreflexe des Stiers und zwang den Stier, den Angriff zu stoppen (siehe Abb. 4.2). Der gleiche Wissenschaftler verwendete später nicht-invasive Ansätze, um die Gehirne von Affen und anderen Tieren zu kontrollieren. Allerdings wurde Delgados Idee, Gehirne mit Computern zu kontrollieren, stark abgelehnt. Daher lief seine Finanzierung Ende der 70er-Jahre aus.

Abb. 4.2
figure 2

Delgados Experiment zur Kontrolle des Geistes eines Stiers, um seine Gewalt zu stoppen

Full size image

Kennedy [12] entwickelte 1998 eine neue Elektrode namens „Neurotrophic Electrode“. Diese Technologie ermöglichte es einem Patienten mit Locked-in-Syndrom (ALS), die Kommunikation durch binäre Entscheidungen wiederherzustellen. Mit ihrer differenzierten Augenbewegung, um Ja oder Nein anzuzeigen, konnte sie die neuronalen Signale in einer Ein-/Aus-Weise steuern, aber ohne Tastaturversuche (siehe Abb. 4.3).

Abb. 4.3
figure 3

Aufzeichnung der Gehirnaktivität und Analyse der Gehirnwellen in einer EIN/AUS-Weise

Full size image

Danach ermöglichte er einem weiteren Patienten mit Locked-in-Syndrom (LIS), Wörter auf einer 2D-virtuellen Tastatur nur mit seinem Geist zu tippen [13]. Dieser Patient wurde im Handbereich seines primären motorischen Kortex implantiert und lernte, die Position des Mauszeigers durch Vorstellung seiner Handbewegungen zu steuern. Es war möglich, viele Signale verschiedener Intensitäten zu erfassen, und die Spitzen jeder Wellenform wurden dann in einen Pulszug umgewandelt. Um einen Mausklick zu simulieren, wurden die Gehirnsignale in Transistor-Transistor-Logik (TTL) Pulse mit drei Hauptpuls-Ausgängen umgewandelt. Die X- und Y-Spannungseingabe bestimmt die Position des Cursors auf dem Bildschirm. Der Cursor wird durch zwei Pulszüge bewegt, einen in X-Richtung und den anderen in Y-Richtung. Die Geschwindigkeit, mit der die Feuerrate zunimmt, beeinflusst, wie schnell der Zeiger über den Bildschirm geht. Der „Enter“ oder „Select“ Befehl, kurz für „Mausklick“, wird durch den dritten Puls aktiviert (siehe Abb. 4.4).

Abb. 4.4
figure 4

Eine virtuelle 2D-Tastatur, auf der der Cursor über die X- und Y-Dimensionen bewegt wird

Full size image

Kennedy ging später ein wenig zu weit, indem er das Gerät zwei Jahre lang in seinen Kopf pflanzte und seine Gehirnaktivität während des Sprechens aufzeichnete. Heutzutage versucht er, die aufgezeichneten Daten zu entschlüsseln, um die Technologie des „stillen Sprechens“ zu entwickeln, die darauf abzielt, das Sprechen für diejenigen wiederherzustellen, die LIS haben, das heißt, gelähmt und stumm sind, indem sie einem Computer erlauben, für sie zu sprechen, wenn sie in ihrem Kopf sprechen [22].

Goebel [23] experimentierte in seiner Studie „Exploring the Mind“ mit der funktionellen Magnetresonanztomographie (fMRI), um Signale aufzuzeichnen, bei denen zwei Teilnehmer zusammen in Echtzeit ein Ping-Pong-Spiel nur mit ihren Gedanken spielten. In seinem Experiment konvertierte BCI fMRI-Signale in die Schlägerposition auf der y-Achse, je höher das Signalniveau, desto höher die Schlägerposition. Der erste Teilnehmer stellte sich vor, alleine oder mit einer zunehmenden Anzahl von Partnern zu tanzen. Und der zweite stellte sich vor, ein Rennauto mit einer variierenden Anzahl von anderen Teilnehmern zu fahren. Goebel erklärte, dass die Teilnehmer Schläger auf dem Bildschirm bewegten, um den Ball zu treffen und Punkte mit „Gehirnkraft“ anstelle eines Joysticks zu erzielen (siehe Abb. 4.5).

Abb. 4.5
figure 5

Ping-Pong spielen mit „Gehirnkraft“ durch die Aufzeichnung (fMRI) der Signale (für zwei Teilnehmer)

Full size image

Nicolelis [24] verwendete in seiner Studie „A Brain-to-Brain Interface for Real-Time Sharing of Sensorimotor Information“ invasive Gehirnimplantate bei Mäusen, um ihr Verhalten zu studieren. Sein Team stellte zwei Kammern 7000 Meilen voneinander entfernt auf, die erste (Encoder Setup) in Brasilien und die zweite (Decoder Setup) in den USA.

Jede der Kammern enthielt eine Maus mit einem BCI-Implantat, das mit dem Internet verbunden war, zwei Hebel, zwei LED-Leuchten (eine über jedem Hebel) und ein Fenster, durch das die Maus einen Schluck Wasser als Belohnung erhalten konnte. Beide Mäuse wurden darauf trainiert, den Hebel zu drücken, wenn sie das LED-Licht aufleuchten sahen, und dann zum Fenster zu gehen, wo sie ihre Belohnung erhielten. Die erste Maus war der Encoder; wenn er das Licht bemerkte, bewegte er den Hebel darunter, um seine Belohnung zu erhalten. Durch den Vergleich des Gehirnsignalmusters des Encoders mit einer Vorlagenversuch konnte der Decoder die zerebrale Aktivität des Encoders gleichzeitig erfassen und übertragen (vorher erstellt mit der durchschnittlichen Feuerrate einer Versuchsprobe). Der Zscore für das neuronale Ensemble wurde bestimmt, indem die Anzahl der Spikes in jedem Versuch mit dem Vorlagenversuch verglichen wurde. Der Zscore wurde dann in ein ICMS-Muster umgewandelt, indem eine Sigmoid-Funktion verwendet wurde, die auf dem Mittelwert des Vorlagenversuchs zentriert war. Als Ergebnis änderten sich die Mikrostimulationsmuster in Echtzeit, Versuch für Versuch, entsprechend der Menge der vom Gehirnsignal des Encoders aufgezeichneten Spikes.

Auf der anderen Seite sah die andere Maus bzw. der Decoder die beiden Lichter aufleuchten, sodass die Maus natürlich nicht wusste, welchen Hebel sie drücken sollte. Dennoch: Sobald die Mikrostimulation an den Kortex der Decoder-Maus geliefert wurde, wusste sie, welchen Hebel sie drücken musste, um die Belohnung zu erhalten (siehe Abb. 4.6). Dieses Gehirn-zu-Gehirn-Kommunikationsexperiment bewies, dass die Übertragung von Gedanken mit einer Genauigkeit von 69 % möglich war.

Abb. 4.6
figure 6

Übertragung von kortikalen Motorsignalen durch Encoder/Decoder-Mäuseexperiment mit Hebel und LED-Leuchten

Full size image

Im Jahr 2013 bewies Nicolelis, dass nicht nur die Übertragung von Gedanken, sondern auch die von sensorischen Eingaben möglich war. Er experimentierte mit zwei Mäusen; die erste Maus spürte eine schmale Öffnung mit ihren Schnurrhaaren. Der sensorische Input dieser Maus wurde an die andere Maus mit einer breiten Öffnung gesendet, die sich jedoch entsprechend dem sensorischen Input der ersten Maus verhielt (siehe Abb. 4.7).

Abb. 4.7
figure 7

Übertragung von kortikalen taktilen Informationen durch Encoder/Decoder-Mäuseexperiment mit Öffnung und Schnurrhaaren

Full size image

Rezeika et al. [10] erklärten in ihrer Übersicht „Brain-Computer Interface Spellers“, dass der erste P300-Speller aus einer 6x6-Matrix von blinkenden Symbolen bestand, die auf einem Monitor angezeigt wurden. Der Teilnehmer wurde dann gebeten auszuwählen, welchen Buchstaben er anzeigen wollte, indem er sich nur auf den gewünschten konzentrierte und zählte, wie oft er aufleuchtete. Diese Technik beruhte auf der erkannten positiven Potenzialdifferenz, die das Gehirn erzeugte, wenn es durch die Blitze stimuliert wurde, die 300 msec nach dem Reiz auftraten. Nach der Verarbeitung des EEG-Signals wurde das P300-Signal mit der Reihenfolge, in der die Reihen und Spalten aufleuchteten, korreliert. Nach der Analyse dieser Daten konnten wir die genaue Reihe und Spalte bestimmen, die das P300-Signal erzeugten, deren Schnittpunkt war der ausgewählte Buchstabe (siehe Abb. 4.8).

Abb. 4.8
figure 8

Die 6x6-Matrix des P300-Spellers, bei der der Patient einen Buchstaben auswählen kann, indem er sich darauf konzentriert und zählt, wie oft er aufleuchtet

Full size image

P300-Speller sind heutzutage viel weiter entwickelt, sie prognostizieren und zeigen vorgeschlagene Wörter an, die der Benutzer auswählen kann, was das System viel schneller und effizienter macht. Es werden auch mehr Sprachen zu dem Gerät hinzugefügt, sodass mehr Nationen von solchen Erfindungen profitieren können, insbesondere Entwicklungsländer.

In diesem Abschnitt werfen wir Licht auf einige der aktuellsten Probleme und Einschränkungen von EEG-basierten BCI-Systemen. Darüber hinaus konzentrieren wir uns in jedem der besprochenen Artikel und Texte auf die Möglichkeiten und Entwicklungen, die diese Forscher in diesem Bereich bieten, sowie auf ihren Beitrag zur allgemeinen zukünftigen Verbesserung von BCI-Systemen.

Das Problem, dass EEG-Signale eine begrenzte räumliche Auflösung haben, wobei Elektroden überlappende Signale sammeln, wird in Mishuhinas und Jiangs Artikel „Feature Weighting and Regularization of Common Spatial Patterns in EEG-Based Motor Imagery BCI“ [25] behandelt. Räumliche Filterung wird häufig in motorischen Vorstellungsbildern von Gehirn-Computer-Schnittstellen (BCI) verwendet, um diskriminierende Merkmale zu extrahieren und Overfitting zu reduzieren. Allerdings werden nur eine kleine Anzahl von gemeinsamen räumlichen Mustern (CSP) als Merkmale ausgewählt, die anderen werden ignoriert. Dies impliziert, dass diskriminierende Informationen verloren gehen, daher ist die BCI-Leistung eingeschränkt. In ihrem Artikel schlagen sie eine Methode vor, die alle CSP-Merkmale einschließt, um Informationsverlust zu vermeiden und die BCI-Leistung zu verbessern. Diese Methode wird Feature Weighting and Regularization (FWR) genannt und beweist ihre Wirksamkeit bei der Erhöhung der Klassifizierungsgenauigkeit im Vergleich zu anderen herkömmlichen Merkmalsauswahlansätzen. Schließlich schlagen die Autoren vor, dass FWR in allen CSP-basierten Ansätzen in MI-BCI in der Zukunft anstelle der herkömmlichen FS-Methoden angewendet werden muss.

Song et al. weisen darauf hin, dass überwachte Deep-Learning-Methoden häufig einen groß angelegten annotierten Datensatz erfordern, der in EEG-basierten Anwendungen sehr schwer zu sammeln ist [26]. Sie konzentrieren sich darauf, wie wichtig Deep-Learning-Techniken für die EEG-Analyse sind, um wie erwartet zu funktionieren. Deep Learning kann die EEG-Kategorisierung verbessern, aber sein Potenzial ist durch die Menge an schwer zu beschaffenden Daten, die für eine gute Klassifizierung benötigt werden, eingeschränkt. Sie schlagen einen einzigartigen Deep-Learning-Ansatz, basierend auf dem Multi-Task Learning Framework (DMTL-BCI), vor, um bei EEG-basierten Klassifizierungsaufgaben zu helfen, dieses Problem zu lösen. Sie testen ihr Modell mit dem Wettbewerbs-IV-Datensatz 2a, der zeigt, dass es vorteilhaft ist, die Leistung der Klassifizierung für EEG-basierte BCI-Systeme mit spärlichen EEG-Daten zu verbessern. Es übertrifft auch die neueste Technik um 3 %. Um die Wirksamkeit der EEG-basierten Kategorisierung in der Zukunft zu verbessern, schlagen sie vor, semi-supervised Learning zu kombinieren und den vollen Nutzen aus unbeschrifteten Daten zu ziehen.

In [27] haben Belo et al. die EEG-basierte Methode zur Auditory Attention Detection (ADD) vorgeschlagen [27]. Sie diskutieren über die Schwierigkeit, Menschen zu hören, die Cochlea-Implantate tragen und aufgrund der begrenzten spektralen Auflösung dieser Geräte in lauten Umgebungen eine schlechte Hörwahrnehmung haben. Ihre Ergebnisse zeigen, dass das kortikale Tracking der Hüllkurve der aufmerksam verfolgten Sprache im Vergleich zur nicht beachteten Sprache in einer Mehrsprachenumgebung verbessert ist. Dies eröffnet die Aussicht auf zukünftige Hörgeräte, die sowohl herkömmliche Technologie als auch AAD verwenden. Schließlich diskutieren sie die möglichen Anwendungen in nicht-klinischen passiven BCI, wie interaktive musikalische Aufführungen oder Bildungseinrichtungen.

Es war schon immer eine Herausforderung für BCI-Systeme, mit datenbezogenen Problemen wie unzureichenden Daten und Datenkorruption umzugehen. Fahimi et al. [28] heben jedoch eine potenzielle Lösung hervor, die künstliche Datengenerierung nutzt. Sie diskutieren die Methode der generativen adversären Netzwerke (GANs) unter anderen generativen Techniken, da sie ihre Wirksamkeit in der Bildverarbeitung im Laufe der Zeit bewiesen hat. In dieser Arbeit betrachten die Autoren, wie gut konvolutionale GANs in der Simulation der zeitlichen, spektralen und räumlichen Eigenschaften von echten EEGs sind. Zum Beispiel hilft es bei der Datenvergrößerung und der Wiederherstellung von beschädigten Daten. Daher hilft ihr Ansatz der künstlichen Datengenerierung im Analyseprozess, indem er alle realen EEG-Datenprobleme beseitigt. Es öffnet auch die Tür für Forscher, mehr über die zukünftigen Möglichkeiten solcher Entdeckungen in der BCI-Welt zu untersuchen.

Schließlich behandeln Abiri et al. [29] in ihrer Überprüfung von EEG-basierten BCI-Paradigmen die Probleme der Zuverlässigkeit von BCI-Paradigmen und -Plattformen. Zum Beispiel ist das Signal-Rausch-Verhältnis der Daten, die aus EEG-Signalen abgeleitet werden, unzureichend, um ein ausgeklügeltes neuronales System zu steuern. Die Zeit, die benötigt wird, um dem Patienten das System zu erklären und wie die Ergebnisse stark beeinträchtigt werden, wenn der Patient müde ist, ist eine weitere Herausforderung. Die Studie kommt zu dem Schluss, dass die Auswahl des vertrauenswürdigsten, genauesten und praktischsten Paradigmas entscheidend ist, wenn ein Neuro-Gadget verwendet wird oder ein bestimmtes Neuro-Rehabilitationsprogramm durchgeführt wird. Sie bewerten die Vor- und Nachteile mehrerer EEG-basierter BCI-Paradigmen für dieses Ziel. Sie behaupten, dass EEG-Ansätze, weil sie helfen zu verstehen, wie das Gehirn sich verhält und Dynamiken in vielen Kontexten, das Potenzial haben, für die Allgemeinbevölkerung vermarktet zu werden. Sie befürworten auch die Verwendung von BCI als Neurofeedback, um Menschen dabei zu helfen, ihre Situation selbst zu verbessern, indem sie Gehirnwellen anpassen, um verschiedene Elemente der kognitiven Kontrolle zu verbessern.

4.4 Methodik

Das unten stehende Blockdiagramm (Abb. 4.9) veranschaulicht die Architektur des vorgeschlagenen BCI-Systems in einer Sequenz der folgenden beschriebenen Schritte:

Abb. 4.9
figure 9

Das Blockdiagramm der vorgeschlagenen Methode

Full size image

4.4.1 Gehirnwellen-Erfassung

Die Studie beginnt mit der Erfassung der Gehirnwellen des Teilnehmers mit einem Mehrkanal-EEG-Neuroheadset. Das Neuroheadset besteht aus mehreren Elektroden, die symmetrisch auf ausgewählten Positionen auf dem Großhirn platziert sind, um Gehirnwellen zu sammeln. Diese Elektroden erfassen die elektrischen Wellen des Gehirns und wandeln sie in analoge elektrische Signale um, die drahtlos mit einem Computer für die weitere Verarbeitung gekoppelt sind. In dieser Studie werden die Teilnehmer gebeten, sich vorzustellen, wie sie ihre rechte Hand und ihren linken Fuß bewegen, ohne sie tatsächlich zu bewegen, daher werden die Daten aus dem Imagery-Kortex gesammelt.

In dieser Untersuchung wird der BCI-Wettbewerbsdatensatz IVa [30] verwendet. Die Erfassung dieses Datensatzes wurde durch die fünf gesunden Freiwilligen ermöglicht. Jeder in Betracht gezogene Teilnehmer absolvierte 140 Versuche in jeder Kategorie. Es gab insgesamt 280 Versuche pro Person als Ergebnis der beiden Arten von Aufgaben, die bewertet wurden. Jeder Versuch dauert 3,5 Sekunden. Die Daten bestehen aus verschiedenen großen Trainings- und Testsets für jede Kategorie.

4.4.2 Analoger Verstärker und Filter

Das erfasste EEG-Signal, das von Elektroden erzeugt wird, hat eine sehr kleine Amplitude und ist geräuschvoll. Es liegt daran, dass die Kopfhaut und der Schädel als Barrieren zwischen dem Gehirn und den Elektroden wirken. Darüber hinaus beeinflussen die Netzstörungen und Artefakte den Inhalt der von Elektroden erzeugten EEG-Signale. Daher werden die Gehirnwellen unmittelbar nach der Wandlung verstärkt. Dies erhöht ihre Robustheit gegenüber Rauschen und verbessert das Signal-Rausch-Verhältnis (SNR). Danach werden die verstärkten Signale bandpassgefiltert, um Rauschen und Aliasing nach der Analog-Digital-Umwandlung zu vermeiden. In dieser Studie sind die EEG-Signale bandbegrenzt zwischen 0,15 und 200 Hz.

4.4.3 Analog-zu-Digital-Umwandlung (A/D-Umwandlung)

Danach wird das gefilterte und verstärkte analoge Signal in ein digitales umgewandelt, um die Analyse und Berechnungen zu erleichtern. Dazu durchläuft das Signal einen Analog-Digital-Wandler (ADC). Innerhalb des ADC wird das analoge Signal abgetastet, quantisiert und kodiert, um ein digitales Signal anstelle des analogen zu erhalten. Die Abtastung nimmt bestimmte Werte des Signals in bestimmten Zeitintervallen, wodurch das Signal zeitdiskret wird. Danach gibt die Quantisierung Werte bestimmter Stufen für jede Probe durch Abrunden ihrer Werte, wodurch das Signal in der Amplitude diskret wird [31, 32]. Schließlich ordnet der Kodierungsprozess die quantisierten Werte digitalen Werten mit Länge in Bits zu. Das Ergebnis ist die Umwandlung des analogen kontinuierlichen Signals in ein digitales diskretes Signal. In dieser Studie werden die analogen gefilterten Signale mit einer Umwandlungsrate von 1 kHz abgetastet.

4.4.4 Signal Conditioning

Danach wird das Signal zunächst mit einem diskreten Finite Impulse Response Filter (FIR-Filter) konditioniert, bei dem jeder Wert der Ausgangssequenz eine gewichtete Summe der neuesten Eingangswerte ist. In dieser Studie wird ein Tiefpass-FIR-Filter mit einer Grenzfrequenz von 50 Hz auf die digitalisierte Version des Signals angewendet. Dann wird das digital gefilterte Signal dezimiert, um eine effektive Abtastrate von 100 Hz zu erhalten [33, 34]. Dann wird zur Auswahl spezifischer Intervalle unseres Signals eine Fensterfunktion angewendet, bei der alle Werte außerhalb der von uns ausgewählten Grenzen auf Null gesetzt werden. Das Fenstern des Signals hilft dabei, sich auf die wichtigen Teile davon zu konzentrieren und unnötige Informationen zu vernachlässigen.

4.4.5 Merkmalsextraktion

Die Analyse für das fensterbasierte Signal beginnt mit der Zerlegung des konditionierten und fensterbasierten Signals in vier Sätze oder Ebenen (Unterbänder) mithilfe der Diskreten Wavelet-Transformation (DWT). Diese Transformationsfunktion unterabtastet das ursprüngliche Signal in mehrere kaskadierte Sätze mithilfe von Hoch- und Tiefpassfiltern. Sie wird als Dualbaum dargestellt und „Filterbank“ genannt. Jeder Satz oder jede Ebene in der Filterbank ist eine Zeitreihe von Approximationskoeffizienten, die die zeitliche Entwicklung des Signals im entsprechenden Frequenzband beschreiben. Um unser digitales Signal zu analysieren und in Unterbänder zu zerlegen, haben wir die DWT verwendet. In dieser Studie unterabtastet diese Transformationsfunktion das ursprüngliche Signal in mehrere kaskadierte Sätze, mithilfe von Hoch- und Tiefpassfiltern und einem Unterabtastungsfaktor von zwei. Eine Zeitreihe von Approximationskoeffizienten, die die zeitliche Entwicklung des Signals im relevanten Frequenzbereich beschreiben, bildet jeden Satz oder jede Ebene in der Filterbank. Das Signal wird nach dem Durchlaufen von zwei Filtern zuerst in niedrige und hohe Frequenzen aufgeteilt: ein Hochpassfilter, h[n], und ein Tiefpassfilter, g[n]. Der erste Hochpassfilter erzeugt die Koeffizienten der ersten Ebene, und die verbleibende Hälfte des ursprünglichen Signals, die durch den Tiefpassfilter geht, durchläuft eine weitere ähnliche Zerlegung, um wieder halbiert zu werden und die Koeffizienten der zweiten Ebene zu erzeugen. Dieser Prozess wiederholt sich viermal und erzeugt vier Unterbänder und vier Ebenen von Approximationskoeffizienten. In diesem Fall wird ein entrauschtes Segment durch eine Wavelet-Zerlegung auf Basis der Daubechies-Technik geführt, die Halbband-Hochpass- und Tiefpassfilter verwendet. Dies ermöglicht es, die Detailkoeffizienten, \({d}_m^i\), und die Approximationskoeffizienten, \({a}_m^i\), auf jeder Zerlegungsebene (a mi und d mi, jeweils) zu berechnen.

Danach wird jedes Unterband des analysierten Signals zur Merkmalsextraktion herangezogen. Der Prozess der Merkmalsextraktion reduziert die Menge an redundanten Daten aus einem Datensatz. Dies geschieht durch die Implementierung mehrerer mathematischer Notationen wie der Standardabweichung, dem minimalen absoluten Wert, dem maximalen absoluten Wert, dem Mittelwert des absoluten Werts, der Energie, der Schiefe, der Entropie und der Kurtosis. Außerdem die Nullüberquerung (ZC), der quadratische Mittelwert (RMS) des Instantaneous Amplitude (IA) und die Absolute Peak-to-Peak Difference (APPD).

4.4.6 Dimensionsreduktion

Um die Anzahl der Attribute zu reduzieren, während so viel wie möglich von der Variation im ursprünglichen Datensatz erhalten bleibt, wird eine Dimensionsreduktion angewendet. In unserer Studie wird das Butterfly Optimization Algorithm (BOA) verwendet [33]. Es handelt sich dabei um einen auf Schwarmintelligenz basierenden (SI-basierten) Optimierungsansatz. SI-basierte Algorithmen sind eine Teilmenge der bio-inspirierten Algorithmen, und diese wiederum sind eine Teilmenge der natur-inspirierten Algorithmen. Der Prozess kann wie folgt dargestellt werden: SI-basiert ⊂ bio-inspiriert ⊂ natur-inspiriert.

Die Nahrungssuche und Paarungsstrategien von Schmetterlingen dienen als Grundlage für diese Optimierungstechnik. Die fünf Sinne, die Schmetterlinge häufig einsetzen, sind Geruch, Sehen, Geschmack, Berührung und Hören. Der Schmetterling nutzt jeden dieser Sinne, um verschiedene Funktionen auszuführen. So nutzt der Schmetterling beispielsweise seinen Geruchssinn, um Nahrung (Blütennektar) zu finden, Eier zu legen und vor Raubtieren zu fliehen. Wissenschaftlichen Untersuchungen zufolge haben Schmetterlinge eine hochentwickelte Fähigkeit, die Quelle eines Geruchs zu identifizieren und dessen Stärke einzuschätzen.

Daher agieren in diesem Algorithmus Schmetterlinge als Suchagenten, die Düfte unterschiedlicher Stärke erzeugen und willkürlich von einem Ort zum anderen reisen, wenn sie keinen Duft wahrnehmen, während sie sich sonst in Richtung des Schmetterlings mit dem stärksten Duft bewegen. Die Initiierungsphase, die Iterationsphase und die Endphase sind die drei Phasen dieses Ansatzes. Er hängt auch von den drei entscheidenden Faktoren Leistungsexponent, Reizintensität und sensorische Modalität (a) ab. Das BOA wird in dem unten stehenden Flussdiagramm in Abb. 4.10 dargestellt.

Abb. 4.10
figure 10

Das Blockdiagramm der vorgeschlagenen Methode

Full size image

4.4.7 Klassifizierung

Nach der Merkmalsextraktion und der Dimensionsreduktion werden die Daten in Form einer reduzierten Matrix dargestellt. Die Daten für das BOA sind eine 840x33 Matrix. Mit der MATLAB R2021a Klassifizierungs-Lerner-Anwendung werden mehrere Klassifizierungs- (Kategorisierungs-) Algorithmen auf Basis von ML verwendet, um ein Modell zu erstellen, das den Wert einer Zielvariablen vorhersagt. Zum Beispiel verwenden wir den Support Vector Machine Klassifikator (SVM), den k-Nearest Neighbors (k-NN) Klassifikator und den Artificial Neural Network (ANN) Klassifikator, um ein Modell zu erstellen, das den Wert einer Zielvariablen vorhersagt. Im Folgenden wird jeder Klassifikator mit einigen mathematischen Gleichungen gemäß [35] beschrieben.

4.4.7.1 Support Vector Machine Klassifikator (SVM)

Mit dem SVM-Klassifikator, der einer der beliebtesten überwachten maschinellen Lernalgorithmen für die Klassifikation ist, können nicht nur lineare Modelle, sondern auch nicht-lineare Modelle mit dem Kernel-Trick klassifiziert werden. SVM stützt sich auf die Erstellung von Margen, um die verfügbaren Klassen zu trennen. Diese Trennmargen sind Lücken, die zwischen den verschiedenen Kategorien liegen, und sie enthalten die Klassifikationsschwelle. Wenn eine Fehlklassifikation zugelassen wird, um die Klassifikationsgenauigkeit zu erhöhen, wird der Abstand zwischen den Beobachtungen, bei denen die Schwelle in der Mitte liegt, als weiche Marge bezeichnet. Beispielsweise ist der Support Vector Klassifikator ein einzelner Punkt auf einer eindimensionalen Zahlengeraden, wenn die Daten eindimensional sind.

Der Support Vector Klassifikator sieht aus wie eine Linie, wenn die Daten zweidimensional und linear trennbar sind. In diesem Fall wird die weiche Marge mithilfe der Support-Vektoren (Beobachtungen am Rand und innerhalb der weichen Marge) berechnet, und alle neuen Daten werden klassifiziert, indem bestimmt wird, wo sie auf der Linie liegen. Darüber hinaus erzeugt der Support Vector Klassifikator eine Ebene anstelle einer Linie, wenn die Daten dreidimensional sind (siehe Abb. 4.11). Und wir klassifizieren neue Beobachtungen, indem wir bestimmen, auf welcher Seite der Ebene sie sich befinden. Zum Beispiel wird die Klassifikation unter oder über der Ebene sein, und die neue Beobachtung wird entsprechend entweder unter oder über der Ebene klassifiziert.

Abb. 4.11
figure 11

Zweidimensionale SVM-Linearklassifikation, dargestellt durch einen Linienmargenseparator

Full size image

Daher wissen wir, dass der Support Vector Klassifikator ein einzelner Punkt (null-dimensionale Hyperebene) auf einer eindimensionalen Zahlengeraden für eindimensionale Daten ist und dass er eine eindimensionale Hyperebene für zweidimensionale Daten (Linie) ist. Darüber hinaus ist der Support Vector Klassifikator eine zweidimensionale Hyperebene, wenn die Daten dreidimensional sind (Ebene). Da der Support Vector Klassifikator weniger Dimensionen hat als die Dimensionen der Daten, ist er eine Hyperebene. Daher ist der Support Vector Klassifikator eine Hyperebene bestimmter Dimensionen, die kleiner sind als die Dimension der Daten, wenn die Daten vier Dimensionen oder mehr haben. In Gl. (4.1) wird die Methode zur Trennung der Hyperebene mathematisch dargestellt.

$$h(x)=\mathit{\operatorname{sign}}\left(\omega .{x}^T+b\right)$$
(4.1)

Wo x ein Stichprobenvektor x = [x1, x2…xp] mit p Attributen ist, ω = [ω1, ω2…ωp] ist der Gewichtsvektor, und b ist ein Skalar-Bias.

4.4.7.2 k-Nearest Neighbors (k-NN)

Das k-NN ist ein weiterer Klassifikator; es wird als einer der einfachsten Klassifikatoren angesehen. Es geht davon aus, dass es ähnliche Objekte in der Nähe gibt.

Der k-NN-Klassifikator ermittelt die Abstände zwischen einer Abfrage und jedem Beispiel in den Daten, wählt die k-Instanzen (oder so viele, wie gegeben sind), die der Abfrage am nächsten sind, und stimmt dann für das Label, das am häufigsten zugewiesen wird. Zum Beispiel: Wenn k = 1, dann werden wir nur den nächsten Nachbarn verwenden, um die Kategorie zu definieren, zu der die Probe gehört. In Abb. 4.12: Wenn k = 1, dann gehört der unbekannte Punkt zum nächsten Punkt, der blau ist. Daher wird der unbekannte Punkt als blau klassifiziert. Wenn jedoch k = 15 gilt, dann nehmen wir die 15 nächsten Nachbarn und stimmen ab. In unserem Beispiel, wenn k = 15, dann haben wir einen grünen, drei gelbe und elf blaue Punkte. Dementsprechend gehen die meisten Stimmen an die blaue Kategorie und der unbekannte Punkt wird als blau klassifiziert.

Abb. 4.12
figure 12

Klassifizierung einer unbekannten Probe mit dem k-NN-Klassifikator bei k = 15

Full size image

Lassen Sie vj für eine Probe stehen und <vj, lj> für ein Tupel, bestehend aus einer Trainingssprobe und ihrem Label, ljϵ[1, C], wo C eine Menge von Klassen ist. Gl. (4.2) veranschaulicht das mathematische Verfahren zur Bestimmung des nächsten Nachbarn j, vorausgesetzt ist eine Testprobe z.

$$argmin\ dist\left({d}_j,t\right)\forall j=1\dots N$$
(4.2)

4.4.7.3 Künstliches Neuronales Netzwerk (ANN)

Ein rechnerischer Ansatz für maschinelles Lernen, der verknüpfte, hierarchische Funktionen verwendet, ist der ANN-Klassifikator. ANNs funktionieren wie ein menschliches Gehirn; sie verlassen sich auf die Eingabe und führen dann eine komplexe Verarbeitung durch, um schließlich eine Ausgabe zu präsentieren. ANNs bestehen aus Knoten und einem Spinnennetz, um diese Knoten zu verbinden. Knoten bilden Schichten, die drei Hauptschichten, die jedes ANN bilden, sind die Eingabeschicht, die Ausgabeschicht und die versteckten Schichten (alle Schichten, die zwischen der Eingabe- und Ausgabeschicht liegen) (siehe Abb. 4.13). Innerhalb der versteckten Schichten werden Aktivierungsfunktionen wie die Sigmoind, Softplus oder ReLU verwendet. Diese Aktivierungsfunktionen sind verantwortlich für den Aufbau einer Kurve, die die komplexen vorhandenen Daten anpassen kann und einen Hinweis auf die Klassifikation der neuen Proben gibt.

Abb. 4.13
figure 13

Layout des Künstlichen Neuronalen Netzwerk Klassifikators (ANN-Klassifikators)

Full size image

4.4.8 Bewertungsmaßnahmen

Für die folgenden Berechnungen werden die folgenden Werte aus der Verwechslungsmatrix jedes Klassifikators berücksichtigt: True Positives (TP), False Positives (FP), False Negatives (FN) und True Negatives (TN).

4.4.8.1 Genauigkeit

Der Genauigkeitswert repräsentiert die Daten, die korrekt klassifiziert wurden. Die mathematische Formel zur Berechnung der Genauigkeit wird in Gl. (4.3) gezeigt. Die Genauigkeit hat einen maximalen Wert von 1, je höher der Genauigkeitswert und näher an 1, desto besser die Leistung des Klassifikators.

$$Accuracy=\frac{TP+ TN}{TP+ TN+ FP+ FN}$$
(4.3)

4.4.8.2 Präzision

Um jegliche Unschärfe oder Voreingenommenheit bei der Schätzung der Klassifikationsleistung aufgrund des begrenzten Datensatzes zu vermeiden, wird in dieser Studie eine Kreuzvalidierung mit 10 Folds verwendet. Training und Testen werden für alle Klassifikatoren in jedem Fold für die drei Datensätze angewendet. Die Präzision wird berechnet, wie in Gl. (4.4) gesehen.

$$Precision=\frac{TP}{TP+ FP}$$
(4.4)

4.4.8.3 Sensitivität

Bei einem Klassifikationsproblem mit zwei Klassen wird die Sensitivität (engl. recall) als Verhältnis von wahren Positiven zu wahren Positiven und falschen Negativen bestimmt (siehe Gl. 4.5).

$$Recall=\frac{TP}{TP+ FN}$$
(4.5)

4.4.8.4 Spezifität

Spezifität (auch bekannt als wahres Negativ) repräsentiert die Genauigkeit eines Tests, der das Vorhandensein oder Fehlen einer Bedingung meldet. Zur Berechnung wird die Gesamtzahl der wahren Negativen durch die Summe der wahren Negativen und falschen Positiven geteilt (Siehe Gl. 4.6).

$$Speci\textrm{f} icity=\frac{TN}{TN+ FP}.$$
(4.6)

4.4.8.5 F-Maß

Das F-Maß (F1) gibt ein Verhältnis zwischen den Präzisions- und Recall-Werten an. Es wird mathematisch in Gl. (4.7) dargestellt.

$$F=\frac{2\ast precision\ast recall}{precision+ recall}$$
(4.7)

4.4.8.6 Kappa

Die Übereinstimmung zwischen zwei Clustering-Ergebnissen wird durch die Kappa-Statistik bestimmt. Da es die Möglichkeit berücksichtigt, dass die Übereinstimmung zufällig auftritt, ist es oft größer als die Genauigkeit. Gl. (4.8) ist der mathematische Ausdruck von Cohens Kappa-Maß.

$$kappa=1-\frac{1-{p}_0}{1-{p}_e}$$
(4.8)

Wo pe die fiktive probabilistische Wahrscheinlichkeit einer solchen zufälligen Übereinstimmung ist und p0 der Prozentsatz der Übereinstimmung zwischen den erwarteten und tatsächlichen Zahlen ist. Gl. (4.9) wird verwendet, um den Wert von pe zu erhalten.

$${p}_e=\frac{\left( TP+ TN\right)\left( TP+ FN\right)+(FP)\left( FP+ FN\right)}{{\left( TP+ TN+ FP+ FN\right)}^2}$$
(4.9)

4.5 Ergebnisse und Diskussion

Die betrachteten Klassifikatoren werden modelliert, trainiert und getestet mithilfe der MATLAB R2021a Klassifikations-Lerner-Anwendung. Die Experimente werden durchgeführt, während die Kreuzvalidierungsstrategie befolgt wird.

Die für den k-NN-Klassifikator erzielten Ergebnisse sind in Tab. 4.1 dargestellt. Es ist auffällig, dass alle Klassen Ergebnisse mit einem zufriedenstellenden Genauigkeitsgrad zeigten, mit einer Punktzahl von 83,7 % für beide (C1) und (C2). Die Präzision der Klassifikatoren lag ebenfalls zwischen 83,1 % (C1) und 84,3 % (C2). Der höchste erreichte Sensititvität-Wert beträgt 84,5 % für C1, während der niedrigste Wert 82,8 % beträgt. Die Ergebnisse der Spezifität reichten von 82,9 % (C1) bis 84,5 % (C2). Darüber hinaus wurde das höchste Ergebnis durch F1 mit 83,8 % (C1) und das niedrigste Ergebnis mit 83,6 % (C2) erreicht. Der Kappa-Wert für beide Klassen beträgt 67,4 %.

Tab. 4.1 Berechnete Werte des k-NN-Klassifikators
Full size table

Die durchschnittliche Genauigkeitsbewertung beträgt 83,7 %. Die durchschnittlichen Präzisions- und Recall-Bewertungen betragen ebenfalls 83,7 % im Falle des SVM-Klassifikators, wenn er mit der DWT-basierten Zerlegung und der BOA-basierten Dimensionsreduktion verwendet wird. Die durchschnittlichen Spezifitäts- und F1-Bewertungen betragen ebenfalls 83,7 % und der Kappa-Index, Durchschnitt für beide beabsichtigten Klassen, beträgt 67,4 %.

Die für den SVM-Klassifikator erzielten Ergebnisse sind in Tab. 4.2 dargestellt. Es ist auffällig, dass alle Klassen Ergebnisse mit einem zufriedenstellenden Genauigkeitsgrad zeigten, mit einer Punktzahl von 81,8 % für beide (C1) und (C2). Die Präzision der Klassifikatoren lag ebenfalls zwischen 81,7 % (C1) und 81,8 % (C2). Der höchste erreichte Recall-Wert beträgt 81,9 % für (C1), während der niedrigste Wert 81,6 % für (C2) beträgt. Die Ergebnisse aus der Spezifität reichten von 81,6 % (C1) bis 81,9 % (C2). Darüber hinaus wurde das höchste Ergebnis durch F1 mit 81,7 % (C1) und das niedrigste Ergebnis mit 81,8 % (C2) erreicht. Der Kappa-Wert für beide Klassen beträgt 63,6 %.

Tab. 4.2 Berechnete Werte des SVM-Klassifikators
Full size table

Die durchschnittliche Genauigkeitsbewertung beträgt 81,7 %. Die durchschnittlichen Präzisions- und Recall-Bewertungen betragen ebenfalls 81,8 % im Falle des SVM-Klassifikators, wenn er mit der DWT-basierten Zerlegung und der BOA-basierten Dimensionsreduktion verwendet wird. Die durchschnittlichen Spezifitäts- und F1-Bewertungen betragen ebenfalls 81,8 % und der Kappa-Index, Durchschnitt für beide beabsichtigten Klassen, beträgt 63,6 %.

Die für den ANN-Klassifikator erzielten Ergebnisse sind in Tab. 4.3 dargestellt. Es ist auffällig, dass alle Klassen Ergebnisse mit einem angemessenen Genauigkeitsgrad zeigten, mit einer Punktzahl von 74,4 % für beide (C1) und (C2). Die Präzision der Klassifikatoren lag ebenfalls zwischen 77,3 % (C2) und 77,4 % (C2). Der höchste erreichte Sensitivität-Wert beträgt 77,4 % für (C1), während der niedrigste Wert 77,3 % für (C2) beträgt. Die Ergebnisse aus der Spezifität reichten von 77,3 % (C1) bis 77,4 % (C2). Darüber hinaus wurde das höchste Ergebnis durch F1 mit 77,4 % (C1) und das niedrigste Ergebnis mit 77,3 % (C2) erreicht. Der Kappa-Wert für beide Klassen beträgt 54,8 %.

Tab. 4.3 Berechnete Werte des ANN-Klassifikators
Full size table

Die durchschnittliche Genauigkeitsbewertung beträgt 77,4 %. Die durchschnittlichen Präzisions- und Sensitiväts-Bewertungen betragen ebenfalls 77,4 % im Fall des SVM-Klassifikators, wenn er mit der DWT-basierten Zerlegung und der BOA-basierten Dimensionsreduktion verwendet wird. Die durchschnittlichen Spezifitäts- und F1-Werte betragen ebenfalls 77,4 % und der Kappa-Index, Durchschnitt für beide beabsichtigten Klassen, beträgt 54,8 %.

Beim Vergleich der Leistung der SVM-, k-NN- und ANN-Klassifikatoren bei der Verarbeitung des extrahierten Merkmalssets, unter Verwendung der vorgeschlagenen Kombination aus Vorverarbeitung, DWT und BOA, ist klar, dass der k-NN den SVM und den ANN übertrifft. Die durchschnittliche Genauigkeitsbewertung, die mit dem k-NN-Klassifikator erzielt wurde, ist jeweils 2,0 % und 6,3 % höher als die durchschnittlichen Genauigkeitsbewertungen der SVM- und ANN-Klassifikatoren. Dies ist hauptsächlich auf eine überlegene Beschneidungsfähigkeit des k-NN zurückzuführen, während das extrahierte Merkmalsset des beabsichtigten Datensatzes verarbeitet wird, anders als bei den SVM- und ANN-Klassifikatoren.

Der in dieser Studie verwendete Datensatz ist öffentlich zugänglich. In Zukunft werden wir einen Motor-Imagery-Datensatz anlegen, indem wir das EMOTIV EPOC 14-Kanal-Neuroheadset verwenden, die Idee und die Prozesse sind ähnlich. Die EEG-Signale werden vom Imagery-Kortex aufgezeichnet, wenn die Teilnehmer sich vorstellen, ihre Hand und ihren Fuß zu bewegen. Die Studie wird durch Erhöhung der Anzahl der Teilnehmer, der Anzahl der aufgezeichneten Versuche und vielleicht durch Fokussierung auf andere Kortizes wie den visuellen Kortex zusammen mit der Motor-Imagery verbessert. Dies wird zu einer flexibleren und umfassenderen Technologie führen, die denen hilft, die sie benötigen, um besser in ihrem Alltag zu funktionieren.

Die Hinzufügung eines ereignisgesteuerten Ansatzes kann die Leistung dieses Systems in Bezug auf Implementierungskomplexität, Verarbeitungsaktivität, Kompression und Kosteneffizienz der Berechnung verbessern [36,37,38,39]. Diese Achse könnte in Zukunft erforscht werden, während eine eingebettete Realisierung dieses Systems erreicht wird.

4.6 Schlussfolgerung

Zusammenfassend lässt sich sagen, dass das BCI es dem Gehirn ermöglicht, externe Geräte zu steuern, während die neuromuskulären Kanäle umgangen werden. Diese Erfindung ist in vielerlei Hinsicht vorteilhaft, insbesondere für Menschen mit schweren motorischen Beeinträchtigungen, da sie ihnen ermöglicht, sich selbst zu helfen und ihre Unabhängigkeit wiederzugewinnen. In dieser Studie wird der vom Berliner BCI-Gruppe bereitgestellte IVa-Datensatz (Motorikvorstellung, kleine Trainingssets) verwendet. In diesem Datensatz haben fünf gesunde Teilnehmer sich vorgestellt, ihre Hände und Füße zu bewegen, daher enthält der Datensatz zwei Klassen. Die EEG-Signale dieser Teilnehmer wurden mit einer nicht-invasiven Elektrodenkappe von ECI aufgezeichnet. Danach wird das Signal digital mit einer Bandbreite von 50 Hz tiefpassgefiltert. Das gefilterte Signal wird dezimiert, um eine endgültige Abtastrate von 100 Hz zu erreichen. Im nächsten Schritt wird die Zerlegung mit der diskreten Wavelet-Transformation durchgeführt. Die Unterbänder werden weiter auf Merkmalsextraktion analysiert. Danach wird die Dimension des extrahierten Merkmalssets mit dem Butterfly-Optimierungsalgorithmus reduziert. Das ausgewählte Merkmalsset wird anschließend von drei robusten maschinellen Lernalgorithmen für die Kategorisierung der betrachteten Motorikvorstellungsaufgaben verarbeitet. Die betrachteten maschinellen Lernalgorithmen sind der k-Nearest Neighbor, die Support Vector Machine und das Artificial Neural Network. Die Leistung dieser Algorithmen wird für die Klassifizierung der betrachteten Signale verglichen, während das extrahierte Merkmalsset mit der entwickelten Kombination aus Vorverarbeitung, diskreter Wavelet-Transformations-basierter Zerlegung, Unterband-Merkmalsextraktion und Butterfly-Optimierungsbasierter Dimensionsreduktion verarbeitet wird. Die Ergebnisse haben gezeigt, dass der k-NN die SVM und das ANN übertrifft. Die höchste durchschnittliche Genauigkeitsbewertung von 83,7 % wird vom k-Nearest Neighbor-Klassifikator für den untersuchten Fall erreicht. Die durchschnittliche Genauigkeitsbewertung, die mit dem k-NN-Klassifikator erzielt wurde, ist jeweils 2,0 % und 6,3 % höher als die durchschnittlichen Genauigkeitsbewertungen der SVM- und ANN-Klassifikatoren. Dies ist hauptsächlich auf eine überlegene Beschneidungsfähigkeit des k-NN zurückzuführen, während das extrahierte Merkmalsset des beabsichtigten Datensatzes verarbeitet wird, anders als bei den SVM- und ANN-Klassifikatoren.

In Zukunft kann ein neuer Motorikvorstellungsdatensatz gesammelt und verwendet werden, um die Robustheit der entwickelten Lösung zu untersuchen. Die Studie wird durch Erhöhung der Anzahl der Teilnehmer, der Anzahl der aufgezeichneten Versuche und vielleicht durch Fokussierung auf andere Kortizes wie den visuellen Kortex zusammen mit der Motorikvorstellung erweitert. Dies wird zu einer flexibleren und umfassenderen Technologie führen, die denen, die sie benötigen, helfen wird, besser in ihrem Alltag zu funktionieren. Darüber hinaus wird die Leistung anderer Optimierer wie des genetischen Algorithmus und des Ameisenkolonie-Algorithmus mit dem Butterfly-Optimierungsalgorithmus für die Dimensionsreduktion verglichen. Auch die Leistung anderer robuster maschineller Lernalgorithmen wie des Naïve Bayes, der Entscheidungsbäume und des Random Forest wird untersucht. Darüber hinaus ist die Untersuchung der Machbarkeit der Einbeziehung der Ensemble- und Deep-Learning-Algorithmen in die vorgeschlagene Lösung ein weiterer Ausblick.

4.7 Aufgaben für Leser

  • Beschreiben Sie Ihre Gedanken und Schlüsselerkenntnisse über die Verwendung von EEG-Signalen in der Gehirn-Computer-Schnittstelle.

  • Nennen Sie die wichtigen Prozesse, die in den Vorverarbeitungs- und EEG-Datenerfassungsphasen involviert sind.

  • Beschreiben Sie, wie die Leistung der nach der Merkmalsextraktion und Klassifizierungsphasen durch den Signalconditioning-Prozess beeinflusst wird.

  • Identifizieren Sie Ihre Gedanken und Schlüsselpunkte über die in diesem Kapitel verwendeten EEG-Kategorisierungstechniken.

  • Identifizieren Sie Ihre Gedanken und Schlüsselpunkte über die in diesem Kapitel verwendete Technik zur Dimensionsreduktion.