Digitalisierung des BVMT-R für MS-Patienten
- Degree programme: BSc in Medizininformatik
- Authors: Tobias Studer, Martin Eduard Birchmeier
- Thesis advisor: Prof. Serge Bignens
- Expert: Han van der Kleij
- Industrial partner: Prof. Dr. med. Andreas Lutterotti, Klinik für Neurologie Universitätsspital Zürich 8091 Zürich
- Year: 2019
Digitalisierung eines Kognitivitätstests für Patienten, welche an Multipler Sklerose leiden, mit Hilfe eines Maschine Learning Algorithmus
Die Erkrankung Multiple Sklerose zeichnet sich durch verschiedene Symptome aus. Diese Bachelor-Thesis (BT) beschäftigt sich mit der kognitiven Dysfunktion. Diese Symptome werden mit dem Brief Visual Memory Test Revised (BVMT-R), welcher ein Teil der BICAMS-Testbatterie ist, untersucht. Aktuell wird der BVMT-R auf Papier durchgeführt und bewertet.
Ziel ist, den BVMT-R zu digitalisieren und die generierten Daten auf MIDATA zu speichern. Des Weiteren sollen die Zeichnungen von einem Machine Learning (ML) Algorithmus bewertet werden.
Um zu überprüfen, ob das Ziel erreich wurde, ist folgende Fragestellung definert worden: «Können die Zeichnungen des BVMT-R mit Hilfe eines Convolutional Neural Network gleich gut bewertet werden wie die bisherigen Bewertungen durch einen Neuropsychologen?».
Methodik
In Zusammenarbeit mit Herrn Prof. Dr. Andreas Lutterotti wird ein Modul für die bestehende App «MitrendS» entwickelt. Es wurde ein Service für MIDATA erstellt, welcher den ML-Algorithmus ansteuert. Mit einer Webseite ist es möglich dem Neuropsychologen möglich, die Testdaten der Patienten abzurufen und allfällig zu korrigieren.
294 ausgefüllte, anonymisierte BVMT-R Durchführungen von Trainings- und Testdaten für den ML-Algorithmus werden von Frau Prof. Dr. Iris-Katharina Penner bereitgestellt. Diese Daten werden in Trainingsdaten (m=1'183) und Testdaten (n=305) aufgeteilt. Die Testdaten werden zusätzlich von einer zweiten Neuropsychologin, Frau Dr. Olivia Geissler, bewertet, um einen Vergleich zwischen zwei Neuropsychologen zu erhalten.
Ergebnis
Mit der abgeschlossenen BT ist es möglich, den BVMT-R vollständig digital durchzuführen und auszuwerten.
Die beiden Neuropsychologen erreichen eine Übereinstimmung der Bewertung bei den Testdaten von 81%.
Der Vergleich zwischen ML-Algorithmus und den Neuropsychologen ergeben jeweils eine Übereinstimmung von 72% und 79%.
Wenn einen Schwellwert von 80% festgelegt wird, was bedeutet, dass nur jene Bewertungen mit einer Sicherheit von über 80% angenommen werden, dann ist die Übereinstimmung mit den Neuropsychologen bei 80.7% und 86.9%. Wobei beide Neuropsychologen 54 Zeichnungen (17.7% von n=305) manuell bewerten müssen, da die Sicherheit der Bewertung des ML-Algorithmus unter dem festgelegten Schwellwert von 80% sind.
Diskussion
Die Fragestellung kann mit «Nein» beantwortet werden, wenn eine voll-automatisierte Auswertung durch ML angestrebt wird. Der ML-Algorithmus ist im Vergleich zu zwei Neuropsychologen eindeutig schlechter.
Bei einer Semi-Automatisierung kann die Fragestellung mit «Ja» beantwortet werden. In Kombination mit einem Neuropsychologen ist der ML-Algorithmus auf dem gleichen Niveau wie zwei Neuropsychologen untereinander. Dabei müsste ein Neuropsychologe nur noch rund 18% der Zeichnungen manuell bewerten.
