Ein Forschungsteam des Weizmann-Instituts im israelischen Rehovot hat ein KI-System entwickelt, das aus Hirnscans rekonstruiert, welches Bild eine Person gerade betrachtet, und umgekehrt die Hirnaktivität zu einem Bild vorhersagt. Für eine neue Versuchsperson genügt nach Angaben der Informatikerin Michal Irani etwa eine Stunde Scandaten; bisherige Verfahren brauchen rund 40 Stunden. Die Ergebnisse wurden im vergangenen Monat auf der Konferenz Cognitive Computational Neuroscience in New York vorgestellt. (Aus dem Englischen übersetzt und zusammengefasst.)
So funktioniert das System
Das Team nutzte öffentlich verfügbare, hochaufgelöste Datensätze der funktionellen Magnetresonanztomographie (fMRT), die den Blutfluss im Gehirn misst. Dabei entspricht ein Voxel, also ein Messpunkt, etwa einem Kubikmillimeter Gewebe, bei üblichen Scannern sind es rund drei. Trainiert wurde mit Daten von acht Personen, denen jeweils etwa 9.000 Bilder gezeigt wurden.
Der Decoder hat zwei Zweige: einer sagt die Struktur eines Bildes voraus, etwa die Verteilung der Farben, der andere den Inhalt. Ein Diffusionsmodell erzeugt daraus das Bild. Weil zu wenig Scandaten vorlagen, trainierte das Team zusätzlich einen Encoder, der aus einem Bild die erwartete Hirnaktivität vorhersagt; Encoder und Decoder verbessern sich gegenseitig. Rund 70 Prozent der Trainingsdaten stammen von Bildern, die nie in einem Scanner gezeigt wurden. Ein „universeller Hirn-Encoder“ erkennt zudem Regionen mit gemeinsamen Funktionen, etwa für Essen oder Sport. Irani räumt Fehler ein: Ein Kuchen wurde als Stapel von drei Sandwiches rekonstruiert. Im Vergleich mit früheren Verfahren schnitt das Modell nach ihrer Aussage deutlich besser ab.
Nutzen und Risiken
Die Forschenden sehen Potenzial für die Kommunikation vollständig gelähmter Menschen und für die Forschung, etwa bei PTBS-Flashbacks. Der Neurowissenschaftler und Philosoph Marcello Ienca von der Technischen Universität München warnt: Übertrage sich der Ansatz auf EEG, also Elektrodenmessung der Hirnströme, könnten Unternehmen nach einer Kalibrierung zusätzliche Informationen ohne Zustimmung der Nutzer gewinnen. Der Neurowissenschaftler Tommy Sprague nennt als Argument für die Technik die Kosten: Eine Stunde Bildgebung kostet 600 bis 1.000 US-Dollar, 40 Stunden seien für kaum ein Labor bezahlbar.
Einordnung
Für Health-Tech ist weniger das Bildrekonstruieren als die Kalibrierungszeit relevant: Wenn Decoder mit einer Stunde Daten auskommen, sinken Forschungskosten, und Anwendungen für Kommunikationshilfen werden denkbar. Zugleich wächst der Regulierungsbedarf für neuronale Daten. Noch zeigt die Arbeit Laborergebnisse an Bildern, keine Gedanken; Anwendungen und Marktreife liegen entsprechend fern.
Dr. med. Alvar Mollik
Medizin
Dr. med. Alvar Mollik ist HNO-Facharzt, Gründer von Mindful Doctor und Herausgeber des Buches „Mindful Doctor“. Bei MIDO Health schreibt er über Medizin, Versorgung und die Frage, wie Ärztinnen und Ärzte in einem sich wandelnden System gesund führen können.
