Grenzen von KI in der Materialwissenschaft

Aktuelle KI-basierte Sprach-Bild-Modelle können Inhalte sehr gut wahrnehmen, kommen bei komplexeren wissenschaftlichen Prozessen jedoch an Grenzen. Das zeigt eine aktuelle Studie von Forschern der Friedrich-Schiller-Universität Jena in Zusammenarbeit mit internationalen Partnern. In dieser Arbeit haben die Forschenden erstmals systematisch untersucht, wie gut moderne KI-Modelle visuelle und textuelle Informationen in der Chemie und Materialwissenschaft verarbeiten können.

Um die Fähigkeiten multimodaler KI zu testen, entwickelte das internationale Team das Bewertungsverfahren „MaCBench“ das mehr als 1.100 realitätsnahe Aufgaben aus drei zentralen Bereichen der wissenschaftlichen Arbeit umfasst: der Datenextraktion aus der Literatur, dem Verständnis von Labor- und Simulationsexperimenten sowie der Interpretation von Messergebnissen. Die Tests umfassten dabei Aufgaben von der Analyse von Spektroskopie-Daten über die Bewertung von Laborsicherheit bis hin zur Interpretation von Kristallstrukturen.

Die Ergebnisse der Studie zeigen ein differenziertes Bild: Während die KI-Modelle Laborgeräte zuverlässig erkannten oder standardisierte Daten nahezu fehlerfrei extrahierten, zeigten sich fundamentale Schwächen bei räumlichen Analysen und der Verknüpfung verschiedener Informationsquellen. Auffällig war auch die Entdeckung, dass die Leistung der Modelle stark mit der Häufigkeit der Testmaterialien im Internet korrelierte.

Foto: Nicole Nerger/Universität Jena