Schlaglichter: Die Prüfung Künstlicher Intelligenz

Neuentwicklungen auf dem Gebiet der Künstlichen Intelligenz (KI, im englisch-sprachigen System AI für Artificial Intelligence) werden wie Abiturienten oder Absolventen von Universitäten getestet. Sie bekommen Prüfungsfragen, von einem internationalen Netzwerk von Fachleuten, Akademikern und Uni-Professoren entwickelt. Der Prozentsatz positiver Antworten ist – ähnlich wie ein Abschlusszeugnis – Hinweis auf Leistung und Qualität neuer Produkte auf dem Markt.

Das ging eine Zeitlang gut, bis neue Produkte selbst komplizierte Fragen immer schneller und zu einem hohen Prozentsatz korrekt beantworteten. Spezialisten auf dem Gebiet der KI kamen zu dem Schluss, dass die derzeit gängigen Fragen zu einfach wären, die Technik sich so schnell entwickle, dass Zeugnisse der KI-Produkte keine Aussagekraft mehr über die Qualität hätten.

Es sei wie das Abschluss-Zeugnis eines Uni-Absolventen, dem Fragen aus dem Gymnasium vorgelegt worden wären, beschrieb einer der Spezialisten die Problematik. Besonders kritisch und lautstark kommentierte Elon Musk die Entwicklung: „Wenn ich die Fragen beantworten kann, sind sie zu einfach für Neuentwicklungen auf dem KI-Markt.“

Vor ein paar Wochen gab das ‚Center for AI Safety‘ (CAIS) in San Francisco die Gründung des Projekts ‚Humanity’s Last Exam‘ (Der Menschheit letzte Prüfung) bekannt. Unter Leitung des Wissenschafters Dan Hendrycks – einem der bekanntesten Forscher auf dem Gebiet der KI-Sicherheit – entwickelten mehr als 1.000 Experten aus 50 Ländern neue, komplizierte Fragen und Aufgaben aus ihren jeweiligen Gebieten. 70.000 Beispiele wurden eingesendet, 3.000 ausgewählt aus den Gebieten Mathematik, Naturwissenschaften, Logik, Geschichte und Geisteswissenschaften.

Mittels dieser neuen Fragen sollen von jetzt an KI-Entwicklungen getestet werden. Manche sind so komplex und ausgefallen, dass nur wenige Wissenschafter sie beantworten könnten. Ein Beispiel aus der Biologie: „Kolibris innerhalb der Apodiformes haben ein einzigartiges, beidseitig gepaartes ovales Knochenstück, ein Sesamoid, das in den kaudolateralen Teil der erweiterten, kreuzförmigen Aponeurose des Ansatzes des M. Depressor Caudae eingebettet ist. Wie viele gepaarte Sehnen werden von diesem Sesambein gestützt? Geben sie eine Zahl an.“ Ein Beispiel aus Geschichte: „Übersetzen sie diese antike römische Inschrift.“

Die ersten Versuche mit den neuen CIAS-Tests zeigten brauchbare Ergebnisse. Selbst die besten KI-Produkte schafften nur etwa acht Prozent der Fragen, während sie mit den älteren Testsystemen mehr als 90 Prozent erreichten. Hendrycks warnte jedoch vor Euphorie. Er gehe davon aus, dass Produkte, die im Laufe des Jahres 2025 auf den Markt kommen, bereits etwa 50 Prozent der Fragen richtig beantworten könnten.

„Wir stoßen an eine Grenze“, sagte er in einem Vortrag, „in ein, zwei Jahren könnten selbst hochbegabte Fachleute keine Aufgaben mehr entwickeln, um KI-Produkte zu bewerten, bald könnten sie uns Fragen stellen, an denen wir scheitern, wir müssen dann ganz andere Wege suchen, um KI-Produkte zu bewerten.“

Kevin Zhou von der University of California sieht jedoch die Grenzen der Künstlichen Intelligenz bei der Konkurrenz zur menschlichen Kreativität: „Sie können komplizierte mathematische Aufgaben lösen, doch keinen einfachen Reim bilden, scheitern oft bei einfachsten Problemen. Sie finden Antworten zu Problemen, die wir als Probleme entdecken und definieren, selbst haben sie keine Ideen, keine frei herumschwirrenden Gedanken.“

Forschung sei komplizierter als die simple Beantwortung von Fragen, sagte Zhou. Die Diagnose von Erkrankungen durch KI-Systeme ist oft präziser als die der Ärzte. Grundlagenforschung in der Medizin, die Neugierde für das Unbekannte, bisher nicht Vorstellbare benötigt ein komplexes Denken, Fantasie und Kreativität. Dies könne KI nicht liefern.