Der Clever-Hans-Effekt: Von Pferdetricks zu Fehlern in der Künstlichen Intelligenz

Im frühen 20. Jahrhundert erregte ein Pferd namens Hans in Deutschland weltweite Aufmerksamkeit, da ihm außergewöhnliche intellektuelle Fähigkeiten zugeschrieben wurden. Sein Besitzer, der Mathematiklehrer und Amateur-Pferdetrainer Wilhelm von Osten, behauptete, Hans könne komplexe arithmetische Aufgaben lösen und sogar Deutsch verstehen. Hans signalisierte Antworten auf Fragen durch Tippen mit dem Huf, was sowohl das Publikum als auch führende Psychologen seiner Zeit in Erstaunen versetzte. Die behaupteten Fähigkeiten reichten von der Lösung von Brüchen bis hin zur Identifizierung von Malern.

Angesichts des großen öffentlichen und wissenschaftlichen Interesses initiierte das deutsche Bildungsministerium im Jahr 1904 eine offizielle Untersuchung, die als Hans-Kommission bekannt wurde. Da anfängliche Tests keine offensichtlichen Betrugsversuche aufdeckten, wurde die Prüfung schließlich dem Psychologen Oskar Pfungst, einem Assistenten von Carl Stumpf, übertragen. Pfungst, der seine Ergebnisse 1907 in einem Buch dokumentierte, entwickelte eine Reihe strenger Experimente, um externe Einflüsse auszuschließen. Er stellte fest, dass Hans' Erfolgsquote drastisch sank, wenn der Fragesteller die Antwort nicht kannte oder wenn er die subtilen Reaktionen des Publikums oder des Trainers nicht wahrnehmen konnte.

Pfungst beobachtete, dass Hans nur in sechs Prozent der Fälle die richtige Antwort erzielte, wenn der Fragesteller die Lösung nicht kannte. Die Genauigkeit fiel nahezu auf null, wenn der Fragesteller verdeckt war. Pfungst schloss daraus, dass Hans keine abstrakten Berechnungen durchführte, sondern vielmehr winzige, unbewusste Körpersignale seiner Umgebung meisterhaft interpretierte, für deren korrekte Deutung er mit Zuckerwürfeln belohnt wurde. Die Schlussfolgerungen von Pfungst etablierten das bis heute gültige Konzept des Clever-Hans-Effekts.

Dieser Effekt verdeutlicht die zwingende Notwendigkeit einer äußerst sorgfältigen Versuchsgestaltung in der Forschung zur Tierkognition. Die Fähigkeit von Pferden, auf subtile menschliche Signale zu reagieren, ist historisch bedingt durch die jahrhundertelange Züchtung zur Zusammenarbeit mit Reitern. Die Forschung mit Hans gilt als frühes, klassisches Beispiel für experimentelles Design in der Verhaltenspsychologie.

Über die Tierforschung hinaus hat der Clever-Hans-Effekt weitreichende Implikationen für moderne wissenschaftliche Disziplinen, insbesondere im Bereich der Künstlichen Intelligenz (KI). In der Statistik wird dieses Phänomen als Scheinkorrelation bezeichnet, bei der ein Datenmerkmal stark mit dem Ergebnis korreliert, aber nicht dessen tatsächliche Ursache ist. Forscher der TU Berlin haben diesen Effekt jüngst in Foundation-Modellen wie GPT oder CLIP nachgewiesen, was darauf hindeutet, dass KI-Systeme korrekte Vorhersagen auf Basis irrelevanter Muster treffen können. Die Erkenntnis aus dem Fall Hans mahnt Wissenschaftler und Datenanalysten zur Vorsicht vor unbeabsichtigter Einflussnahme und der Nutzung falscher Parameter in Lernmodellen.