KI-Einführung: Verzerrt das Wissen um den Ausgang das Urteil in Basel?

Um über die Einführung einer KI zu entscheiden, kann ein Team sie mit vergangenen Situationen konfrontieren, deren Ausgang bereits bekannt ist. Die präzise Führungsfrage lautet: Wie lässt sich die Qualität einer Empfehlung beurteilen, ohne ihr rückblickend eine Selbstverständlichkeit zuzuschreiben, die zum Entscheidungszeitpunkt nicht bestand?

Was die Forschung belegt

Baruch Fischhoff (1975, Journal of Experimental Psychology: Human Perception and Performance) zeigte experimentell, dass die Kenntnis eines Ereignisausgangs die rückblickende Einschätzung seiner Wahrscheinlichkeit verändert. Die Teilnehmenden berücksichtigen diesen Einfluss nicht vollständig, wenn sie beurteilen, was sie ohne diese Information hätten vorhersagen können. Prüft ein Team eine KI-Empfehlung im Nachhinein, besteht deshalb die Gefahr, das heute offensichtlich Erscheinende mit dem damals erkennbaren Wissen zu verwechseln.

Das Ergebnis verändert auch die Bewertung der Entscheidung

Jonathan Baron und John C. Hershey (1988, Journal of Personality and Social Psychology) zeigten, dass das Ergebnis einer Entscheidung deren Qualitätsbewertung beeinflusst, selbst wenn die zum Entscheidungszeitpunkt verfügbaren Informationen identisch sind. Diese Ergebnisverzerrung unterscheidet sich vom Rückschaufehler: Sie betrifft nicht nur die wahrgenommene Vorhersehbarkeit, sondern auch den Wert, der der Entscheidung selbst zugeschrieben wird. Eine vernünftige Empfehlung kann nach einem ungünstigen Ausgang abgewertet werden, während eine schwach begründete Empfehlung von einem glücklichen Ausgang profitiert.

Der vorschnelle Schluss

Daraus könnte man schliessen, abgeschlossene Fälle aus Tests zur KI-Einführung auszuschliessen. Die Studien verlangen dies nicht: Sie legen vielmehr nahe, die Prüfung der damals verfügbaren Informationen von der Prüfung des erzielten Ergebnisses zu trennen. Ein günstiges Ergebnis bleibt relevant, belegt für sich allein aber nicht die Qualität einer Empfehlung. (unsere Weiterbildungen für Führungskräfte und Mitarbeitende)

Was diese Studien nicht belegen

Diese Experimente untersuchen menschliches Urteilen, nicht die Einführung generativer KI in einem Basler Unternehmen. Sie quantifizieren deshalb weder das Ausmass der Verzerrung in einem F&E-Team noch deren Einfluss auf die Entscheidung, eine Abteilung mit KI auszustatten. Eine weitere Schwierigkeit betrifft die Werkzeuge selbst: Ist ein historischer Fall öffentlich bekannt, garantiert das Verbergen seines Ausgangs vor den Bewertenden nicht, dass auch das Modell ihn nicht kennt.

Eine überprüfbare Praxis in Basel

Im Rahmen des SHR-Programms « Conduire l’adoption de l’IA dans son équipe » könnte ein Basler Pharma- oder Life-Sciences-Team eine Empfehlung zur Versorgung eines internationalen F&E-Projekts über die Rheinlogistik anhand eines realistischen fiktiven Falls mit vorab festgelegtem Ausgang prüfen. Zwei Gruppen würden genau dieselben Informationen und dieselbe Empfehlung anhand eines gemeinsamen Bewertungsrasters zu Begründung, Unsicherheiten und berücksichtigten Alternativen beurteilen, wobei nur eine Gruppe den Ausgang kennt. Gemessen würde die Differenz zwischen den durchschnittlichen Bewertungen beider Gruppen, ergänzt durch ihre schriftlichen Begründungen. Ein Unterschied allein wäre kein Beweis für eine Verzerrung, gäbe der Führungskraft aber einen überprüfbaren Anlass, das Bewertungsverfahren zu hinterfragen, bevor sie auf die Qualität des Werkzeugs schliesst. Weiterführend: entdecken Sie die KI-Einführung im Team gestalten-Weiterbildung in Basel im Kanton Basel-Stadt, oder durchstöbern Sie unsere Weiterbildungen für Führungskräfte und Mitarbeitende in der Schweiz.

In Bildern: KI-Einführung im Team gestalten in Basel

• ki-einführung im team gestalten
• Basel
• forschung
• Weiterbildung basel