IA on the job: Reicht ein Fehler, um ein Werkzeug auszuschliessen?

Wenn eine KI einen Fehler macht, kann das Team ihren Einsatz weit über den konkreten Fall hinaus infrage stellen. Die Führungsfrage ist präzise: Wie lässt sich über eine Fortsetzung oder Aussetzung des Einsatzes entscheiden, ohne einen einprägsamen Fehler mit einer Beurteilung der Zuverlässigkeit gleichzusetzen?

Was die Forschung belegt

Berkeley Dietvorst, Joseph Simmons und Cade Massey (2015, Journal of Experimental Psychology: General) zeigen in Prognoseexperimenten, dass Teilnehmende einen Algorithmus meiden können, nachdem sie dessen Fehler beobachtet haben, selbst wenn er besser abschneidet als die prognostizierende Person. Beobachtete Fehler beeinträchtigen das Vertrauen in den Algorithmus stärker als das Vertrauen in den Menschen. Die Entscheidung für ein Werkzeug spiegelt somit nicht unbedingt dessen Leistung im Vergleich wider.

Eine Präferenz, die auch den Algorithmus begünstigen kann

Jennifer Logg, Julia Minson und Don Moore (2019, Organizational Behavior and Human Decision Processes) zeigen in mehreren Schätzexperimenten, dass Teilnehmende einem Rat mehr Gewicht geben, wenn sie ihn einem Algorithmus statt einer Person zuschreiben. Dieser Befund widerspricht dem vorherigen nicht unmittelbar: Einen als algorithmisch bezeichneten Rat zu erhalten, ist nicht dieselbe Situation, wie ein Werkzeug scheitern zu sehen. Die Kennzeichnung der Quelle und die Erfahrung mit ihren Fehlern sind getrennt zu betrachten.

Der vorschnelle Schluss

Daraus könnte man ableiten, Teams müssten lernen, KI-Fehler zu tolerieren, damit sie die Technologie eher nutzen. Damit würde jedoch eine psychologische Reaktion mit einer Führungsregel verwechselt: Manche Fehler rechtfertigen eine Aussetzung, insbesondere wenn sie Sicherheit oder Vertraulichkeit gefährden. Entscheidend ist nicht Toleranz an sich, sondern die Schwere des Fehlers und die Zuverlässigkeit der verfügbaren Alternativen bei derselben Aufgabe. (unsere Weiterbildungen für Führungskräfte und Mitarbeitende)

Was diese Daten nicht entscheiden können

Diese Studien untersuchen Urteile und Prognosen unter experimentellen Bedingungen, nicht den dauerhaften Einsatz generativer Assistenzsysteme in einer Organisation. Sie bestimmen weder eine akzeptable Fehlergrenze noch eine Validierungsregel für Anwendungen in der Medtech-Branche, an Hochschulen oder im Sport. Eine geäusserte Präferenz für ein Werkzeug belegt zudem weder dessen Sicherheit noch dessen Nutzen am Arbeitsplatz.

Eine überprüfbare Praxis in Lausanne

Für einen Workshop des SHR-Programms «IA on the job» in Lausanne schlagen wir Teams aus der Medtech-Branche, den Hochschulen, dem internationalen Sport und den Scale-ups der Genferseeregion eine Übung mit einem fiktiven administrativen Fall ohne sensible Daten vor. Die Teilnehmenden werden zufällig zwei Versionen desselben Dossiers zugeteilt, die identische Ergebnisse und einen identischen Fehler enthalten, diese aber entweder einer KI oder einer Person zuschreiben; anschliessend wird gefragt, ob sie diese Quelle erneut nutzen würden. Gemessen wird der Anteil zustimmender Antworten je Gruppe, ergänzt um die Gruppengrössen und die Gründe für eine Ablehnung. Ein allfälliger Unterschied dient dazu, Kriterien für eine Aussetzung zu diskutieren; er ist weder ein Nachweis individueller Voreingenommenheit noch eine Validierung des Werkzeugs. Weiterführend: entdecken Sie die KI im Arbeitsalltag-Weiterbildung in Lausanne, oder durchstöbern Sie unsere Weiterbildungen für Führungskräfte und Mitarbeitende in der Schweiz.

In Bildern: KI im Arbeitsalltag in Lausanne

• ki im arbeitsalltag
• Lausanne
• forschung
• Weiterbildung lausanne