IA on the job: Korrigiert eine berichtigte Antwort auch ihre Folgen?

Ein Assistenzsystem kann eine falsche Erklärung liefern, die später berichtigt wird, aber bereits in die Überlegungen eines Teams eingeflossen ist. Die entscheidende Frage lautet: Wie lässt sich nach der Verbreitung einer KI-Antwort prüfen, ob ihre Korrektur auch die davon abhängigen Schlussfolgerungen verändert?

Was die Forschung belegt

Hollyn M. Johnson und Colleen M. Seifert (1994, Journal of Experimental Psychology: Learning, Memory, and Cognition) untersuchten den anhaltenden Einfluss von Informationen nach deren Widerruf. In ihren Experimenten konnten ursprüngliche Informationen weiterhin in Schlussfolgerungen einfliessen, obwohl die Teilnehmenden eine Korrektur erhalten hatten. Eine Aussage zurückzuziehen und ihren Einfluss auf das Denken zu beseitigen, sind somit zwei unterschiedliche Vorgänge.

Die Erklärungslücke nach einer Korrektur

Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz und John Cook (2012, Psychological Science in the Public Interest) geben einen Überblick über die Forschung zu Fehlinformationen und deren Korrektur. Ihre Übersicht betont unter anderem, wie schwer es fällt, eine Erklärung aufzugeben, wenn keine andere das Ereignis verständlich macht. Eine Korrektur kann daher hilfreicher sein, wenn sie eine belegte alternative Erklärung liefert, statt lediglich die frühere Aussage als falsch zu kennzeichnen.

Der vorschnelle Schluss

Daraus könnte man ableiten, es genüge, die KI um eine neue Erklärung zu bitten, um die erste unwirksam zu machen. Das würde einen kognitiven Mechanismus mit einer Zuverlässigkeitsgarantie verwechseln: Auch die alternative Erklärung muss überprüft werden. Bleibt die Ursache unbekannt, ist es besser, diese Unsicherheit offenzulegen und die betroffenen Schlussfolgerungen neu zu prüfen, als einen lückenlosen Erklärungszusammenhang zu konstruieren. (unsere Weiterbildungen für Führungskräfte und Mitarbeitende)

Was diese Arbeiten nicht nachweisen

Diese Publikationen testen keine generativen Assistenzsysteme in Basler Arbeitsteams. Sie erlauben weder eine Schätzung der Häufigkeit solcher Nachwirkungen im Arbeitsalltag noch ihres Ausmasses in regulierten Tätigkeiten. Sie begründen jedoch eine praktische Unterscheidung: Ein korrigiertes Dokument beweist nicht, dass auch die auf seiner ersten Fassung beruhenden Überlegungen revidiert wurden.

Eine überprüfbare Praxis in Basel

In einem SHR-Workshop «IA on the job» in Basel lässt sich ein fiktiver Fall einsetzen, der Pharma, Life Sciences, Rheinlogistik und internationale Forschung und Entwicklung verbindet: Eine KI-gestützte Zusammenfassung führt die Verspätung einer Probe fälschlich auf eine Transportbeschränkung zurück. Nach einer durch die Fallunterlagen belegten Korrektur formulieren die Teilnehmenden einzeln ihre Erklärung der Verspätung und ihre Empfehlung neu, ohne Zugriff auf ihre erste Antwort. Erfasst wird der Anteil der Antworten, die die widerlegte Beschränkung weiterhin als Prämisse verwenden, anhand eines vorab festgelegten Beurteilungsrasters und im Vergleich mit den ursprünglichen Antworten. Diese Erhebung misst keinen Produktivitätsgewinn, sondern prüft, ob die Korrektur tatsächlich die Überlegungen erreicht hat und nicht nur das Dokument. Weiterführend: entdecken Sie die KI im Arbeitsalltag-Weiterbildung in Basel, oder durchstöbern Sie unsere Weiterbildungen für Führungskräfte und Mitarbeitende in der Schweiz.

In Bildern: KI im Arbeitsalltag in Basel

• ki im arbeitsalltag
• Basel
• forschung
• Weiterbildung basel