IA on the job: Ist eine präzise Prognose auch verlässlich?

In der Basler Pharmaindustrie, den Life Sciences und der Rheinlogistik helfen Prognosen, voneinander abhängige Zusagen zu koordinieren. Die konkrete Führungsfrage lautet: Wie lässt sich überprüfen, ob eine mit KI ermittelte Wahrscheinlichkeit als Grundlage für einen operativen Entscheid taugt?

Was die Forschung belegt

Don A. Moore und Paul J. Healy (2008, Psychological Review) unterscheiden drei Formen übermässigen Vertrauens in das eigene Urteil: die eigene Leistung überschätzen, sich im Vergleich zu anderen zu günstig einordnen und den eigenen Überzeugungen eine übertriebene Präzision zuschreiben. Diese Phänomene sind nicht gleichzusetzen und verändern sich nicht zwangsläufig gemeinsam. Bei einer KI-gestützten Prognose legt diese Unterscheidung nahe, die angegebene Unsicherheit zu prüfen, statt lediglich die Plausibilität des Ergebnisses zu beurteilen.

Auch das Format der Unsicherheit zählt

Gerd Gigerenzer und Ulrich Hoffrage (1995, Psychological Review) zeigen, dass Aufgaben zum bayesianischen Schlussfolgern unter den untersuchten Bedingungen besser gelöst werden, wenn Informationen als natürliche Häufigkeiten statt als Wahrscheinlichkeiten vorliegen. Das Format erleichtert das Verständnis der Beziehungen zwischen Fällen, liefert aber für sich genommen keine neuen Daten. Für Führungskräfte legt dies nahe, nach den beobachteten Ereignissen zu fragen, die eine Wahrscheinlichkeit stützen, statt lediglich eine verständlichere Umformulierung zu verlangen.

Der vorschnelle Schluss

Daraus könnte man ableiten, es genüge, den Assistenten nach seiner Konfidenz zu fragen und diese in eine Häufigkeit zu übersetzen. Diese Arbeiten zeigen nicht, dass die von einem Modell angegebene Konfidenz seiner tatsächlichen Erfolgsquote entspricht. Eine Häufigkeitsangabe ohne Referenzpopulation und Beobachtungen bleibt eine Behauptung, keine Validierung. (unsere Weiterbildungen für Führungskräfte und Mitarbeitende)

Was die Daten nicht gewährleisten

Diese Forschungen betreffen menschliches Urteilen, nicht die Kalibrierung generativer Assistenten in heutigen industriellen Prozessen. Ihre Übertragung auf KI ist deshalb eine Arbeitshypothese, die anhand beobachtbarer Ergebnisse geprüft werden muss. In der internationalen Forschung und Entwicklung können seltene Ereignisse, lange Zeithorizonte und Protokolländerungen die Vergleichbarkeit beeinträchtigen, selbst wenn Prognosen systematisch erfasst werden.

Eine überprüfbare Praxis in Basel

Im Rahmen von «IA on the job» von SHR — Swiss Human Resources könnte ein Basler Team ein wiederkehrendes, nicht kritisches Ereignis auswählen: die Überschreitung eines vereinbarten Probeneingangstermins für ein internationales Life-Sciences-Projekt an der Schnittstelle zwischen Pharma und Rheinlogistik. Vor jedem Termin würde es die im KI-gestützten Prozess ermittelte und vom Team tatsächlich übernommene Wahrscheinlichkeit, den Termin und eine gleichbleibende Definition der Verspätung festhalten, ohne operative Kontrollen zu verändern. Nach einem im Voraus festgelegten Zyklus würde es innerhalb von Gruppen ähnlicher Wahrscheinlichkeiten die durchschnittliche prognostizierte Wahrscheinlichkeit mit dem beobachteten Anteil verspäteter Eingänge vergleichen, die Fallzahl jeder Gruppe ausweisen und alle Fälle mit bereits erreichtem Termin einbeziehen. Die Abweichung ist überprüfbar; bei zu wenigen oder unzureichend vergleichbaren Fällen bleibt das Ergebnis explorativ und rechtfertigt keine Automatisierung des Entscheids. Weiterführend: entdecken Sie die KI im Arbeitsalltag-Weiterbildung in Basel, oder durchstöbern Sie unsere Weiterbildungen für Führungskräfte und Mitarbeitende in der Schweiz.

In Bildern: KI im Arbeitsalltag in Basel

• ki im arbeitsalltag
• Basel
• forschung
• Weiterbildung basel