Prognoseinstrumente: Warum ein Fehler allein sie nicht disqualifiziert

Soll eine Führungskraft ein Prognoseinstrument nach einem auffälligen Fehler aufgeben, obwohl seine Leistung im Vergleich weiterhin günstig ausfällt? Im Programm «Prise de décision» zur Entscheidungsfindung von SHR — Swiss Human Resources verlangt diese Frage, zwischen Vertrauen, Akzeptanz und gemessener Qualität zu unterscheiden.

Was die Forschung belegt

Berkeley J. Dietvorst, Joseph P. Simmons und Cade Massey (2015, Journal of Experimental Psychology: General) zeigen in Prognoseexperimenten, dass Teilnehmende einen Algorithmus meiden können, nachdem sie dessen Fehler beobachtet haben, selbst wenn er bessere Prognosen liefert als der Mensch. Sichtbare Unzulänglichkeiten können somit von einem vergleichsweise leistungsfähigeren Instrument abhalten. Entscheidend ist nicht, dass das Instrument unfehlbar wäre, sondern dass seine Fehler und menschliche Fehler nicht unbedingt gleich behandelt werden.

Kontrolle als Voraussetzung für Akzeptanz

Berkeley J. Dietvorst, Joseph P. Simmons und Cade Massey (2018, Management Science) zeigen, dass die Möglichkeit, eine algorithmische Prognose auch nur geringfügig anzupassen, die Bereitschaft zur Nutzung erhöhen kann. Ein begrenzter Eingriffsspielraum kann ein Instrument somit trotz seiner bekannten Unvollkommenheit akzeptabel machen. Dieser Befund betrifft die Bedingungen seiner Nutzung; er belegt nicht, dass jede menschliche Korrektur die Prognose verbessert.

Der vorschnelle Schluss

Daraus könnte man schliessen, dass bessere Entscheidungen entstehen, sobald Führungskräfte die Ergebnisse korrigieren dürfen. Die Unterscheidung ist jedoch wesentlich: Höhere Akzeptanz und bessere Leistung sind zwei verschiedene Ergebnisse. Eine Korrektur kann relevante Informationen berücksichtigen, die im Modell fehlen, sie kann eine Schätzung aber auch verschlechtern; gefragt ist ein Vergleich statt einer Annahme. (unsere Weiterbildungen für Führungskräfte und Mitarbeitende)

Was die Experimente nicht garantieren

Diese experimentellen Arbeiten liefern keine allgemeine Validierung der in Organisationen eingesetzten Prognosesysteme. Sie belegen nicht, dass ein im Durchschnitt leistungsfähiges Instrument für jede Bevölkerungsgruppe, in jeder Situation oder nach einer Veränderung des Kontexts zuverlässig bleibt. Gerade in der Bundesverwaltung und im öffentlichen Gesundheitswesen lassen sich Rechtmässigkeit, Nachvollziehbarkeit und die Schwere von Fehlern nicht auf eine durchschnittliche Genauigkeitskennzahl reduzieren.

Eine überprüfbare Praxis in Bern

In Bern könnte eine Übung im SHR-Programm «Prise de décision» eine wiederkehrende Prognose ohne unmittelbare Auswirkungen auf individuelle Rechte aufgreifen: das Dossieraufkommen in der Bundesverwaltung, den Logistikbedarf im öffentlichen Gesundheitswesen, Serviceeinsätze in der Telekommunikation oder den Komponentenbedarf in der Präzisionsindustrie. Vor Bekanntwerden des jeweiligen Ergebnisses werden eine unabhängige menschliche Schätzung, die unveränderte Prognose des Instruments und eine allfällig korrigierte Prognose samt Korrekturbegründung festgehalten. Über einen vorab festgelegten Zeitraum werden ihre mittleren absoluten Fehler anhand genau derselben Fälle verglichen; zusätzlich werden Fehler dokumentiert, die nach einem vorab definierten Kriterium als kritisch gelten. So liesse sich prüfen, ob Korrekturen einen messbaren Mehrwert liefern, statt den zuletzt aufgefallenen Fehler über die weitere Nutzung entscheiden zu lassen. Weiterführend: entdecken Sie die Entscheidungsfindung-Weiterbildung in Bern im Kanton Bern, oder durchstöbern Sie unsere Weiterbildungen für Führungskräfte und Mitarbeitende in der Schweiz.

In Bildern: Entscheidungsfindung in Bern

• entscheidungsfindung
• Bern
• forschung
• Weiterbildung bern