IA on the job: Soll eine Prompt-Bibliothek nur Erfolge festhalten?

Eine Organisation, die KI einführt, könnte versucht sein, aus den besten Ergebnissen ihrer Teams eine Prompt-Bibliothek aufzubauen. Die Führungsfrage ist präzise: Auf welcher Grundlage lässt sich ein Prompt als wiederverwendbar einstufen, wenn nur seine erfolgreichen Anwendungen festgehalten werden?

Was die Literatur belegt

Jerker Denrell (2003, Organization Science) untersucht, wie die Unterrepräsentation von Misserfolgen in beobachteten Erfahrungen das Lernen von anderen verzerren kann. Seine theoretische Arbeit zeigt, dass eine Praxis mit Erfolg verbunden erscheinen kann, weil die Situationen, in denen sie scheitert, ausserhalb des Beobachtungsfeldes bleiben. Für eine Prompt-Bibliothek bedeutet dies, zwischen einem erfolgreichen Beispiel und einer Methode zu unterscheiden, deren Erfolgsbedingungen bekannt sind.

Der Mechanismus, der die Auswahl verstärkt

James G. March (1991, Organization Science) modelliert das Spannungsverhältnis zwischen der Nutzung vorhandenen Wissens und der Erkundung neuer Möglichkeiten. Die zeitlich näheren und besser vorhersehbaren Vorteile der Nutzung können eine Organisation dazu verleiten, etablierte Praktiken zulasten der Erkundung zu bevorzugen. Analog auf KI übertragen, legt dieser Mechanismus nahe, dass ein besonders sichtbarer Prompt in einer Bibliothek häufiger wiederverwendet werden könnte, ohne dass diese Häufigkeit seine Überlegenheit belegt.

Der vorschnelle Schluss

Daraus abzuleiten, dass Organisationen auf Prompt-Bibliotheken verzichten oder sämtliche Versuche unterschiedslos aufbewahren sollten, wäre überzogen. Ein ausgewähltes Beispiel kann den Einstieg erleichtern und eine Praxis vermittelbar machen. Entscheidend ist, es als eine unter bestimmten Bedingungen geeignete Ressource darzustellen, nicht als ein Rezept, das allein durch seine Aufnahme in den Katalog bestätigt ist. (unsere Weiterbildungen für Führungskräfte und Mitarbeitende)

Was diese Arbeiten nicht belegen

Diese Artikel behandeln organisationales Lernen, nicht die Evaluation von Prompt-Bibliotheken für heutige generative Modelle. Sie beleuchten ein Selektionsrisiko, ohne dessen Ausmass in diesem Kontext zu messen. In der Praxis lässt sich bei einem Prompt, der ohne Eingabedaten, Werkzeugversion und Akzeptanzkriterien gespeichert wurde, kaum beurteilen, ob ein Ergebnisunterschied auf den Prompt oder sein Umfeld zurückgeht.

Eine überprüfbare Praxis in Freiburg

Im Rahmen des SHR-Programms «IA on the job» könnte eine Übung in Freiburg Teams aus der Agrar- und Lebensmittelwirtschaft, der zweisprachigen Industrie und dem Hochschulumfeld anhand fiktiver oder zur Weitergabe freigegebener Fälle zusammenbringen. Für jeden zur Aufnahme vorgeschlagenen Prompt würden sie vorab Akzeptanzkriterien festlegen und anschliessend alle Versuche mit unterschiedlichen Fällen dokumentieren, einschliesslich abgelehnter Ergebnisse; vorgesehene Anwendungen auf Französisch und Deutsch würden getrennt geprüft. Die Kennzahl wäre der Anteil akzeptierter Ergebnisse an allen dokumentierten Versuchen, aufgeschlüsselt nach Aufgabenfamilie und Sprache, mit Zugang zu den Fällen, anhand derer sich die Berechnung überprüfen lässt. Diese Erfassung würde keine allgemeine Zuverlässigkeit belegen, aber sichtbar machen, was eine reine Erfolgssammlung ausblendet. Weiterführend: entdecken Sie die KI im Arbeitsalltag-Weiterbildung in Freiburg, oder durchstöbern Sie unsere Weiterbildungen für Führungskräfte und Mitarbeitende in der Schweiz.

In Bildern: KI im Arbeitsalltag in Freiburg

• ki im arbeitsalltag
• Freiburg
• forschung
• Weiterbildung freiburg