Wie testen Sie eine KI-Funktion, bevor Mitarbeitende sich darauf verlassen?

Ein Prototyp beantwortet einige Fragen gut. Jetzt möchte jemand ihn den Mitarbeitenden zur Verfügung stellen. Bevor Sie zustimmen, bitten Sie den Anbieter zu zeigen, wie die Funktion mit den Aufgaben umgeht, die diese Personen tatsächlich an sie stellen, einschließlich der Fragen, die sie nicht beantworten kann.

Sie können dieses Gespräch sehr konkret führen. Wählen Sie eine Aufgabe aus, legen Sie fest, wie ein brauchbares Ergebnis aussieht, und prüfen Sie die Resultate anhand realistischer Beispiele gemeinsam mit jemandem, der die Arbeit kennt. So haben Sie eine Grundlage für die Entscheidung über den Einsatz.

Beginnen Sie mit einer Aufgabe und ihren Grenzen

Stellen Sie sich eine Funktion vor, die Antwortentwürfe auf Basis freigegebener interner Leitlinien vorbereitet. Eine Mitarbeiterin oder ein Mitarbeiter liest jeden Entwurf, bevor er verwendet wird. Das ist ein hypothetisches Beispiel, macht die Frage nach der Abnahme aber greifbarer.

Halten Sie fest, welche Unterlagen die Funktion verwenden darf, für wen sie gedacht ist und was sie erstellt. In diesem Beispiel formuliert sie einen Antwortentwurf anhand der Leitlinien, die diese Person einsehen darf. Eine Antwort zu versenden oder einen Datensatz zu ändern wäre eine eigene Fähigkeit, die separat getestet werden müsste.

Legen Sie dann fest, was als brauchbar gilt. Der Entwurf sollte die Frage beantworten, mit den freigegebenen Unterlagen übereinstimmen, wichtige Bedingungen enthalten und die zugrunde liegende Quelle nennen. Wenn die Unterlagen keine Antwort hergeben, sollte der Entwurf das sagen. Fehlende Informationen klar einzugestehen kann ein erfolgreiches Ergebnis sein.

Eine erfundene Regel, eine ausgelassene Bedingung, die die Antwort verändert, oder eine selbstsichere Antwort auf Basis der falschen Leitlinie würde den Entwurf unbrauchbar machen. Klären Sie diese Unterschiede, bevor Sie die Ergebnisse bewerten. Sonst kann eine flüssige Antwort überraschend überzeugend wirken.

Testen Sie Fragen, die Mitarbeitende tatsächlich stellen

Für das Beispiel mit den Antwortentwürfen sollten mindestens diese Situationen vorkommen:

• Eine gewöhnliche Frage. Die Leitlinie enthält eine klare Antwort. Gibt der Entwurf sie korrekt wieder und verweist auf die richtige Quelle?
• Eine mehrdeutige Frage. Zwei Verfahren könnten zutreffen. Fragt die Funktion nach dem nötigen Detail, statt stillschweigend eines auszuwählen?
• Fehlende Informationen. Die freigegebene Leitlinie behandelt die Anfrage nicht. Erklärt die Funktion die Lücke und überlässt die Klärung einem Menschen?

Das ist ein Anfang. Richten Sie die Testsammlung an der tatsächlichen Arbeit aus: häufige Anfragen, unvollständige Angaben, schwierige Formulierungen und Fehler mit bedeutsamen Folgen. Verwenden Sie repräsentative Daten, zu denen Sie berechtigt sind, oder sicher vorbereitete Beispiele. Vertrauliche Datensätze gehören nicht in nicht freigegebene Dienste.

Die Bewertungshinweise von Microsoft empfehlen repräsentative Interaktionen und anspruchsvolle Fälle. Für Führungskräfte ist die praktische Frage, ob die Beispiele die Situationen abdecken, in denen Mitarbeitende Unterstützung brauchen. Ein allgemeiner Modellbenchmark kann diese Frage für Ihre Anwendung nicht beantworten.

Lassen Sie die Ergebnisse von einer fachkundigen Person beurteilen

Bitten Sie eine Person, die mit der Aufgabe vertraut ist, die Antworten anhand der vereinbarten Kriterien zu prüfen. Sie sollte erklären können, warum eine Antwort brauchbar, falsch oder unsicher ist. Bei unterschiedlichen Einschätzungen oder schwerwiegenden Folgen eines Fehlers hilft eine zweite Prüfung.

Das freiwillige NIST-Rahmenwerk zum Risikomanagement für KI unterstützt dokumentierte Tests unter einsatzähnlichen Bedingungen und die Beteiligung einschlägiger Fachleute. Es bietet eine gute Grundlage für die Fragen, was getestet wurde und wer die Ergebnisse geprüft hat. Einen allgemeingültigen Grenzwert für Ihre Funktion liefert es nicht.

Bewahren Sie einige Bewertungsbeispiele getrennt von den Beispielen auf, mit denen die Funktion verbessert wird. Wenn der Anbieter die Funktion anhand jeder Testfrage weiter anpasst, erfahren Sie vor allem, wie gut sie mit bekannten Fragen umgeht. Getrennte Beispiele zeigen besser, wie sie Aufgaben bewältigt, auf die sie nicht abgestimmt wurde.

Automatische Bewertungen können beim Sortieren der Ergebnisse helfen, müssen aber ebenfalls geprüft werden. Menschen übersehen Fehler, und auch eine KI, die eine andere KI bewertet, kann sich irren. Lassen Sie sich die tatsächlichen Antworten und die Gründe für die Bewertungen zeigen.

Prüfen Sie die Fehler hinter dem Durchschnitt

Ein Gesamtwert kann beim Vergleich von Versionen helfen. Lassen Sie sich zusätzlich die Ergebnisse nach wichtigen Situationen und Fehlerarten aufschlüsseln. Gewöhnliche Fragen können gut ausfallen, während Fragen ohne passende Quelle immer wieder erfundene Antworten hervorbringen. Der Durchschnitt verdeckt dann eine Entscheidung, die Sie für genau diesen Anwendungsfall treffen müssen.

Halten Sie fest, welche Fehler aufgetreten sind, wie schwer sie wiegen und was noch unklar ist. Entscheiden Sie, welche Fehler den vorgesehenen Einsatz verhindern. Welche Fehlerrate akzeptabel ist, hängt von der Aufgabe und den Folgen eines Fehlers ab. Einen Prozentwert, der für jedes Unternehmen entscheidet, gibt es nicht.

Wenn die Funktion auch Aktionen ausführt, prüfen Sie, was im verbundenen System tatsächlich passiert ist. Behauptet sie zum Beispiel, einen Datensatz aktualisiert zu haben, kontrollieren Sie, ob der richtige Datensatz nun den gewünschten Wert enthält. Anthropics Bericht vom Januar 2026 zur Bewertung von KI-Agenten erklärt, warum bei Softwareaktionen das Endergebnis zählt. Eine Meldung, dass die Aufgabe abgeschlossen sei, belegt noch keinen Erfolg.

Die Qualität der Ausgabe ist ein Teil der Abnahme. Sicherheit, Berechtigungen, Datenschutz und der übrige Arbeitsablauf brauchen eigene passende Prüfungen. Eine gute Bewertung der Antworten belegt nicht, dass diese Bereiche funktionieren.

Treffen Sie eine konkrete Einsatzentscheidung

Bitten Sie den Anbieter um eine kurze Dokumentation der Aufgabe und ihrer Grenzen, der Testfälle und erwarteten Ergebnisse, der prüfenden Personen, wichtiger Fehler, verbleibender Unsicherheiten und der getesteten Version. Führen Sie Modell, Anweisungen, Quellmaterial und verbundene Software auf, sofern sie das Ergebnis beeinflussen. Vereinbaren Sie, welche Prüfungen nach Änderungen daran erneut laufen müssen.

Diese Nachweise sollten eine von drei Entscheidungen ermöglichen:

• Begrenzten Einsatz freigeben. Die Ergebnisse stützen eine klar umrissene Aufgabe innerhalb festgelegter Grenzen. Mitarbeitende wissen, wann sie prüfen, stoppen oder zum bisherigen Ablauf zurückkehren müssen.
• Fehler beheben und erneut testen. Bestimmte Fehler müssen korrigiert werden. Legen Sie fest, welche Fälle erneut laufen und welche getrennten Beispiele prüfen, ob die Korrektur trägt.
• Einsatz zurückstellen. Wichtige Fehler sind noch offen oder die Nachweise reichen für den geplanten Einsatz nicht aus.

Ein begrenzter Pilot kann zusätzliche Erkenntnisse aus der tatsächlichen Arbeit liefern. Legen Sie vorher Nutzerkreis, Aufgaben, Berechtigungen, Prüfabläufe und einen Ausweichprozess fest. Bestimmen Sie außerdem, wer Probleme beobachtet und den Pilot gegebenenfalls pausiert. Gute Ergebnisse aus einem kleinen Pilot stützen diesen begrenzten Einsatz, belegen aber keine allgemeine Zuverlässigkeit.

Nach dem Abnahmegespräch sollten Sie wissen, worauf Mitarbeitende sich verlassen können, wo weiterhin ein Mensch entscheiden muss und was einen neuen Test auslöst. Wenn Sie eine KI-Funktion in einer individuellen Unternehmensanwendung planen, können wir über den vorgesehenen Zweck und die Nachweise sprechen, die Sie für die Abnahme brauchen.