Jak otestovat funkci AI, než se na ni začnou spoléhat zaměstnanci?

Prototyp dobře odpovídá na několik otázek. Teď ho někdo chce zpřístupnit zaměstnancům. Než souhlasíte, požádejte dodavatele, aby ukázal, jak si poradí s prací, kterou mu tito lidé skutečně svěří, včetně otázek, na které odpovědět nedokáže.

O takové dohodě se dá mluvit konkrétně. Vyberte jeden úkol, určete, jak vypadá použitelný výsledek, a projděte s někým, kdo práci zná, výsledky na sadě realistických příkladů. Budete mít podklad pro rozhodnutí o nasazení.

Začněte jedním úkolem a jeho hranicemi

Představte si funkci, která připravuje návrhy odpovědí podle schválených interních pokynů. Zaměstnanec si každý návrh před použitím přečte. Jde o hypotetický příklad, který pomáhá lépe pochopit, co znamená přijetí funkce.

Sepište, jaké podklady funkce smí použít, komu je určena a co vytváří. V tomto příkladu navrhne odpověď podle pokynů, které má daný člověk oprávnění vidět. Odesílání odpovědi nebo změna záznamu by byla samostatná schopnost, kterou je třeba otestovat.

Pak se dohodněte, co je použitelné. Návrh má odpovídat na otázku, držet se schválených podkladů, zachovat důležité podmínky a uvést zdroj, o který se opírá. Pokud podklady odpověď neobsahují, má to návrh říct. Jasné přiznání chybějících informací může být úspěšný výsledek.

Vymyšlené pravidlo, vynechaná podmínka, která mění odpověď, nebo sebejistá odpověď opřená o nesprávné pokyny by návrh znehodnotily. Tyto rozdíly si ujasněte před hodnocením výsledků. Jinak může plynulá odpověď působit překvapivě přesvědčivě.

Vyzkoušejte otázky, které lidé skutečně položí

U příkladu s návrhy odpovědí zahrňte alespoň tyto situace:

• Běžná otázka. Pokyny obsahují jasnou odpověď. Použije ji návrh přesně a odkáže na správný zdroj?
• Nejednoznačná otázka. Mohou platit dva postupy. Vyžádá si funkce potřebný údaj, místo aby si potichu jeden postup vybrala?
• Chybějící podklady. Schválené pokyny se danému požadavku nevěnují. Vysvětlí funkce, co chybí, a nechá vyřešení na člověku?

To jsou jen výchozí příklady. Sestavte testovací sadu podle skutečné práce: běžné požadavky, neúplné informace, obtížné formulace a chyby s důležitými následky. Používejte oprávněně dostupná reprezentativní data nebo bezpečně připravené příklady a důvěrné záznamy nevkládejte do neschválených služeb.

Pokyny Microsoftu k hodnocení doporučují reprezentativní interakce i náročné případy. Pro vedoucího je podstatné, zda příklady pokrývají situace, s nimiž zaměstnanci potřebují pomoci. Obecný benchmark modelu na tuto otázku za vaši aplikaci neodpoví.

Nechte výsledky posoudit někoho, kdo práci zná

Požádejte člověka, který danému úkolu rozumí, aby odpovědi porovnal s dohodnutými kritérii. Měl by umět vysvětlit, proč je odpověď použitelná, chybná nebo nejistá. Pokud se hodnocení liší nebo by chyba měla vážné následky, pomůže druhý pohled.

Dobrovolný rámec NIST pro řízení rizik AI podporuje dokumentované testování v podmínkách podobných nasazení a zapojení příslušných odborníků. Poskytuje užitečný základ pro otázky, co se testovalo a kdo výsledky kontroloval. Nestanovuje univerzální hranici úspěchu pro vaši funkci.

Část hodnoticích příkladů uchovejte odděleně od příkladů používaných ke zlepšování funkce. Pokud dodavatel upravuje funkci podle každé testovací otázky, zjistíte hlavně to, jak si poradí se známými otázkami. Oddělené příklady lépe ukážou, jak zvládá práci, podle které se neupravovala.

Automatické hodnocení může pomoci výsledky roztřídit, ale i jeho závěry je třeba ověřit. Lidé mohou chybu přehlédnout a AI použitá k hodnocení jiné AI se také může mýlit. Požádejte o skutečné odpovědi i vysvětlení výsledných známek.

Podívejte se na chyby, které průměr skryje

Celkové skóre pomůže porovnat verze. Vedle něj si vyžádejte výsledky rozdělené podle situací a chyb, na kterých záleží. Běžné otázky mohou dopadat dobře, zatímco dotazy bez opory ve zdrojích opakovaně vedou k vymyšleným odpovědím. Průměr zakryje rozhodnutí, které musíte učinit právě pro toto použití.

Zaznamenejte, které chyby nastaly, jak závažné byly a co zůstává nejisté. Rozhodněte, které z nich brání zamýšlenému použití. Přijatelná míra chyb závisí na úkolu a na tom, co se stane po chybě. Jedno procento, které by rozhodlo za každou firmu, neexistuje.

Pokud funkce také provádí akce, ověřte, co se skutečně stalo v připojeném systému. Když například tvrdí, že aktualizovala záznam, zkontrolujte, zda má správný záznam požadovanou hodnotu. Popis hodnocení AI agentů od společnosti Anthropic z ledna 2026 vysvětluje, proč je při akcích softwaru důležitý konečný stav. Zpráva, že je hotovo, sama o sobě nedokazuje úspěch.

Kvalita výstupu je jen jednou částí přijetí. Bezpečnost, oprávnění, soukromí a zbytek pracovního postupu potřebují vlastní odpovídající kontroly. Dobré skóre odpovědí nedokazuje, že tyto části fungují.

Rozhodněte o nasazení konkrétně

Požádejte dodavatele o stručný záznam úkolu a jeho hranic, testovacích případů a očekávaných výsledků, hodnotitelů, důležitých chyb, zbývající nejistoty a otestované verze. Uveďte model, pokyny, zdrojové podklady a připojený software, pokud ovlivňují výsledek. Dohodněte se, které kontroly se zopakují po změně kterékoli z těchto částí.

Tyto podklady by měly podpořit jedno ze tří rozhodnutí:

• Povolit omezené použití. Výsledky podporují konkrétní úkol v jasně stanovených mezích. Zaměstnanci vědí, kdy výsledek zkontrolovat, kdy přestat a kdy se vrátit k dosavadnímu postupu.
• Opravit a znovu otestovat. Je třeba napravit konkrétní chyby. Dohodněte, které případy se zopakují a které oddělené příklady ověří, zda oprava funguje.
• Nasazení odložit. Důležité chyby zůstávají nevyřešené nebo jsou podklady příliš slabé na podporu navrženého použití.

Omezený pilot může přinést důkazy z reálné práce. Předem určete uživatele, úkoly, oprávnění, způsob kontroly a záložní postup, a také osobu odpovědnou za sledování problémů a případné pozastavení pilotu. Dobré výsledky malého pilotu podporují toto omezené použití, ale nedokazují obecnou spolehlivost.

Z rozhovoru o přijetí byste měli odcházet s jasnou představou, na co se zaměstnanci mohou spolehnout, kde musí rozhodnout člověk a co spustí další test. Pokud plánujete funkci AI ve firemní aplikaci na míru, můžeme probrat její zamýšlený úkol a důkazy, které budete potřebovat k jejímu přijetí.