Audit ověřuje konkrétní tvrzení o funkcích a integracích vašeho SaaS. Začněte aktuální dokumentací, tarifem, verzí a datem. Odpovědi AI porovnávejte ručně; zmínka o značce ani citace dokumentace správnost tvrzení nedokládá.
Rozdělte odpověď na jednotlivá tvrzení. „Integrace čte data a automaticky publikuje změny“ obsahuje dvě tvrzení. Odlišujte čtení od zápisu, ruční od automatických operací a vytvoření konceptu od publikace.
Chybějící dokumentace znamená nepotvrzeno, nikoli důkaz neexistující funkce. Chybné tvrzení vyžaduje protichůdný doklad nebo potvrzení odpovědného pracovníka. Vynechání posuzujte jen podle předem stanoveného rozsahu testu.
Registr ručního ověření
| Tvrzení AI | Zdroj / verze / tarif | Hodnocení |
|---|---|---|
| Potvrzené dokumentací | Stejná funkce a tarif | Správné |
| V rozporu se stavem produktu | Doklad nebo potvrzení vlastníka funkce | Chybné |
| Bez rozhodující informace | Ověřit s produktovým týmem | Nepotvrzené |
| Očekávaná informace chybí | Předem stanovený rozsah testu | Vynechané |
Uchovávejte počty v každé třídě. Při výpočtu přesnosti uveďte jmenovatel a nerozhodnuté případy odděleně. Nepotvrzená tvrzení nepočítejte automaticky jako správná. Jde o ruční hodnocení odlišné od metrik viditelnosti Semly.
Co si připravit před auditem (vstupy a nástroje)
Příprava rozhoduje o tom, zda audit skončí u seznamu chyb, nebo u jejich odstranění. Minimální vstup je interní dokument, který definuje realitu produktu.
Povinné vstupy:
- Seznam funkcí a integrací jako interní source of truth, ideálně s datem poslední aktualizace.
- Seznam certifikací včetně těch, které firma záměrně nemá (abyste rozlišili chybu od nejasné komunikace).
- Přehled zdrojů, které o vás AI cituje: dokumentace, blog, recenzní profily, srovnávací články třetích stran.
Nástroje:
Šablona scorecardu
| Prompt | Model | Tvrzení AI | Realita | Zdroj chyby | Status |
|---|---|---|---|---|---|
| Jaké má [produkt] integrace s [nástroj]? | ChatGPT | „Nabízí nativní integraci" | Integrace neexistuje | Zastaralý srovnávací článek | K opravě |
| Má [produkt] SOC 2? | Gemini | „Ano, SOC 2 Type II" | Certifikace nezískána | Záměna s konkurentem | K opravě |
| Jaké jsou cenové hladiny? | Claude | „Free tier dostupný" | Free tier zrušen | Starý profil na recenzní platformě | K opravě |
Scorecard je zároveň podklad pro metriku feature accuracy i pro plán nápravy. Bez něj se audit rozpadá na dojmy.
Krok 1 – Definujte testovací prompty pro funkce a integrace
Kvalita auditu závisí na tom, jak přesně se ptáte. Prompt musí být konkrétní, ale formulovaný tak, jak by se ptal reálný buyer. Obecné dotazy vracejí obecné odpovědi, ve kterých se chybná atribuce snadno skryje.
Kategorie promptů:
- Integrace: „Jaké integrace nabízí [produkt] s [konkrétní nástroj]?"
- Certifikace: „Má [produkt] certifikaci SOC 2 nebo ISO 27001?"
- Cenové hladiny: „Jaké jsou cenové hladiny [produktu] a co obsahují?"
- Konkrétní funkce: „Podporuje [produkt] [konkrétní funkce]?"
- Srovnání: „Jak se [produkt] liší od [alternativa] v oblasti [funkce]?"
Vzorové prompty:
Postup záznamu:
- Spusťte každý prompt ve všech pěti modelech: ChatGPT, Gemini, Claude, Grok a Google AI.
- Zaznamenejte přesné znění odpovědi, nikoli její shrnutí.
- Zapište datum a čas spuštění.
- Uložte citace a zdroje, které model uvedl.
- Označte, zda model odpověděl, nebo přiznal neznalost.
Odpovědi LLM nejsou statické. Stejný prompt vrací v čase různé výsledky podle toho, jak se mění zdroje a jak se model aktualizuje. Proto je nutné baseline opakovat po 7–14 dnech a sledovat, zda se chybná tvrzení objevují konzistentně, nebo jde o jednorázový výkyv.
Krok 2 – Namapujte zdroje chybných atribucí
Chybná atribuce má vždy zdroj. Dokud ho nenajdete, opravíte jen projev, ne příčinu. Mezi hlavní příčiny patří:
Zdroj chyby → typický projev → náprava
Krok 3 – Nastavte monitoring a re-audit
Audit je proces, ne projekt. Odpovědi modelů se mění s každým release produktu, s každou změnou cen a s každou aktualizací zdrojů. Bez kontinuálního monitoringu se chybná atribuce vrátí.
Doporučená frekvence:
Nejčastější chyby a jak je opravit
1. Audit jednou bez re-auditu. Odpovědi modelů nejsou statické. Náprava: nastavte re-audit po každém release a kvartálně kompletní kontrolu.
3. Ignorování recenzních profilů. Recenze jsou pro modely trust layer. Náprava: udržujte profily aktuální a doplňte kategorie a funkce.
5. Záměna s konkurentem. Podobná kategorizace vede k přenosu funkcí. Náprava: zvýrazněte odlišnosti ve strukturovaných datech a featureList.
6. Spoléhání na reasoning modely. Reasoning modely mají vyšší míru halucinací u grounded úloh. Náprava: ověřujte jejich tvrzení proti dokumentaci, ne proti tónu odpovědi.
7. Chybějící metrika. Bez feature accuracy nelze prokázat posun. Náprava: zaveďte scorecard a počítejte metriku při každém auditu.
Semly zpřístupňuje odpovědi AI a zdroje. Správnost funkcí a integrací ověřuje člověk, který produkt zná.
