Jak změnit sadu otázek v monitoringu AI a zachovat srovnatelnost výsledků

Zdroje

• Atil et al., arXiv 2408.04667 – Nedeterminismus „deterministických“ nastavení LLM

  Studie ukazuje, že i při temperature=0 se výstupy modelů liší. U pěti modelů a osmi úloh naměřila rozdíly v přesnosti až 15 % mezi běhy a rozpětí best-vs-worst až 70 %.

• Chen, Zaharia, Zou, arXiv 2307.09009 – Jak se chování ChatGPT mění v čase

  Analýza behaviorálního driftu stejné služby v čase. GPT-4 měl v březnu 2023 přesnost 84 % v identifikaci prvočísel, verze z června 2023 už jen 51 %.

• Kumar & Palkhouski, arXiv 2509.10762 (GEO-16)

  Metodický rámec pro měření viditelnosti v AI. Pracuje se 70 záměrově zaměřenými prompty napříč 16 vertikálami B2B SaaS a 1 702 citacemi z 1 100 unikátních URL.

• Shyr et al., PMC12637745 – Statistický rámec opakovatelnosti a reprodukovatelnosti

  Definuje opakovatelnost a reprodukovatelnost výstupů LLM v sémantické a interní dimenzi. Pracuje se 100 běhy na kombinaci prompt–případ–model, celkem 912 000 generací.

• Semly Help Center – Jak funguje AI monitoring v Semly

  Popis pětikrokového workflow monitoringu, definice promptu jako přirozené otázky vyjadřující záměr uživatele a informace o generování reportů viditelnosti každých 24 hodin.

• Semly Help Center – Jak vytvářet prompty a témata

  Pravidla pro tvorbu promptů, příklady slabého a dobrého promptu, seskupování do témat a doporučení, kdy prompty aktualizovat.

• Semly Help Center – Klíčové ukazatele

  Definice metrik Viditelnost, Share of Voice, Pozice, Sentiment, Funnel a Zdroje včetně vzorců a interpretace.

• Semly Help Center – Jak číst report viditelnosti

  Doporučení hodnotit trend v čase místo jednoho dne, pracovat s filtry a číst report systematicky.

• Semly Help Center – Jak přidat konkurenci

  Popis přidávání konkurence přes URL domény, limit až 10 konkurentů v každém plánu a doporučený startovní počet přímých konkurentů.

• Semly Help Center – Jaké jsou zdroje odpovědí AI

  Rozlišení vlastních a externích zdrojů, definice Source SOV a upozornění, že zdroj nemusí vždy znamenat přímou citaci.

• Semly Blog – GEO pro WordPress

  Doporučení pro srovnatelnost výsledků: používat podobnou sadu otázek a podmínek, zaznamenávat datum, jazyk, platformu, identifikátor modelu a použití vyhledávání, a oddělovat zmínku, doporučení, citaci a návštěvu.

• Semly Changelog – Témata: seskupování promptů a reportování

  Představení témat jako seskupení promptů do logických celků a reportování na úrovni segmentů místo jednotlivých dotazů.

• Semly Changelog – Nová zpráva o viditelnosti v Semly

  Popis reportu se srovnáním s předchozím obdobím, filtrováním podle modelů a témat, distribucí pozic a metrikou AI Growth Score.

• Semly Changelog – Export dat z Visibility Report do CSV a XLSX

  Informace o exportu reportu do CSV a XLSX včetně samostatných listů a kompletního raw datasetu.

• Semly – Podmínky používání platformy

  Omezení služby na podnikatelské subjekty, informace o absenci záruky konkrétních výsledků a viditelnosti a orientační doba indexace v řádu týdnů až měsíců.