RAG (z anglického retrieval-augmented generation) je postup, při kterém AI chatbot před každou odpovědí nejdřív vyhledá ve vašich podkladech pasáže, které se týkají dotazu, předá je jazykovému modelu a ten z nich napíše odpověď. Chatbot tak neodpovídá „z hlavy“, ale z vašeho webu, ceníku a dokumentů. Ví o vaší firmě to, co mu dáte, a odpovědi ovlivníte tím, že upravíte podklady.
Pojem zní technicky, princip je ale jednoduchý. Vysvětlím ho bez programátorské hantýrky, ukážu ho na příkladu z webu malé firmy a na konci najdete otázky, které se vyplatí položit každému dodavateli chatbota. Píšu z pohledu člověka, který chatbota postaveného na RAG vyvíjí.
Co znamená zkratka RAG? Vyhledat, doplnit, odpovědět
Zkratka RAG znamená retrieval-augmented generation, volně přeloženo „generování odpovědi doplněné o vyhledávání“. Každé ze tří slov popisuje jeden krok:
- Retrieval (vyhledání): systém najde v podkladech pasáže, které se týkají otázky.
- Augmented (doplněné): nalezené pasáže se přidají k otázce, kterou dostane jazykový model.
- Generation (vytvoření): model z otázky a pasáží napíše odpověď běžnou řečí.
Jazykový model je program, který umí číst a psát text. Na stejném principu stojí i ChatGPT. Sám od sebe o vaší firmě nic spolehlivého neví. RAG je způsob, jak mu ve správnou chvíli podat správné informace. Pokud vás zajímá, co je chatbot obecně a jaké typy existují, začněte článkem co je chatbot.
Ustálený český překlad se nevžil, i v češtině se píše RAG. V nabídkách nástrojů ho potkáte i pod popisy jako „chatbot s vlastními daty“ nebo „chatbot z dokumentů“. Většinou jde o totéž.
Jak si RAG představit? Jako zkoušku s otevřenou knihou
RAG nejlíp vystihuje rozdíl mezi dvěma druhy zkoušek.
Bez RAG odpovídá jazykový model jako student u zkoušky nazpaměť. Spoléhá na to, co si zapamatoval z obrovského množství textů. Obecné věci ví dobře, ale váš ceník, otevírací dobu ani podmínky reklamace si zapamatovat nemohl. Nikdy je neviděl.
S RAG jde o zkoušku s otevřenou knihou. Než student odpoví, nalistuje v učebnici kapitolu, která se otázky týká, a odpověď postaví na ní. Učebnicí jsou vaše podklady. Dobrá odpověď pak nezávisí na tom, co si model pamatuje, ale na tom, jestli správnou stránku najde a jestli je na ní správná informace.
Přirovnání má i druhou polovinu, na kterou se rádo zapomíná: když v učebnici kapitola chybí nebo je v ní chyba, nepomůže ani otevřená kniha. K tomu se ještě dostaneme.
Jak RAG funguje krok za krokem? Jednou příprava, pak tři kroky u každého dotazu
RAG má jednu přípravnou fázi, která proběhne při nahrání podkladů, a tři kroky, které se opakují u každé otázky návštěvníka.
Příprava podkladů (jednou). Systém načte váš web, PDF nebo vlastní texty a rozdělí je na menší části, zhruba po odstavcích. Každou část uloží tak, aby šla později najít podle významu, ne jen podle shodných slov. Odborně se tomu říká embedding: text se převede na řadu čísel, která zachycuje jeho význam. Úložišti takto zpracovaných částí se říká vektorová databáze. Víc z techniky vědět nepotřebujete.
U každého dotazu pak proběhnou tři kroky:
- Vyhledání. Návštěvník napíše „v kolik v sobotu zavíráte?“. Systém v připravených částech najde ty, které se k otázce významově hodí, třeba odstavec s otevírací dobou. Najde ho zpravidla i tehdy, když je v něm jen „So 8–12“ a slovo „zavíráte“ tam vůbec není.
- Doplnění kontextu. Nalezené části se vloží k otázce spolu s instrukcemi, jak má bot odpovídat: jakým tónem, jak dlouze a co dělat, když odpověď v podkladech není. Tomuto balíku textu, se kterým model při odpovídání pracuje, se říká kontext.
- Odpověď. Jazykový model si přečte otázku, nalezené pasáže i instrukce a napíše odpověď: „V sobotu máme otevřeno od 8 do 12 hodin.“
Celé se to obvykle odehraje během několika sekund a návštěvník z toho vidí jen výsledek.
Jak RAG vypadá na webu malé firmy? Otázka na cenu, odpověď z ceníku
Představte si instalatérskou firmu, která má na webu stránku se službami, ceník v PDF a stránku o tom, kam jezdí. V neděli večer jí přes chat na webu napíše zákazník: „Kolik stojí výměna baterie u umyvadla a jezdíte i do Berouna?“
Chatbot s RAG postupuje takhle (částky jsou zástupné, příklad je smyšlený):
| Krok | Co se děje | V příkladu |
|---|---|---|
| Vyhledání | najde pasáže, které se týkají otázky | řádek ceníku „Výměna baterie (umyvadlo, dřez): X Kč“ a odstavec o oblasti, kam firma jezdí, ve kterém je Beroun |
| Doplnění kontextu | pasáže a instrukce dostane jazykový model | „Vykej, odpovídej stručně, ceny ber jen z ceníku, na konci nabídni termín.“ |
| Odpověď | model z toho napíše odpověď | „Výměna baterie u umyvadla stojí podle ceníku X Kč, dopravu účtujeme zvlášť. Do Berouna jezdíme. Mám vám předat dotaz na termín?“ |
A teď varianta, kterou si vyzkoušejte u každého chatbota. Zákazník se zeptá „Děláte i o víkendu?“ a v podkladech o víkendech nic není. Vyhledávání nenajde nic, o co by se model mohl opřít. Dobře nastavený bot přizná, že tuhle informaci nemá, a nabídne kontakt. Špatně nastavený odpoví odhadem. Kterou cestou se bot vydá, nerozhoduje RAG sám o sobě, ale instrukce a podklady.
Čím se RAG liší od trénování modelu a od ChatGPT? Tím, odkud AI bere fakta
Majitelé firem se často ptají, jestli by nebylo lepší chatbota „vytrénovat“ na firemních datech, nebo jestli nestačí ChatGPT. Jde o tři různé přístupy:
| Obecný ChatGPT (bez vašich podkladů a bez vyhledávání na webu) | Dotrénovaný model (fine-tuning) | RAG | |
|---|---|---|---|
| Odkud bere fakta o firmě | z toho, co se naučil z veřejných textů | z dat, na kterých byl dotrénovaný, jsou „zapečená“ v modelu | z podkladů, které vyhledá u každého dotazu |
| Zná váš aktuální ceník | ne | jen ve stavu z doby trénování | ano, pokud je ceník v podkladech aktuální |
| Když se něco změní | nejde ovlivnit | model se musí trénovat znovu | vyměníte nebo upravíte podklad |
| Co je potřeba | nic, ale o firmě neví nic spolehlivého | připravená data, odborník, výpočetní výkon | nahrát podklady a otestovat |
| Na co se hodí | obecné otázky, pomoc s texty pro vás | styl, formát, specializované úlohy | odpovědi o konkrétní firmě |
| Dá se dohledat, z čeho odpověď vychází | ne | ne | v principu ano, odpověď stojí na nalezených pasážích |
Dotrénování mění samotný model. Naučí ho psát určitým stylem nebo zvládat specializovaný typ úlohy. Na fakta, která se mění, se hodí špatně: každá změna ceny by znamenala trénovat znovu a model si naučená fakta stejně nepamatuje doslova. Pro odpovídání o konkrétní firmě se proto hodí spíš RAG, kde stačí vyměnit podklad.
A ChatGPT? O vaší firmě sám nic spolehlivého neví. Když mu nahrajete vlastní soubory, umí z nich čerpat, ale pořád je to nástroj pro vás, ne okno pro zákazníky na vašem webu. Rozdílu se podrobně věnuje článek ChatGPT pro firmy, nebo chatbot na webu.
Proč RAG omezuje vymýšlení, ale nespasí špatné podklady? Co do něj dáte, to z něj dostanete
RAG výrazně zmenšuje prostor pro vymýšlení, protože model má odpověď před sebou a nemusí ji lovit v paměti. Proč si jazykové modely vůbec vymýšlejí a jak se tomu brání, rozebírám v článku proč chatboty vymýšlí. Tady to opakovat nebudu.
Důležitější je, kde RAG končí. Chyby chatbotů postavených na RAG mívají čtyři typické příčiny:
- Informace v podkladech chybí. Vyhledávání nemá co najít. Bot buď přizná, že neví, nebo, pokud mu to instrukce nezakazují, improvizuje.
- Podklady si odporují. Na webu je nový ceník, v PDF starý. Vyhledávání může najít oba a model nepozná, který platí.
- Informace je schovaná. Cena jen v obrázku, podmínky rozházené po třech stránkách, tabulka, které bez okolního textu nejde rozumět. Co systém nepřečte nebo nenajde, to nepoužije.
- Otázka potřebuje úsudek. „Vyplatí se mi spíš varianta A, nebo B?“ RAG najde fakta, ale rozhodnutí za vás neudělá. A neměl by.
Pravidlo z toho plyne jednoduché: kvalitu odpovědí určují podklady. Než chatbota spustíte, projděte web očima zákazníka a doplňte, co chybí. Co do podkladů patří a jak je připravit, popisuji v článku co do znalostní báze patří a jak ji připravit.
Ceny, otevírací dobu a podmínky mějte na webu jako běžný text, ne jen v obrázku nebo grafice. Text chatbot přečte spolehlivě, obrázek často vůbec.
Na co se ptát dodavatele chatbota? Sedm otázek, které odhalí slabá místa
Zkratka RAG v nabídce sama nic nezaručuje. Rozdíly jsou v detailech a na ty se vyplatí zeptat:
- Odpovídá bot jen z mých podkladů, nebo smí přidávat obecné znalosti?
- Jaké podklady umí načíst (web, PDF, vlastní texty, otázky a odpovědi) a kolik jich?
- Jak se podklady aktualizují, když změním ceník: automaticky, ručně, nebo vůbec?
- Co bot udělá, když odpověď v podkladech nenajde, a můžu to nastavit?
- Můžu si odpovědi vyzkoušet před spuštěním a počítá se testování do limitu?
- Trénuje se nějaký model na mých datech? Kde se data ukládají a kdo dotazy zpracovává?
- Jak zjistím, že bot odpověděl špatně, a jak to opravím?
Poctivý dodavatel odpoví na všechno konkrétně. Pokud na čtvrtou otázku slyšíte „náš bot se nemýlí“, je to důvod zbystřit.
Jak je to v Odpoviu? Odpovědi z vašeho webu a dokumentů
Odpovio je chatbot postavený na tomhle principu. Když zákazník položí otázku, Odpovio nejdřív hledá relevantní informace ve vašich podkladech a z toho, co najde, sestaví odpověď v tónu, který jste nastavili. Na otázky z předchozí sekce odpovídám takhle:
- Podklady: web (jedna stránka, nebo celý web), PDF a textové soubory do 10 MB, vlastní texty a otázky s odpověďmi. Odpovio z nich vezme text, rozdělí ho na části a uloží do znalostní báze. Rozsah podle plánu: Starter až 10 zdrojů a 50 stránek webu, Plus až 200 zdrojů a 300 stránek, Pro až 1 000 zdrojů a 1 000 stránek.
- Aktualizace: web a dokumenty se načtou jednou při přidání. Když změníte ceník, starý zdroj smažete a přidáte ho znovu. Vlastní texty a otázky s odpověďmi upravíte kdykoli přímo v aplikaci.
- Když odpověď nenajde: jak se má zachovat, nastavíte sami, například přiznat, že informaci nemá, a nabídnout kontakt. Návštěvník může požádat o člověka: dotaz vám přijde e-mailem, od plánu Plus můžete rozhovor převzít i v živém chatu.
- Pravidla: pravidla, která má bot dodržovat, napíšete běžnou češtinou, třeba „neslibuj slevy“ nebo „nepotvrzuj termíny“.
- Testování: v testovacím chatu v aplikaci se zeptáte jako zákazník. Jeho zprávy nečerpají limit.
- Data: data ukládáme v EU (Railway), odpovědi generuje OpenAI API, které data zpracovává i v USA a netrénuje na nich.
- Kontrola: v aplikaci vidíte historii konverzací s přepisem, hodnocení od návštěvníků a AI shrnutí každého rozhovoru. Jak najít a opravit špatnou odpověď, popisuje návod co dělat, když bot odpovídá špatně.
Celý postup od zadání webu po vložení chatu na stránky najdete na stránce jak Odpovio funguje krok za krokem, všechny funkce v přehledu funkcí Odpovia.
Shrnutí
RAG je způsob, jak AI chatbot odpovídá z vašich podkladů: nejdřív vyhledá, pak doplní kontext, nakonec odpoví. Na rozdíl od obecného ChatGPT ví o vaší firmě to, co mu dáte, a na rozdíl od dotrénovaného modelu ho aktualizujete výměnou podkladu. Kvalitu odpovědí ale pořád určují podklady a instrukce. Při výběru chatbota se proto neptejte jen, jestli používá RAG, ale z čeho odpovídá, jak se aktualizuje a co udělá, když odpověď nenajde.
