3. Příklady a konzistentní třídění

Ukaž, co přesně má znamenat výsledek

U některých úkolů nestačí napsat název kategorie. Výrazy „zájem“, „dotaz“ nebo „stížnost“ mohou různí lidé chápat různě. Pokud chceš třídit zprávy podle vlastních pravidel, nejdřív tato pravidla definuj. Pak můžeš přidat několik ukázek vstupu a správného výstupu. Model tak uvidí, jak pravidlo uplatňuješ v praxi.

Zadání bez ukázkového vyřešení se běžně označuje jako zero-shot. Jedna ukázka znamená one-shot a několik ukázek few-shot. V této lekci jsou příklady součástí aktuálního zadání. Neprovádíš tím nové trénování parametrů modelu ani nezajišťuješ, že si je zapamatuje pro jiné konverzace. Získáváš způsob, jak popsat konkrétní úlohu.

Vyzkoušíme si fiktivní zprávy do studijního prostoru. Kategorie budou ORGANIZACE pro čas a místo, OBSAH pro otázku k látce a NEJASNÉ pro zprávu, která nejde spolehlivě zařadit. Místo vynuceného rozhodnutí ponechává třetí kategorie možnost nejistoty. Předem rozhodni také, co má mít přednost, když zpráva obsahuje několik různých témat.

Dobré příklady pokrývají rozdíly, které chceš model naučit rozpoznávat. Tři téměř stejné zprávy o termínu nepomohou vysvětlit hranici mezi organizačním a obsahovým dotazem. Přidej běžný případ, hraniční případ a situaci s chybějícím kontextem. U každého musí být správný štítek skutečně v souladu s pravidlem.

Vlastní příklady pro zadání

Zařaď zprávu do ORGANIZACE, OBSAH nebo NEJASNÉ.
ORGANIZACE: čas, místo, dostupnost setkání.
OBSAH: otázka k probírané látce.
NEJASNÉ: nedostatek kontextu nebo nerozlišitelná kombinace témat.
„Kdy začíná další setkání?“ → ORGANIZACE
„Jaký je rozdíl mezi trénováním a použitím modelu?“ → OBSAH
„Tohle mi nesedí.“ → NEJASNÉ
Nová zpráva: „Jak se používá validační sada?“
Vrať štítek a jednu větu s důvodem podle pravidel.

U nové zprávy očekáváme OBSAH. Je to ale jen snadný případ. Zpráva „Nemůžu přijít a nerozumím poslednímu tématu“ potřebuje rozhodnutí o více tématech. Pokud pravidlo říká NEJASNÉ pro nerozlišitelnou kombinaci, nesmíš správnou odpověď později svévolně změnit jen proto, že model vybral jinou kategorii.

Cvičení: vlastní malá zkušební sada

1. Napiš devět nových fiktivních zpráv: tři jasné organizační, tři obsahové a tři nejasné.
2. Ke každé si bez AI napiš očekávanou kategorii. Pravidla případně uprav tak, aby byla rozhodnutí obhajitelná.
3. Porovnej zadání obsahující pouze pravidla se zadáním doplněným o tři vzorové příklady.
4. Spočítej shody s předem připravenými štítky. Zvlášť zaznamenej, zda model správně používá NEJASNÉ.

Ukázkové příklady a nové testovací zprávy drž oddělené. Pokud testuješ na stejných větách, které jsi předložila jako vzory, ověřuješ hlavně jejich zopakování. Potřebuješ zjistit, zda postup funguje i na nových formulacích. Jeden malý test však ještě neprokazuje výkon v reálném provozu.

Na závěr oprav jednu chybu ve svých pravidlech nebo příkladech a test zopakuj. Nepřidávej bez rozmyslu desítky ukázek. Cílem je vysvětlit rozhodovací hranice a měřit jejich použití. Schopnost přiznat nejasnost je v mnoha praktických úlohách cennější než stoprocentní vyplnění všech řádků libovolným štítkem.