5. Jak AI pracuje s jazykem a textem

Jeden text, několik různých úloh

Zpracování přirozeného jazyka, často označované NLP, zahrnuje metody pro práci s lidským jazykem. Úloha může být rozpoznat téma, získat datum z věty, přeložit text nebo vytvořit shrnutí. Tyto činnosti nejsou totožné. Přesné získání údajů vyžaduje jiná kontrolní kritéria než návrh několika kreativních nadpisů.

Počítač zpracovává číselné reprezentace textu. Jazykové modely často rozdělují vstup do tokenů, které mohou odpovídat celým slovům, částem slov nebo jiným jednotkám. Token proto není automaticky jedno české slovo. Způsob dělení závisí na konkrétním modelu a jeho tokenizeru. Bez znalosti tohoto způsobu není vhodné slibovat přesný počet tokenů z počtu slov.

Význam věty závisí na souvislostech. „To se povedlo“ může být pochvala i ironická poznámka. Samotná slova nemusí stačit k rozpoznání záměru. Model může využívat okolní text, ale jeho odhad nemusí být správný. Při třídění nálady nebo záměru potřebuješ možnost označit nejistotu místo přisuzování jednoho vysvětlení každé zprávě.

U extrakce chceš přenést konkrétní údaj bez změny významu. U shrnutí vybíráš, co je důležité, a něco vynecháváš. Proto je shrnutí citlivé na ztrátu podmínek a výjimek. Pokud text uvádí dva možné termíny, ale žádný definitivní, nesmí se jeden z návrhů proměnit v potvrzený termín jen proto, že potřebuješ krátkou větu.

Vlastní fiktivní podklad

„Uvažujeme o setkání 12. nebo 19. ledna. Místem by mohl být Klub Sever, ale zatím nemáme potvrzenou rezervaci. Program má obsahovat práci s argumenty a kontrolu AI shrnutí. Konečné údaje zveřejníme později.“ Z tohoto textu lze získat dvě navrhovaná data a dvě témata. Nelze získat jediný potvrzený termín ani jisté místo.

Z dodaného textu odděleně vypiš:
1. návrhy termínů;
2. potvrzený termín, pokud existuje;
3. zamýšlené místo a stav potvrzení;
4. témata programu.
Chybějící potvrzení označ výslovně.
Pak napiš shrnutí do 35 slov zachovávající tuto nejistotu.

Všimni si rozdílu mezi informací a jejím stavem. Hodnota datum může být skutečně přítomná, přesto není termín schválený. Užitečný výstup proto nese nejen text údaje, ale také to, jak je v podkladu formulovaný. Podobně návrh ceny není totéž jako konečný ceník a možnost účasti není totéž jako potvrzená registrace.

Cvičení: porovnej tři výstupy

1. Z fiktivního podkladu ručně vypiš data, místo a témata. Ke každému napiš jeho stav.
2. Vytvoř vlastní krátké shrnutí. Zkontroluj, že zachovává dvě alternativy termínu a nepotvrzené místo.
3. Pokud máš AI nástroj, požádej o extrakci a shrnutí pomocí uvedeného zadání.
4. Porovnej výsledky po jednotlivých tvrzeních. Označ vynechanou výjimku nebo nově doplněnou jistotu.

Není nutné hodnotit jeden text jako úplně dobrý či špatný. Může dobře zachovat témata a zároveň chybovat v termínu. Tento rozklad ti ukáže, kterou část postupu upravit. V praktické práci je často účinnější kontrolovat několik důležitých polí než čekat, že celkový dojem z odstavce odhalí drobnou změnu významu.

Dovednost této lekce spočívá v přesném vymezení jazykového úkolu. Dokážeš oddělit třídění, získání údajů a shrnutí a pro každý zvolit vhodnou kontrolu. Zároveň počítáš s tím, že text může být nejednoznačný. Tím se vyhneš zaměnění dobře napsané odpovědi za úplné porozumění autorovu záměru.