llms.txt a ako sprístupniť web pre AI

Autor Marek Fodor4 min čítania

Jazykové modely dnes čítajú weby, aby odpovedali na otázky ľudí. Problém je, že bežná webová stránka je pre stroj neprehľadná: navigácia, reklamy, cookie lišty, pätičky a skripty tvoria väčšinu HTML, zatiaľ čo skutočný obsah sa v tom stráca. Model musí uhádnuť, čo je dôležité.

Návrh llms.txt na to reaguje jednoducho. Je to jeden Markdown súbor v koreni vašej domény, ktorý ponúka čistú, zostavenú mapu najdôležitejšieho obsahu. Žiadny šum, žiadny layout, len odkazy a krátke popisy. V tomto článku vysvetlíme, čo to je, ako sa líši od robots.txt a sitemap.xml, ako ho napísať a prečo je zdravé zostať pri tom triezvy.

Čo je llms.txt

llms.txt je komunitný návrh formátu, nie oficiálny štandard. Myšlienka je, že súbor umiestnite na https://vasadomena.sk/llms.txt a napíšete ho v obyčajnom Markdowne, ktorý model prečíta priamo, bez parsovania HTML.

  • Kurátorská mapa, nie kompletný zoznam. Vyberiete stránky, ktoré naozaj chcete, aby model poznal: produkty, dokumentáciu, kľúčové články.
  • Krátke popisy. Ku každému odkazu pridáte jednu vetu, ktorá strojom aj ľuďom povie, čo na stránke nájdu.
  • Čitateľné pre človeka aj model. Keďže je to Markdown, otvoríte ho v prehliadači a hneď vidíte, čo obsahuje.

Cieľom nie je nahradiť váš web. Je to skratka, ktorá modelu ušetrí prácu a zníži šancu, že si domyslí niečo nepresné. Predstavte si to ako rozcestník, ktorý postavíte na vhodnom mieste: neopakuje celý web, len ukáže smer k tomu, čo je naozaj dôležité, a povie o tom jednu jasnú vetu.

Ako sa líši od robots.txt a sitemap.xml

Tieto tri súbory sa ľahko zamieňajú, no každý rieši iný problém. Nie sú konkurencia, dopĺňajú sa.

  • robots.txt hovorí crawlerom, kam smú a kam nie. Je to zoznam pravidiel prístupu, nie obsah.
  • sitemap.xml vymenúva všetky URL adresy pre vyhľadávače. Je úplný, strojovo čitateľný a neselektívny: chce pokryť celý web.
  • llms.txt je opak sitemap v duchu. Je zámerne malý a zostavený. Nechce vymenovať všetko, chce ukázať to podstatné a dať tomu kontext v prirodzenom jazyku.

Inak povedané: robots.txt je vrátnik, sitemap.xml je katalóg a llms.txt je krátky sprievodca napísaný pre čitateľa, ktorý sa ponáhľa. Sitemap odpovedá na otázku, kde všade sa niečo nachádza. llms.txt odpovedá na otázku, čo by ste si mali prečítať najskôr. Tieto dva pohľady sa nevylučujú, pokojne môžete mať na webe oba súbory naraz.

Ako napísať llms.txt

Formát je zámerne voľný. Začnite nadpisom s názvom projektu, pridajte krátky odsek o tom, čo robíte, a potom sekcie s odkazmi. Malý príklad:

# Vyxos

> Slovenské softvérové štúdio, ktoré stavia jednoduchý softvér na mieru.

## Základ
- [Služby](https://vyxos.eu/sk/sluzby): čo staviame a pre koho.
- [O nás](https://vyxos.eu/sk/o-nas): kto sme a ako pracujeme.

## Blog
- [Prečo staviame jednoduchý softvér](https://vyxos.eu/sk/blog/preco-staviame-jednoduchy-softver): náš pohľad na zložitosť.

## Kontakt
- [Napíšte nám](https://vyxos.eu/sk/kontakt): ako začať spoluprácu.

Držte sa pár zásad. Odkazujte na stránky, ktoré chcete, aby model citoval. Píšte popisy vecne, bez marketingových fráz. Súbor udržiavajte krátky a aktuálny, inak sa z výhody stane ďalší zdroj nepresností. Ak máte rozsiahlu dokumentáciu, návrh pripúšťa aj verziu, kde jednotlivé stránky ponúkate ako čistý Markdown.

Súčasný stav: návrh, nie záruka

Tu je namieste úprimnosť. llms.txt je návrh z konca roka 2024, ktorý si získal pozornosť, ale zatiaľ nie je univerzálnym štandardom. Neexistuje záruka, že ho veľkí prevádzkovatelia modelov budú čítať, a jeho budúcnosť nie je istá.

  • Adopcia je v ranej fáze. Súbor prijala časť komunity, no plošná podpora naprieč modelmi nie je potvrdená.
  • Nie je to náhrada za dobrý web. Ak model súbor ignoruje, spadne späť na váš bežný obsah. Preto musí byť v poriadku ten.
  • Riziko je nízke. Napísať jeden Markdown súbor stojí pár minút a nič nerozbije. Ak sa formát ujme, ste pripravení. Ak nie, veľa ste nestratili.

Náš postoj: llms.txt je lacný experiment s obmedzeným rizikom, nie povinnosť. Pridajte ho, ak vám to dáva zmysel, ale nestavajte naň stratégiu. Sledujte, ako sa formát vyvíja, a súbor priebežne aktualizujte podľa toho, čo na webe pribudne. Ak by ste ho mali nechať roky zastarať, radšej ho nemajte vôbec.

Širší princíp: web, ktorý sa dá prečítať

llms.txt je len jeden nástroj v širšej myšlienke. Weby, ktoré modely aj vyhľadávače spracujú dobre, sú tie, ktoré sú čitateľné už zo svojej podstaty. To platilo dávno pred príchodom AI a platí to aj naďalej.

  • Čisté HTML. Sémantické značky ako article, nav a h1 až h3 hovoria stroju, čo je čo. Zmätok v div blokoch nehovorí nič.
  • Obsah v HTML, nie skrytý za JavaScriptom. Ak sa text objaví až po spustení skriptu, časť crawlerov ho nemusí vidieť. Dôležitý obsah patrí do stránky rovno.
  • Prístupnosť pomáha aj strojom. Popisy obrázkov, jasná štruktúra nadpisov a zmysluplné odkazy pomáhajú čítačkám pre nevidiacich aj jazykovým modelom naraz. Čo je dobré pre človeka s čítačkou obrazovky, býva dobré aj pre crawler.

Ak chcete ísť hlbšie, prepája sa to s tým, ako vás citujú AI asistenti a ako funguje štruktúrované data a schema v ére AI.

Náš prístup je tu rovnaký ako všade. Uprednostňujeme jednoduché, štandardné a robustné riešenia pred hypom. llms.txt do toho zapadá práve preto, že je malý, čitateľný a ľahko udržiavateľný. Ak sa ujme, budete pripravení. A aj keď nie, web, ktorý je čistý a zrozumiteľný, poslúži ľuďom aj strojom tak či tak.