robots.txt to jeden z najstarszych standardów internetu — istnieje od 1994 roku, a od kilku lat jest formalnie opisany jako RFC 9309. W przeciwieństwie do modnego ostatnio llms.txt, o którym pisaliśmy bez mitologii, robots.txt naprawdę jest respektowany przez boty, które chcą uchodzić za cywilizowane.
Jest w tym jednak pewien paradoks: robots.txt niczego nie wymusza. To nie zamek, tylko tabliczka „prosimy nie wchodzić". Każdy bot mógłby ją zignorować — technicznie nic nie stoi na przeszkodzie. To, że te uczciwe jej nie ignorują, jest kwestią honoru, nie technologii.
Duch Stron, jak każdy duch, potrafi przenikać przez ściany. Ale przed plikiem tekstowym z napisem Disallow zatrzymuje się i grzecznie zawraca.
Bo w internecie, tak jak wszędzie, cywilizację poznaje się nie po tym, co ktoś może zrobić — tylko po tym, czego nie robi, choć mógłby.
