Duch Stron cz.5 – robots.txt
robots.txt to jeden z najstarszych standardów internetu — istnieje od 1994 roku, a od kilku lat jest formalnie opisany jako RFC 9309. W przeciwieństwie do modnego ostatnio llms.txt, o którym pisaliśmy bez mitologii, robots.txt naprawdę jest respektowany przez...