12.6. Roboty

Należy pogodzić się z istnieniem rozmaitych robotów w pajęczynie ;-). To dzięki nim można przeszukiwać pajęczynę, to dzięki nim możliwe jest tworzenie zindywidualizowanych usług dostarczających informacje, a nie dane, wreszcie sprawdzanie poprawności powiązań pomiędzy dokumentami. A to, że czasem mają ochotę ściągnąć dynamicznie tworzone strony, albo rozmaite nie przeznaczone do tego zasoby (jak na przykład nieopatrznie ,,odsłonięty'' katalog z wszystkimi RFC?) Jest na to rada. Już w początkach WWW (czyli w lipcu 1994 r. ;-) została opracowana nieformalna specyfikacja for Robot Exclusion do które stosują się wszystkie ,,przyzwoite'' roboty. Opiera się on na sprawdzeniu przez robota istnienia pliku /robots.txt zawierającego polecenia:

Poza tym istnieją (jeszcze niezbyt powszechnie uznane) zaklęcia <META takie jak np <META name="robots" CONTENT="NOINDEX">

Patrz też:.