pl.comp.www FAQ | ||||
---|---|---|---|---|
Następny | Następny rozdział | Rozdział 12. Serwery | Poprzedni rozdział | Poprzedni |
Należy pogodzić się z istnieniem rozmaitych robotów w pajęczynie ;-). To dzięki nim można przeszukiwać pajęczynę, to dzięki nim możliwe jest tworzenie zindywidualizowanych usług dostarczających informacje, a nie dane, wreszcie sprawdzanie poprawności powiązań pomiędzy dokumentami. A to, że czasem mają ochotę ściągnąć dynamicznie tworzone strony, albo rozmaite nie przeznaczone do tego zasoby (jak na przykład nieopatrznie ,,odsłonięty'' katalog z wszystkimi RFC?) Jest na to rada. Już w początkach WWW (czyli w lipcu 1994 r. ;-) została opracowana nieformalna specyfikacja for Robot Exclusion do które stosują się wszystkie ,,przyzwoite'' roboty. Opiera się on na sprawdzeniu przez robota istnienia pliku /robots.txt zawierającego polecenia:
Patrz też:.
Następny | Spis treści | Poprzedni |
Wirtualny serwer | Początek rozdziału | Zagadnienia specyficzne dla poszczególnych serwerów |