home *** CD-ROM | disk | FTP | other *** search
/ Magazyn WWW 1998 October / www_10_1998.iso / poland / ilw / chdrp / robots.txt < prev    next >
Text File  |  1998-05-14  |  390b  |  16 lines
  1. # robots.txt for http://www.chdrp.org.pl/
  2.  
  3. User-agent: *
  4. Disallow: /temp/
  5. Disallow: /.admin/
  6. Disallow: /forum/
  7.  
  8. # This example "/robots.txt" file specifies that no robots should visit any URL starting with
  9.  
  10. # Disallow: /cyberworld/map/ # This is an infinite virtual URL space
  11.  
  12. # This example indicates that no robots should visit this site further: 
  13. # go away
  14. # User-agent: *
  15. # Disallow: /
  16.