home *** CD-ROM | disk | FTP | other *** search
/ ftp.kfunigraz.ac.at / 2014.06.ftp.kfunigraz.ac.at.tar / ftp.kfunigraz.ac.at / robots.txt next >
Text File  |  2010-01-27  |  665b  |  37 lines
  1. User-agent: Slurp Scooter Googlebot MSNBot MSNBot-Media MSNBot-NewsBlogs MSNBot-Products MSNBot-Academic
  2. Disallow: /
  3.  
  4. User-agent: Mozilla/5.0 (Slurp/cat; slurp@inktomi.com; http://www.inktomi.com/slurp.html)
  5. Disallow: /
  6.  
  7. User-agent: TurnitinBot/1.4 http://www.turnitin.com/robot/crawlerinfo.html
  8. Disallow: /
  9.  
  10. User-agent: TurnitinBot
  11. Disallow: / 
  12.  
  13. User-agent: bumblebee/1.0 (bumblebee@relevare.com; http://www.relevare.com/)
  14. Disallow: /
  15.  
  16. User-agent: psbot
  17. Disallow: /
  18.  
  19. User-agent: fast
  20. Disallow: /
  21.  
  22. User-agent: ZyBorg
  23. Disallow: /
  24.  
  25. User-agent: ia_archiver
  26. Disallow: /
  27.  
  28. User-agent: mirago
  29. Disallow: /
  30.  
  31. User-agent: Mirago
  32. Disallow: /
  33.  
  34. User-Agent: Mercator
  35. Disallow: /
  36.  
  37.