home *** CD-ROM | disk | FTP | other *** search
/ linuxmafia.com 2016 / linuxmafia.com.tar / linuxmafia.com / robots.txt < prev    next >
Text File  |  2014-04-25  |  436b  |  27 lines
  1. User-agent: *
  2. disallow: /lg/
  3.  
  4. # 3k of 7.7k bot hits from Ahrefs today
  5. # 13k of 50k over longer period
  6. # https://ahrefs.com/robot/
  7. # arguably more useful, just too active
  8.  
  9. User-agent: AhrefsBot
  10. disallow: /
  11.  
  12. # bad bot, go away
  13. # http://graphicline.co.za/blogs/what-is-ezooms-bot
  14. # 7k hits out of 50k bot hits
  15.  
  16. User-agent: Ezooms
  17. disallow: /
  18.  
  19. User-agent: MJ12bot
  20. Disallow: /
  21.  
  22. User-agent: BLEXBot
  23. Disallow: /
  24.  
  25. User-agent: psbot
  26. Disallow: /
  27.