home *** CD-ROM | disk | FTP | other *** search
/ ftp.f-secure.com / 2014.06.ftp.f-secure.com.tar / ftp.f-secure.com / support / hotfix / fsis / IS-SpamControl.fsfix / iufssc / rules / 20_uri_tests.cf < prev    next >
Text File  |  2006-11-29  |  10KB  |  216 lines
  1. # SpamAssassin rules file: URI tests
  2. #
  3. # Please don't modify this file as your changes will be overwritten with
  4. # the next update. Use @@LOCAL_RULES_DIR@@/local.cf instead.
  5. # See 'perldoc Mail::SpamAssassin::Conf' for details.
  6. #
  7. # <@LICENSE>
  8. # Copyright 2004 Apache Software Foundation
  9. # 
  10. # Licensed under the Apache License, Version 2.0 (the "License");
  11. # you may not use this file except in compliance with the License.
  12. # You may obtain a copy of the License at
  13. # 
  14. #     http://www.apache.org/licenses/LICENSE-2.0
  15. # 
  16. # Unless required by applicable law or agreed to in writing, software
  17. # distributed under the License is distributed on an "AS IS" BASIS,
  18. # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  19. # See the License for the specific language governing permissions and
  20. # limitations under the License.
  21. # </@LICENSE>
  22. #
  23. ###########################################################################
  24.  
  25. #require_version @@VERSION@@
  26.  
  27. # Redirector URI patterns
  28. redirector_pattern    /^http:\/\/chkpt\.zdnet\.com\/chkpt\/\w+\/(.*)$/i
  29. redirector_pattern    /^http:\/\/www(?:\d+)?\.nate\.com\/r\/\w+\/(.*)$/i
  30. redirector_pattern    /^http:\/\/.+\.gov\/(?:.*\/)?externalLink\.jhtml\?.*url=(.*?)(?:&.*)?$/i
  31. redirector_pattern    /^http:\/\/redir\.internet\.com\/.+?\/.+?\/(.*)$/i
  32. redirector_pattern    /^http:\/\/(?:.*?\.)?adtech\.de\/.*(?:;|\|)link=(.*?)(?:;|$)/i
  33. redirector_pattern    m'^http.*?/redirect\.php\?.*(?<=[?&])goto=(.*?)(?:$|[&\#])'i
  34. redirector_pattern      m'^https?:/*(?:[^/]+\.)?emf\d\.com/r\.cfm.*?&r=(.*)'i
  35.  
  36. # ExpressionEngine redirector
  37. # see http://www.pmachine.com/forums/viewthread/29561/
  38. # e.g. http://www.someEEBasedSite.com/index.php?URL=http://www.NastyPR0nSite.com
  39. # e.g. http://www.pmachine.com/ee/knowledgeblog/?URL=http://www.google.com
  40. redirector_pattern m'/(?:index.php)?\?.*(?<=[?&])URL=(.*?)(?:$|[&\#])'i
  41.  
  42. # Google redirector.
  43. # Common form:
  44. # http://www.google.com/url?sa=U&start=4&q=http://urlofspammer
  45. #       -> http://urlofspammer
  46. # Unhandled form:
  47. # http://www.google.com/url?q=http://urlofspammer/space&q=here
  48. #       -> http://urlofspammer/space%20here
  49. #       Redirector gets http://urlofspammer/space
  50. # http://www.google.com/url?q=http://urlof&q=spammer does not work
  51. redirector_pattern m'^http:/*(?:\w+\.)?google(?:\.\w{2,3}){1,2}/url\?.*?(?<=[?&])q=(.*?)(?:$|[&\#])'i
  52.  
  53. # Google site search
  54. # http://www.google.com/search?q=site:bluevallet.com
  55. #       -> links to http://www.bluevallet.com/
  56. redirector_pattern m'^http:/*(?:\w+\.)?google(?:\.\w{2,3}){1,2}/search\?.*?(?<=[?&])q=[^&]*?(?<=%20|..[=+\s])site:(.*?)(?:$|%20|[\s+&\#])'i
  57.  
  58. # Google search for pages that contain the site name
  59. # http://www.google.com/search?q="bluevallet.com"
  60. # http://www.google.com/search?q=%22bluevallet.com%22
  61. #       -> links to search page that probably has http://bluevallet.com
  62. #          at the top
  63. redirector_pattern m'^http:/*(?:\w+\.)?google(?:\.\w{2,3}){1,2}/search\?.*?(?<=[?&])q=[^&]*?(?<=%20|..[=+\s])(?:"|%22)(.*?)(?:$|%22|["\s+&\#])'i
  64.  
  65. # Google translate
  66. # http://translate.google.com/translate?u=www.domain.tld&langpair=en%7Cen&hl=en
  67. #       -> http://www.domain.tld inside a frame
  68. redirector_pattern m'^http:/*(?:\w+\.)?google(?:\.\w{2,3}){1,2}/translate\?.*?(?<=[?&])u=(.*?)(?:$|[&\#])'i
  69.  
  70.  
  71. uri NUMERIC_HTTP_ADDR        /^https?\:\/\/\d{7}/is
  72. describe NUMERIC_HTTP_ADDR    Uses a numeric IP address in URL
  73.  
  74. uri NORMAL_HTTP_TO_IP        m{^https?://\d+\.\d+\.\d+\.\d+}i
  75. describe NORMAL_HTTP_TO_IP    Uses a dotted-decimal IP address in URL
  76.      
  77. # Theo sez:
  78. # Have gotten FPs off this, and whitespace can't be in the host, so...
  79. # %    Visit my homepage: http://i.like.foo.com %
  80. uri HTTP_ESCAPED_HOST        /^https?\:\/\/[^\/\s]*%[0-9a-fA-F][0-9a-fA-F]/
  81. describe HTTP_ESCAPED_HOST    Uses %-escapes inside a URL's hostname
  82.  
  83. # note: do not match \r or \n
  84. uri HTTP_CTRL_CHARS_HOST    /^https?\:\/\/[^\/\s]*[\x00-\x08\x0b\x0c\x0e-\x1f]/
  85. describe HTTP_CTRL_CHARS_HOST    Uses control sequences inside a URL hostname
  86.  
  87. # look for URI with escaped 0-9, A-Z, or a-z characters (all other safe
  88. # characters have been well-tested, but are sometimes unnecessarily escaped
  89. # in nonspam; requiring "http" or "https" also reduces false positives).
  90. uri HTTP_EXCESSIVE_ESCAPES    /^https?:\/\/\S*%(?:3\d|[46][1-9a-f]|[57][\da])/i
  91. describe HTTP_EXCESSIVE_ESCAPES    Completely unnecessary %-escapes inside a URL
  92.  
  93. # bug 1801
  94. uri IP_LINK_PLUS    m{^https?://\d+\.\d+\.\d+\.\d+.{0,20}(?:cgi|click|ads|id=)}i
  95. describe IP_LINK_PLUS    Dotted-decimal IP address followed by CGI
  96.  
  97. uri REMOVE_PAGE            /^https?:\/\/[^\/]+\/.*?remove/
  98. describe REMOVE_PAGE        URL of page called "remove"
  99.      
  100. uri MAILTO_TO_SPAM_ADDR        /^mailto:[a-z]+\d{2,}\@/is
  101. describe MAILTO_TO_SPAM_ADDR    Includes a link to a likely spammer email
  102.      
  103. uri MAILTO_TO_REMOVE        /^mailto:.*?remove/is
  104. describe MAILTO_TO_REMOVE    Includes a 'remove' email address
  105.  
  106. # allow ports 80 and 443 which are http and https, respectively
  107. # we don't want to hit http://www.cnn.com:USArticle1840@www.liquidshirts.com/
  108. # though, which actually doesn't have a weird port in it.
  109. uri WEIRD_PORT            m{https?://[^/\s]+?:\d+(?<!:80)(?<!:443)(?<!:8080)(?:/|\s|$)}
  110. describe WEIRD_PORT        Uses non-standard port number for HTTP
  111.  
  112. # looks for a (maybe empty) username and (optional) password in an url
  113. uri USERPASS                    m{^https?://[^/\s]*?(?::[^/\s]+?)?\@}
  114. describe USERPASS               URL contains username and (optional) password
  115.  
  116. uri URI_IS_POUND        m{\#$}
  117. describe URI_IS_POUND        Filename is just a '\#'; probably a JS trick
  118.  
  119. uri BARGAIN_URL            /bargain([sz]|-\S+)?\.(?:com|biz)/
  120. describe BARGAIN_URL        Includes a link to a likely spammer domain
  121.  
  122. # these are somewhat loose, but results are good
  123. uri BIZ_TLD              /\.biz(?::\d+)?(?:\/|$)/i
  124. describe BIZ_TLD        Contains an URL in the BIZ top-level domain    
  125.  
  126. uri INFO_TLD              /\.info(?::\d+)?(?:\/|$)/i
  127. describe INFO_TLD        Contains an URL in the INFO top-level domain    
  128.  
  129. # Matt Cline
  130. # Pretty good for most folks, except for jm: I have a really stupid
  131. # e-commerce bunch obfuscating their URLs with this for some reason. screw 'em
  132. # jm: hesitant to remove this outright; it should be good against phishers
  133. #uri      HTTP_ENTITIES_HOST    m{https?://[^\s\">/]*\&\#[\da-f]+}i
  134. #describe HTTP_ENTITIES_HOST    URI obscured with character entities
  135.  
  136. uri YAHOO_RD_REDIR        m{^https?\://rd\.yahoo\.com/(?:[0-9]{4}|partner\b|dir\b)}i
  137. describe YAHOO_RD_REDIR        Has Yahoo Redirect URI
  138.  
  139. uri YAHOO_DRS_REDIR        m{^https?://drs\.yahoo\.com/}i
  140. describe YAHOO_DRS_REDIR    Has Yahoo Redirect URI
  141.  
  142. uri URI_OFFERS            m/offer([sz]|-\S+)?\.(?:com|bi?z)/i
  143. describe URI_OFFERS        Message has link to company offers
  144.  
  145. uri URI_4YOU            m@^(?:https?://|mailto:)[^\/]*4you@i
  146. describe URI_4YOU        Message has URI 4you
  147.  
  148. # 0 nonspam hits, hundreds of spam hits.  Serious problems there
  149. uri TERRA_ES            /terra\.es\//i
  150. describe TERRA_ES        Contains URI to a document hosted at 'terra.es'
  151.  
  152. # "www" hidden as "%77%77%77", "ww%77", etc.
  153. # note: *not* anchored to start of string, to catch use of redirectors
  154. uri HTTP_77            /http:\/\/.{0,2}\%77/
  155. describe HTTP_77        Contains an URL-encoded hostname (HTTP77)
  156.  
  157. # affiliateid, aff_id, aff_sub_id etc.
  158. uri URI_AFFILIATE        /aff\w+id=/i
  159. describe URI_AFFILIATE        Contains a URI with an affiliate ID code
  160.  
  161. # really a URI rule
  162. header URI_REDIRECTOR        eval:check_for_http_redirector()
  163. describe URI_REDIRECTOR        Message has HTTP redirector URI
  164.  
  165. # a.com.b.c
  166. uri SPOOF_COM2OTH    m{^https?://(?:\w+\.)+?com\.(?:\w+\.){2}}i
  167. describe SPOOF_COM2OTH    URI contains ".com" in middle
  168.  
  169. # a.com.b.com
  170. uri SPOOF_COM2COM    m{^https?://(?:\w+\.)+?com\.(?:\w+\.)+?com}i
  171. describe SPOOF_COM2COM     URI contains ".com" in middle and end
  172.  
  173. # a.net.b.com
  174. uri SPOOF_NET2COM    m{^https?://(?:\w+\.)+?(?:net|org)\.(?:\w+\.)+?com}i
  175. describe SPOOF_NET2COM     URI contains ".net" or ".org", then ".com"
  176.  
  177. # CDNs (Akamai (edgesuite), Speedera, and NYUD, so far) do this, so skip them
  178. uri SPOOF_OURI        m{^https?://(?:[a-z0-9_-]+?\.){2,}(?:com|net|org|biz|info|edu|www)(?!\.(?:\w+\.)?(?:edgesuite|nyud|speedera)\.net)(?:\.[a-z0-9_%-]+?){2,}(?:(?::|%3a)\d+)?}i
  179. describe SPOOF_OURI    URI has items in odd places
  180.  
  181. uri URI_DIGITS        m%^https?://[^/?]*\b\d{6,}\b%i
  182. describe URI_DIGITS    URI hostname has long digit sequence
  183.  
  184. uri URI_HEX        m%^https?://[^/?]*\b[0-9a-f]{6,}\b%i
  185. describe URI_HEX    URI hostname has long hexadecimal sequence
  186.  
  187. uri URI_NOVOWEL        m%^https?://[^/?]*[bcdfghjklmnpqrstvwxz]{7}%i
  188. describe URI_NOVOWEL    URI hostname has long non-vowel sequence
  189.  
  190. uri URI_UNSUBSCRIBE        /\b(?:gone|opened|out)\.php/i
  191. describe URI_UNSUBSCRIBE    URI contains suspicious unsubscribe link
  192.  
  193. uri URI_UPPER_LOWER        m{(?i:https?)://([A-Z][a-z]+\.){2,}[A-Za-z\d-]+\.[a-z]{2,4}(?:[?/]|$)}
  194. describe URI_UPPER_LOWER    URI contains capitalized hostname parts ("Abcde")
  195.  
  196. # bug 3896: URIs in various TLDs, other than 3rd level www
  197. uri URI_NO_WWW_INFO_CGI    /^(?:https?:\/\/)?[^\/]+(?<!\/www)\.[^.]{7,}\.info\/(?=\S{15,})\S*\?/i
  198. describe URI_NO_WWW_INFO_CGI    CGI in .info TLD other than third-level "www"
  199.  
  200. uri URI_NO_WWW_BIZ_CGI    /^(?:https?:\/\/)?[^\/]+(?<!\/www)\.[^.]{7,}\.biz\/(?=\S{15,})\S*\?/i
  201. describe URI_NO_WWW_BIZ_CGI    CGI in .biz TLD other than third-level "www"
  202.  
  203. uri URI_NO_WWW_ANY_CGI    /^(?:https?:\/\/)?[^\/]+(?<!\/www)\.[^.]{3,}\.[^.]{3,}\.(?!biz|info)[a-z]{2,4}\/\?\S{14}/i
  204. describe URI_NO_WWW_ANY_CGI    CGI with long hostname other fourth-level "www"
  205.  
  206. uri URI_SCHEME_MIXED_CASE    /^(?![a-z]{3,6}:|[A-Z]{3,6})[A-Za-z]{3,6}:\//
  207. describe URI_SCHEME_MIXED_CASE    URI scheme has mixed uppercase and lowercase
  208.  
  209. # bug 678
  210. uri DOMAIN_4U2            /[\@\.]\S{0,20}(?:[^0-9][42](?:yo)?u|for-*you)(?:[.-]\S{1,20})?\.(?:net|com|org|info)\b/
  211. describe DOMAIN_4U2        Domain name containing a "4u" variant
  212.  
  213. # possible IDN spoofing attack: http://www.shmoo.com/idn/homograph.txt
  214. # not expecting any hits on this (yet)
  215. uri HIGH_CODEPAGE_URI    /^https?:\/\/[^\/]*\&\#(?:\d{4,}|[3456789]\d\d);/i
  216.