home *** CD-ROM | disk | FTP | other *** search
/ ftp.itri.bton.ac.uk / 2015-02-03.ftp.itri.bton.ac.uk.tar / ftp.itri.bton.ac.uk / bnc / lemma.doc < prev    next >
Text File  |  1997-12-22  |  4KB  |  97 lines
  1.  
  2.                 Lemmatised BNC frequency list available
  3.                 =======================================
  4.  
  5.                            Adam Kilgarriff
  6.                         University of Brighton
  7.  
  8.                              30th May 1996
  9.              
  10. Following various requests, particularly form workers in EFL, I have
  11. prepared a lemmatised frequency list from the BNC.  This is a
  12. single list giving word frequencies for the 6,318 words with more than 800
  13. occurrences in the whole 100M-word BNC.  The definition of a 'word'
  14. approximates to a headword in an EFL dictionary such as Longman's
  15. Dictionary of Contemporary English: so, eg, nominal and verbal "help"
  16. are listed separately, and the count for verbal "help" is the sum of
  17. counts for verbal 'help', 'helps', 'helping', 'helped'.  
  18.  
  19. The list is available over the net in directory
  20.  
  21. ftp://ftp.itri.bton.ac.uk/pub/bnc/
  22.  
  23. The lemmatised list is called 'lemma' and is available in four forms:
  24. ordered alphabetically or by frequency, and compressed (using gzip) or
  25. uncompressed, so the four files are:
  26.  
  27.     lemma.al            (124 KB)
  28.     lemma.al.gz          (55 KB)
  29.     lemma.num           (124 KB)
  30.     lemma.num.gz         (55 KB)
  31.  
  32.  
  33. The format for the list is:
  34.  
  35.     sort-order, frequency, word, word-class
  36.  
  37. and a sample from the top of the alphabetically-ordered list is:
  38.  
  39. 5 2186369 a det
  40. 2107 4249 abandon v
  41. 5204 1110 abbey n
  42. 966 10468 ability n
  43. 321 30454 able a
  44.  
  45. The list-creation process replicated that used at Longman for marking
  46. dictionary frequencies in LDOCE 3rd edition, a process described in 
  47.  
  48.      Kilgarriff, A. Putting Frequencies in the Dictionary. 
  49.      International Journal of Lexicography (to appear).  Available
  50.      electronically (gzipped postscript) as:  
  51.         ftp://ftp.itri.bton.ac.uk/pub/bnc/ijl.ps.gz
  52.  
  53. Numbers, names, and items that would usually be capitalised are
  54. excluded.  Only simple words (eg containing no spaces) were
  55. considered.  The following set of word classes is used:
  56.  
  57. conj (conjunction)            34 items
  58. adv  (adverb)                427
  59. v    (verb)                 1281
  60. det  (determiner)             47
  61. pron (pronoun)                46
  62. interjection                  13
  63. a    (adjective)            1124
  64. n    (noun)                 3262
  65. prep (preposition)            71
  66. modal                         12
  67. infinitive-marker              1
  68.  
  69. A word like "right" has four list entries, for adjective, adverb,
  70. interjection and noun.  (Just ten words have more than three list
  71. entries.)
  72.  
  73. Unlike the Longman list, only the BNC was used (so the lists only
  74. reflect British, not American, frequencies); spoken and written
  75. frequencies are not separated; spelling variants are not counted as a
  76. single word; manual checking was less extensive. 
  77.  
  78. The raw lists, from which the lemmatised list was generated (and which
  79. are, consequently,  a less theory-dependent form of data), are also
  80. available from the same web site: see
  81.     
  82.     ftp://ftp.itri.bton.ac.uk/pub/bnc/README
  83.  
  84. This file is available as   ftp://ftp.itri.bton.ac.uk/pub/bnc/lemma.doc
  85.  
  86. The work was undertaken under EPSRC grant 'SEAL'.
  87.  
  88. %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
  89. Adam Kilgarriff                                
  90. Research Fellow                                tel: (44) 1273 642919     
  91. Information Technology Research Institute           (44) 1273 642900 
  92. University of Brighton                         fax: (44) 1273 642908
  93. Lewes Road                        
  94. Brighton BN2 4AT         email:      Adam.Kilgarriff@itri.bton.ac.uk
  95. UK                       http://www.itri.bton.ac.uk/~Adam.Kilgarriff
  96. %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
  97.