letter_frequency - hellog〜英語史ブログ

■ #5745. アルファベットの文字頻度 [corpus][link][alphabet][frequency][statistics][letter_frequency][bnc][morse_code]

　AからZまでのアルファベット文字のなかで，最も頻度の高い文字，低い文字は何か．この文字頻度 (letter_frequency) の話題については，「#308. 現代英語の最頻英単語リスト」 ([2010-03-01-1]) の下部に Letter Frequencies (rankings for various languages) へのリンクを挙げたとおり，様々な言語やコーパスでの順位表が作り出されている．例えば，BNC に依拠すると "etaoinsrhldcumfpgwybvkxjqz" の順位表が得られる．
　Crystal (277) には，The Cambridge Encyclopedia (1st ed.) の全テキスト，150万語をコーパスとした文字頻度表が掲げられている．累積頻度順位 (Cumulative) のみならず，文学，宗教，政治，物理学，化学の各々のテーマごとの頻度や Morse code (morse_code) の頻度も合わせて示されている．以下のグラフは，X軸に沿って累積頻度順 (= "eatinorslhdcmufpgbywvkxjq") に文字を並べ，Y軸を各テーマ内での頻度割合（百分率）としたものである（頻度表はソース HTML を参照）．

　累積頻度順に照らしてテーマごとの特徴を見てみるとと，政治が最も標準的である．文学と政治がそれに続く．標準から遠ざかっていくのが，化学，物理学，そして Morse code となる．
　個々の文字をみると興味深い点が多々ある．相対的に宗教では <h> が多く (holy?) <l> が少ないこと，文学では <w> が多いことは何を意味するのだろうか？　物理学や化学はラテン・ギリシア語系の単語が多く含まれているために，その他一般とは若干異なる文字頻度を示しているのかもしれない．人工的な Morse code は，他のテーマとは目に見えて異なる線を描いていることがわかる．

　・ Crystal, D. The Cambridge Encyclopedia of the English Language. 3rd ed. CUP, 2018.

[ 固定リンク | 印刷用ページ ]

■ #308. 現代英語の最頻英単語リスト [lexicology][corpus][link][academic_word_list][alphabet][frequency][statistics][letter_frequency]

　現代英語の最頻英単語は何か．この話題についてはコーパス言語学，辞書学，計算機の発展により，様々な頻度表が作られてきた．ウェブ上でも簡単に手に入るので，いくつか代表的なリストや情報源へのリンクを掲げておく．語彙研究に活用したい．

［主要な頻度表］

　・ GSL ( General Service List ): 最頻2000語を掲げたリスト．出版が1953年と古いが，現在でも広く参照されているリスト．
　・ AWL ( Academic Word List ): 学術テキストに限定した最頻語リスト．2000年に出版され，GSLに含まれる語と重複しないように選ばれた570語を掲載．10のサブリストに分かれている．AWL の前身となる，1984年に出版された808語のリスト UWL ( University Word List ) も参照．
　・ BNC Word Frequency Lists: BNC ( The British National Corpus ) による最頻6318語のリスト．頻度表の直接ダウンロードはこちらから．
　・ Top 1000 words in UK English: 18人の著者，29作品，460万語のコーパスから抽出したイギリス英語の最頻1000語リスト．
　・ Brown Corpus List: Brown Corpus によるアルファベット順リスト．
　・ The Longman Defining Vocabulary: LDOCE の1988年版の定義語彙リスト．2000語以上．

［他のリストへのリンク集］

　・ Work/Frequency List: 様々な頻度表へのリンク集．（2010/09/10(Fri)現在リンク切れ）
　・ Famous Frequency Lists: 様々な頻度表へのリンク集．
　・ Basic English and Common Words: ML上の最頻語頻度表についての議論．

［アルファベットの文字の頻度表］

　・ Letter Frequencies (rankings for various languages): いくつかのランキング表がある．BNCでは "etaoinsrhldcumfpgwybvkxjqz" の順とある．

（後記　2010/03/07(Sun)：American National Corpus に基づいた頻度表を見つけた．Written と Spoken で分別した頻度表もあり．）
（後記　2010/04/12(Mon)：COLT: The Bergen Corpus Of London Teenage Language に基づいた最頻1000語のリストを見つけた．）
（後記　2011/02/14(Mon)：Corpus of Contemporary American English (COCA) に基づいた Corpus-based word frequency lists, collocates, and n-grams を見つけた．Top 5,000 lemma, Top 500,000 word forms など．）

[ 固定リンク | 印刷用ページ ]