hellog〜英語史ブログ / 2015-01-22

■ #2096. SUBTLEX-US Word Frequency List [frequency][statistics][corpus][lexicology][zipfs_law][cgi][web_service]

　従来の英語学研究において，権威ある語彙頻度表といえばアメリカ英語に関する Kucera and Francis (1967) のものや，イギリス英語に比重を置いたより新しいものとして CELEX (1993) やその2版 (cf. 「#1424. CELEX2」 ([2013-03-21-1])) がよく用いられてきた．しかし，最近，これらを批判し，新しい手法に基づいたアメリカ英語の語彙頻度表が現われた．ベルギー，ヘント大学の実験心理学科の提供する SUBTLEXus である．左のHPから，SUBTLEXus の一群の頻度表のファイルや記述がダウンドーロできる．
　SUBTLEXus の基盤にあるコーパスは，8388件の映画の字幕の集成であり，総語数は5100万語に及ぶ．SUBTLEXus の頻度表は，Kucera and Francis や CELEX の頻度表と比べて，いくつかの算出された指標においてすぐれていると主張されている．頻度は，見出し語 (lemma) ごとではなく語形 (word form) ごとに数えられており，例えば名詞であれば単数形と -s 語尾などをもつ複数形は別扱いされる（異なる語形は74,286種類）．名詞と動詞など複数の品詞として用いられる語形については，それぞれの品詞ごとの頻度にもアクセスできるし，より優勢な品詞 (Dominant POS) のほうへ合算した頻度へもアクセスできる．データには，ほかに何件の映画に現われているか，小文字として現われているのは何回か，頻度の対数を取った指標，Zipf 指標 (cf. 「#1101. Zipf's law」 ([2012-05-02-1])) なども含まれている．これだけの種類のデータが含まれていると，目的とアイデア次第でおおいに有効に利用できるだろう．話し言葉ベースであることも顕著な特徴だ．
　ダウンロードできるいくつかのデータのなかで "a zipped Excel file of SUBTLEX-US with the Zipf values included" をダウンロードし，少しいじってみた．例えば，(1) 全体的に多く現われ，かつ (2) 多くの映画にも現われる語形は，総合的な意味で頻度が高いと考えられるだろう．そこで (1) と (2) に関する対数の指標を掛け合わせて，それを降順に並べて最初の100語を取ると，正真正銘の最頻単語100語が得られるはずだ．省略形の片割れなども含まれているが，以下がそのリストである．

you, I, the, to, s, a, it, t, that, and, of, what, in, me, is, we, this, he, on, for, my, m, your, don, have, do, re, no, be, know, was, not, can, are, all, with, just, get, here, but, there, ll, so, they, like, right, out, go, up, about, she, if, him, got, at, now, come, oh, one, how, well, want, yeah, her, think, good, see, let, did, why, who, as, going, his, will, from, when, back, time, yes, look, d, take, an, where, man, would, them, been, some, or, tell, us, had, were, say, could, gonna, didn, hey

　ほかには，最頻10語，25語，50語，100語，250語，500語，1,000語，2,500語，5,000語，10,000語，25,000語，50,000語，100,000語について，Dominant POS ごとに数え上げてみることもたやすい．「#666. COCA 最頻5000語で品詞別の割合は？」 ([2011-02-22-1])，「#667. COCA 最頻50万語で品詞別の割合は？」 ([2011-02-23-1])，「#1132. 英単語の品詞別の割合」 ([2012-06-02-1]) の記事でも，別のコーパスにより似たような調査を行ったが，SUBTLEX-US 版の調査結果は次のグラフにまとめられる．



　以下はおまけの検索ツール (SUBTLEX-US Word Frequency Extractor) ．おまけなので，10例までしか結果が出力されない仕様です．SUBTLEXus の提供する複雑な検索も可能な，SUBTLEXus Online Search もどうぞ．

[ 固定リンク | 印刷用ページ ]