hellog〜英語史ブログ / 2011-04-05

■ #708. Frequency Sorter CGI [corpus][bnc][statistics][web_service][cgi][lexicology][plural]

　何らかの基準で集めた英単語のリストを，一般的な頻度の順に並び替えたいことがある．例えば，[2011-03-22-1]で論じたように，頻度と不規則な振る舞いとの関係を調べたいときに，注目する語（群）の一般的な頻度を知る必要がある．この目的には，[2010-03-01-1]で紹介したような大規模な汎用コーパスに基づく頻度表が有用である．BNC lemma-pos list (122KB) や ANC word-tagset list (7.2MB) などで問題の語を一つひとつ検索し，頻度数や頻度順位を調べてゆけばよいが，語数が多い場合には面倒だ．そこで，上記2つの頻度表から，入力した語（群）の頻度と順位を取り出す CGI を作成した．
　改行でもスペースでもカンマでもよいのだが，区切られた単語リストを以下のボックスに入力し，"Frequency Sort Go!" をクリックする．出力結果を頻度順位の高い順にソートする場合には，"sort by rank?" をオンにする（デフォルトでオン．オフにすると，入力順に出力される）．例えば，現代標準英語に残る純粋に i-mutation を示す複数形は以下の7語のみである（複合語，二重複数，[2011-04-01-1]で話題にした sister(e)n は除く）．これをコピーしてボックスに入力する．

foot, goose, louse, man, mouse, tooth, woman

     sort by rank?

　まず，BNC lemma-pos list による出力だが，この頻度表は約1億語の BNC 全体から，頻度にして800回以上現われる，上位6318位までの見出し語 ( lemma ) を収録している．したがって，それよりも頻度の下回る goose, louse については空欄となっている．頻度と不規則性の相関関係を考える際に参考になるだろう．
　次に，ANC word-tagset list による出力が続くが，この頻度表は BNC のものよりも規模が大きく，かつきめ細かい．合計22,164,985語を有する ANC (American National Corpus) から，Penn Treebank Tagset によってクラス付与された単位で語形が列挙されたリストである．タグセットが細かいので読みにくいし，自動タグ付与に起因するエラーも少なからず含まれているが，BNC のものよりも低頻度の語（形）を収録しているので，goose や louse の頻度情報も現われる．こちらの頻度表では WORD FORM ごとの頻度も確認できるため，直接 geese や lice の頻度も確かめられる．
　当初 Frequency Sorter の用途として想定していたのは，上記の不規則複数形を示す語群などの頻度と順位の一括調査だったが，他にも用途はあるかもしれない．以下に，思いつきをメモ．

　・ 1単語から使えるので，like のような多品詞語を入力して，品詞（あるいはタグ付与されたクラス）ごとの頻度を取り出せる．
　・ ヒット数だけを確認したい場合には，いちいちコーパスを立ち上げる必要がない．
　・ 論文やプレゼンで，ある目的で集めた数百語の単語リストの中から典型的な例，分かりやすい例を10個ほど示したいときなど，頻度の高い10個を選べばよい．例えば，[2011-03-29-1]で列挙した sur- を接頭辞にもつ単語リストのうち，例示に最もふさわしい10個を選ぶなどの目的に．頻度に基づいた順番のほうが，ランダム順やアルファベット順よりも親切なことが多いだろう（今後，本ブログ執筆に活用する予定）．
　・ 英米それぞれの代表的なコーパスに基づく頻度表を利用しているので，綴字や形態などの頻度の英米差を確認するのに使える．
　・ （実際には lemmatisation が必要だが）適当な英文を放り込んでみて，妙に頻度の低い語が含まれていないかを調べる．頻度のツールなので，その他，教育・学習目的にいろいろと使えるかもしれない．

[ 固定リンク | 印刷用ページ ]