hellog〜英語史ブログ / 2012-12-08

■ #1321. BNC Frequency Extractor [cgi][web_service][frequency][corpus][bnc]

　Adam Kilgarriff が公開している BNC database and word frequency lists から，見出し語化されていない頻度表 (unlemmatised lists) をダウンロードし，検索できるようにデータベースをこしらえた．

    

　仕様の説明．データベースには SQLite を用いており，SQL対応．select 文のみ有効．テーブルは "bnc" （コーパス全体），"written" （書き言葉コーパス），"demog" （'demographic' spoken material) ，"cg" ('context-governed' spoken material) ，"variances" （計算された分散その他の値を含む）の5種類．variances を除く4テーブルについては，フィールドは "freq" （頻度）, "word" （語形）, "pos" （品詞；BNC CLAWS POS-tags の一覧を参照）, "files" （その語形が生起しているテキスト数）の4つ．variances のテーブルについては，上記4フィールドに加えて，"mean" （= freq / files) ，"variance" （分散），"variance_to_mean" (= variance / mean) の3つが設定されている．variances の計算基準となっているサブコーパスは，5000語以上を含む書き言葉テキストということで，全体としては約1千万語（BNC全体の約1割）である．具体的には，"select * from bnc limit 10" や "select * from variances limit 10" などとすれば，データの格納のされ方を確かめることができる．
　以下に，典型的な検索式を挙げておこう．

# 書き言葉テキストで，英米差があるとされる "diarrhoea" vs. "diarrhea" の綴字の生起頻度を確認
select * from written where word like "diarrh%"

# s で始まる語形を分散の高い順に
select * from variances where word like "s%" order by variance desc limit 100

# 母音変異の複数形を示す語の単数形の頻度（cf. 「#708. Frequency Sorter CGI」([2011-04-05-1]) の例では lemma 検索だった）
select * from bnc where word in ("foot", "goose", "louse", "man", "mouse", "tooth", "woman") and pos = "nn1" order by freq desc

# 母音変異の複数形の頻度
select * from bnc where word in ("feet", "geese", "lice", "men", "mice", "teeth", "women") and pos = "nn2"

# POSでまとめて頻度の高い順に（話し言葉 'demog'）
select pos, sum(freq) from demog group by pos order by sum(freq) desc

# 最も広く多く使われる名詞
select * from variances where pos like "n%" order by variance desc limit 100

# 最も広く多く使われる形容詞
select * from variances where pos like "aj%" order by variance desc limit 100

　なお，見出し語化されている頻度表 (lemmatised list) については，頻度にして800回以上現われる，上位6318位までの見出し語のみに限定されており，その検索ツールは「#708. Frequency Sorter CGI」 ([2011-04-05-1]) として実装してある．関連して，「#956. COCA N-Gram Search」 ([2011-12-09-1]) も参照．

[ 固定リンク | 印刷用ページ ]