hellog〜英語史ブログ / 2013-10-09

■ #1626. 現代日本語書き言葉均衡コーパス BCCWJ の各種インターフェース [web_service][corpus][link][japanese]

「#1567. 英語と日本語のオンラインコーパスをいくつか紹介」 ([2013-08-11-1]) で，現代日本語のコーパスとしてKOTONOHA 「現代日本語書き言葉均衡コーパス」に言及した．この『現代日本語書き言葉均衡コーパス』 (BCCWJ: Balanced Corpus of Contemporary Written Japanese) は，大学共同利用機関法人人間文化研究機構国立国語研究所と文部科学省科学研究費特定領域研究「日本語コーパス」プロジェクトが共同で開発した本格的なコーパスである．
　コーパスの内容については，同サイトに「2012年3月現在，検索対象となっているのは，以下の11種のデータ，合計約1億500万語です」とある．サンプルは，1976--2008年にかけての文書で，その11のジャンルは書籍，雑誌，新聞，白書，教科書，広報紙，Yahoo!知恵袋，Yahoo!ブログ，韻文，法律，国会会議録にわたる．各テキストからは2種類のサンプルが取られており，「ひとつは長さを1000字に固定したサンプル (固定長サンプル)，もうひとつは，節や章など文章の意味上のまとまりに対応した単位の全体です (可変長サンプル)．これまでの調査によれば，可変長サンプルの平均長は新聞で約1000字，書籍で4000字弱です．」とある．
　BCCWJ を利用する方法やインターフェースはいくつかあるが，もっとも簡便なものが，上にもリンクを張った少納言である．登録不要で，表層の文字列によるコーパスの全文検索ができる．出力は無作為の500件と制限があるが，お手軽に試すことができる．
　一方，利用申請が必要な中納言では，同コーパスに対して，短単位・長単位・文字列の3つの方法により，形態論的な複雑な検索をかけることができる．
　また別のインターフェーとして，NINJAL-LWP for BCCWJ (NLB) がある．現行の1.20版では，BBCWJ のほとんどのデータを対象として，検索をかけることができる．検索ページはこちら．
　関連して，NLB と同じインターフェースで利用できるもう1つの日本語コーパスを紹介する．筑波大学がウェブサイトからテキストを収集して編纂した11億語からなる筑波ウェブコーパス (Tsukuba Web Corpus: TWC) へのインターフェース，NINJAL-LWP for TWC (NLT)である．検索ページはこちら．

[ 固定リンク | 印刷用ページ ]