危機言語フィールドワーカー向け：自然談話データから形態素辞書を自動生成
フィールドワークと辞書
フィールドワーク初期には、とにかく、調査のあらゆる場面で遭遇する新規の語彙（形態素）の把握と記録が必須となる。新しい言語を学んでいる時と全く同じように、話者が教えてくれる単語や文の中に、さまざまな新規の語彙が入り混じっていて、それらを覚え、使えるようにならなければ調査が進まないのである。
そんな時、誰かが作った既存の辞書があれば助かるが、そもそもフィールドワークの目的は自分が研究している言語の辞書と文法書を自分で作ることなのだから、自ら学んだ語彙や文法形態素を自分なりの方法で管理しながら増やしていき、それを辞書の形にして参照しながら調査することになる。
そこで、InDIGOというツールを紹介する。これは、自然談話データ（や、語彙調査データなども）を管理するためのツールであるELANから、形態素とそのグロス、品詞、そしてそれらが生じるコンテクスト（すなわち文）を抜き出し、辞書のような形式に整えてくれるツールである。生成された辞書はHTMLファイルで吐き出され、それをサーバーに置いてオンライン辞書として使うことを想定している。検索性能に優れ、例文の音声も聴ける。
InDIGOで作った辞書は、言語を覚える際の調査者用の辞書として活躍するだけでなく、文法記述に際しての品詞分類の網羅性のチェックや、形態素の生じる環境の大まかな把握、そしていずれ話者のために作成するであろう大規模な辞書の土台となる。のちに述べるように、InDIGOで作った辞書はcsvでダウンロードできるため、これを直接編集して修正、拡張が容易である。それを再びInDIGOで読み込んで辞書を再生成すれば、拡張された新しい辞書としていつでも更新できる。
基本的な考え方
「消滅危機言語の記録保存（特に談話データを例に）：基礎編」でも述べたように、言語調査で得た一次データと、それを用いたあらゆる成果物は区別しておく必要がある。InDIGOで作った辞書は成果物であり、基礎語彙調査のデータや自然談話データは一次データである。ELANに入力して管理しているデータ（.eafファイル形式）はもちろん一次データである。一次データはなるべくシンプルな形で、そのまま保存しておく。詳しくは上記の基礎編を参照してほしい。
InDIGOで辞書を作成する前に、それに流し込むELANデータは、国際リポジトリZenodoにまず保存しておく。InDIGOは、そこに付される固有のURL情報を使って、データを引っ張ってくることで作成する派生物である。まず、この図式を理解しよう。
データ加工
Zenodoには、ELANで注釈をつけた全体音声ファイルだけでなく、ELANで文単位に分割された小分けの音声ファイルも置く。InDIGOでは、ある見出し項目（形態素）に、その形態素が使われている文を引っ張ってきて、それを例文として配置することになるのだが、その際、例文をクリックするとこの小分け音声ファイルのURLを参照して音声が流れる仕組みになっている。
ELANの注釈ファイル（eafファイル）と全体音声wavファイルから、自動的に文単位に区切り、小分け音声ファイルを作るのは、私が別途作成したツールであるeaftoxを使う。
解説動画はこちらから。
動画内容のおさらい
まず、Zenodoに載せたい談話データのeafファイルと全体音声ファイル（図1の1, 2番）を用意する。次にこれらを、音声・テクスト分割ツール（eaftox）に流し込み、音声ファイルと注釈付き例文データ（インターリニアグロス例文）として整える。すると、文単位で区切られ、かつeafファイルで注釈した内容を例文提示フォーマットに整えたテキストファイルおよびLaTeXのgb4eスタイルに整えたtexファイル（図1の3番）が生成される。さらに、上記の文ごとに切られた音声ファイルも自動生成される（4番）。
これら3, 4番のデータと、さらに元の全体音声ファイル（2番）を、データセットしてzenodoにアップロードする。その解説動画は以下から。
InDIGOを使って辞書を作る
さて、zenodoに談話データセットをアップし、テクストデータ（.txt, .pdf）と音声データ（図2の1番、4番）それぞれの固有URLも取得し、DOIも付与され、データの安定した記録保存の段階はクリアした。では、ここから、InDIGOを使ってこれらのデータを読み込み、簡易辞書を作成してみよう。
ELANの設定（推奨）
1. 層の構造
InDIGOに流し込むのは、ELANのeafファイルそのものではなく、eaftoxを通してtxtファイルに変換したものだが（詳しくは上記動画）、詳しくない人のために念のため、解説しておく。InDIGOが対応可能なeafファイルの層構は主に3種類ある。まず、text層自体に形態素分割を行なっていくいわゆる基本三段方式対応の構造（text層、morph層、gloss層、trans層）、次に、基本四段方式対応の構造、すなわちtext層を2つに分けるもの（形態素分析なしのtext0層、基底構造で分析済みのtext層、morph層、gloss層、trans層）、そして最後に、簡易三段方式対応の構造、すなわち形態素分析を行わないタイプのもの（text層、gloss層、trans層）である。なお、これらの違いは、別の解説記事（eaftoxの解説）に詳しい。
2. POS層
InDIGO解説動画にもあったように、ELANのeafファイルの層構造は、今上で見たベーシックな層構造（text層、morph層、gloss層、trans層など）に加えて、pos層（品詞層）を足すのをお勧めする。そうすることによって、辞書を作る際、見出し項目の品詞を読み込んで品詞別のタグを作ってくれる。これがフィールドワークにおいては極めて重要である。例えば、伊良部島方言の辞書を作る際、主格助詞のgaや対格助詞のju、奪格のkaraなどに対してCP（case particle）という品詞を付与したpos層があったとする。InDIGOで生成した辞書はCPのタグを自動で作ってくれるから、これをクリックすると、現時点で収集しているCPの一覧を見ることができる（以下の図参照）。有限の集合からなる文法形態素について、その一覧を見ることは記述の重要なプロセスである。
InDIGO生成の設定画面（以下参照）で、読み込むtxtファイルの層構造を指定するのだが、pos層があれば、ちゃんとそれが認識され、ドロップダウンリストに現れる。以下は基本3段方式対応のtxt形式（text, gloss, trans）にposが加わったものである。各層の指定部の右横に具体的な入力内容が出てくるから、それを見ながら指定すれば良い。
もちろん、pos層がなくても辞書は生成できる。その場合、もちろん品詞別のタグは生成されないが、あとでInDIGOからダウンロードしたcsvデータ（InDIGO解説動画）に自力で足して行っても良いだろう。以下は、基本4段方式対応のtxtファイル（text0, text, gloss, trans）で、pos層を欠く場合である。
利用にあたって
InDIGOを利用する際は、以下のクレジットをお願いします。
Shimoji, Michinori (2025) InDIGO: Interactive Dictionary Generation Optimizer. DOI: 10.5281/zenodo.17769807
