【第94回】AIは文章をどう単語に分ける？形態素解析とは
日本語はスペースがないため、そのままでは処理しづらい言語です。
文章を単語に分割する必要があります。
この記事では、形態素解析の基本をやさしく解説します。
1. 読み方
けいたいそかいせき (Morphological Analysis)
2. 意味（定義）
「文を、意味を持つ最小の単位である『形態素（けいたいそ）』に分解し、それぞれの単語の品詞や役割を特定する作業」のことです。
形態素 (Morpheme): これ以上分解すると意味がなくなってしまう、意味の最小単位。（例：「おにぎり」は「お」「にぎり」と分解できますが、「にぎり」をこれ以上分けると意味が変わってしまいます）
解析: 分解したあとに、「これは名詞です」「これは動詞です」「これは助詞です」といったラベル（品詞）を付けて整理すること。
【文章のパズル解きという例え】
あなた（AI）は、ある文章が書かれた「メモ」を渡されました。 このメモを理解するためには、まず、文章をバラバラにしてピース（単語）を一つずつ取り出さなければなりません。
「私はリンゴを食べます。」という文があったとき、
「私（名詞）」「は（助詞）」「リンゴ（名詞）」「を（助詞）」「食べます（動詞）」 という風に、一語一語を正しく切り出し、それぞれの単語が何であるかを判別する作業。これが形態素解析です。
3. 歴史・背景
自然言語処理の黎明期から、最も基本的かつ重要な技術として存在しています。 コンピュータにとって、人間が書く「文章」はただの長い文字列（文字の羅列）に過ぎません。そのままでは「どこからどこまでが単語か」すら分かりません。
特に日本語の場合、英語のように「単語の間にスペース（空白）がある」というルールがないため、解析は非常に困難でした。「私はリンゴを食べます」と「わたしはりんごをたべます」の区別もつきません。そのため、日本語特有の「どこで切るか（わかち書き）」という課題を解決するための高度なアルゴリズムが発展してきました。
4. 比較・対比（似た用語との違い）
ここが試験で狙われる「整理」ポイントです！
形態素解析 vs わかち書き (Tokenization)
わかち書き: 文章を単語の区切りでスペースを入れて分けること。（例：「私は リンゴを 食べます」） 分ける作業そのもの。
形態素解析: 単語に分割するだけでなく、さらに「品詞（名詞、動詞など）」や「活用（て形、ます形など）」まで詳しく分析すること。
形態素解析 vs 文解析 (Parsing / Dependency Parsing)
形態素解析: 「単語レベル」の分解。「どの単語があるか」に注目。
文解析: 分解された単語同士が「主語と述語の関係にあるか」といった、「文全体の構造（構文）」を分析すること。
5. 活用シーン（どんな問題に使うか）
自然言語処理の「前処理」として、あらゆるAIモデルの入り口で使われます。
検索エンジン: ユーザーが入力した検索キーワードを単語単位に分解し、インデックス（索引）と照合する。
文章分類・感情分析: 文章を単語に分解し、「嫌い」「嬉しい」といった感情を表す単語（形容詞など）を抽出して判定する。
翻訳機: 入力文を意味のある単位に分割することで、正しい翻訳ルールを適用できるようにする。
テキストマイニング: 大量の文書から、頻出する名詞や動詞を抽出して、トピックを分析する。
6. G検定での出題傾向
G検定では、以下のポイントが非常に高い頻度で狙われます！
「形態素（Morpheme）」の定義: 意味を持つ最小単位であること。
「日本語特有の難しさ」: 英語と違い、単語の区切り（わかち書き）が明示されていないため、解析が困難であるという点。
「品詞分解・分かち書き」: 単なる分割だけでなく、品詞を特定するプロセスを含むこと。
「前処理としての役割」: 自然言語処理のパイプライン（工程）における、最初の重要なステップであること。
7. G検定の例題
【問題1：形態素解析の定義】
形態素解析に関する記述として、最も適切なものはどれですか？
A. 文章全体の構造を解析し、主語と述語の関係（依存関係）を特定する手法である。
B. 文を意味を持つ最小単位に分割し、それぞれの単語の品詞や活用などを判別する手法である。
C. 複数の文章の中から、共通するキーワードを抽出して要約を作成する手法である。
D. 画像データから特徴的なパターンを見つけ出し、物体を識別する手法である。
【問題2：日本語の自然言語処理】
日本語の形態素解析において、英語と比較して特に困難とされる要素はどれですか？
A. アルファベット文字の使用が制限されていること。
B. 単語と単語の間にスペース（わかち書き）が存在しないため、どこで単語を区切るべきかの判断が必要なこと。
C. 助詞や動詞の活用といった文法的なルールが非常に単純であるため、解析の余地がないこと。
D. 文の長さが常に一定に保たれているため、解析の計算量が膨大になること。
8. 例題の回答と解説
【問題1 の回答】
正解：B
【解説】 形態素解析は「意味の最小単位（形態素）への分割」と「品詞などの特定」を行うものです。A は文解析（依存構造解析）、C は要約、D はコンピュータビジョン（画像認識）の説明であり、誤りです。
【問題2 の回答】
正解：B
【解説】 日本語の最大の特徴かつ難点は、「単語の区切りが明示されていない」ことです。英語はスペースで区切られているため比較的容易ですが、日本語は「どこからどこまでが一つの単語か」を判定するプロセス（わかち書き）が不可欠であり、これが解析の難易度を高めています。A, C, D はすべて事実と異なります。
