【第95回】AIは人の言葉をどう理解する？自然言語処理（NLP）とは
AIが文章を理解したり生成したりする技術があります。
それが自然言語処理です。
この記事では、NLPの全体像をやさしく解説します。
1. 読み方
エヌエルピー (Natural Language Processing)
2. 意味（定義）
「人間が日常的に使っている『自然な言語（日本語や英語など）』を、コンピュータに理解・処理・生成させるための技術」のことです。
Natural Language (自然言語): 人間が自然に話したり書いたりする言葉（日本語、英語、フランス語など）。対照的なのは「プログラミング言語（PythonやC++など）」です。
Processing (処理): コンピュータがその言葉を読み取ったり（入力）、意味を理解したり（解析）、新しい文章を作ったり（出力）すること。
【コンピュータに『言葉』を教える魔法という例え】
コンピュータは、もともと「0」と「1」の数字しか理解できない、非常に数学的な存在です。一方、人間が話す言葉は、「文脈」「比喩」「感情」「皮肉」など、非常に曖昧で複雑なルールに満ちています。
「お腹が空いた」という言葉を、コンピュータに単なる文字列としてではなく、「栄養が必要な状態である」「何かを食べたいという欲求がある」といった『意味』として理解させるための、数学と統計学を使った魔法の技術。それが NLP です。
3. 歴史・背景
NLP の歴史は、大きく分けて3つの時代に分類できます。
ルールベース時代 (1950年代〜): 人間が「もし～なら、こう答える」という文法ルールを大量に書き込んでコンピュータに教えようとした時代。限界がありました（例外が多すぎるため）。
統計的自然言語処理時代 (1990年代〜): 「この単語の次には、この単語が来る確率が高い」という、膨大なデータから計算する「確率・統計」の手法が登場。これにより、翻訳などの精度が向上しました。
深層学習（ディープラーニング）時代 (2010年代〜): ニューラルネットワーク（RNN, LSTM, Transformerなど）の登場により、文脈や複雑な意味をコンピュータが自律的に学習できるようになりました。現在の LLM ブームの基盤です。
4. 比較・対比（似た用語との違い）
ここが試験で狙われる「整理」ポイントです！
NLP vs 自然言語 (Natural Language)
自然言語: 人間が使う言葉そのもの（日本語、英語など）。
NLP: その言葉をコンピュータに扱わせるための「技術・分野」。
NLP vs プログラミング言語 (Programming Language)
自然言語: 自然言語（私たちが話す日本語や英語）は、「人間同士が気持ちやニュアンスを伝えるため」に発展したため、とにかく曖昧（あいまい）です。
プログラミング言語: 「人間がコンピュータ（機械）に、1ミリのズレもなく命令を下すため」に作られた人工的な言葉です。コンピュータは空気を読めないので、ルールが超厳密です。
具体例： あなたが同僚に「ちょっとそれ取って」と言ったとします。
人間なら： 文脈や目線、その場の状況から「あ、手元にあるペンね」と空気を読んで正しく動けます。
AIやロボットなら： 「ちょっととは何センチ？」「それとはどれ？」とフリーズしてしまいます。
NLP vs コンピュータビジョン (Computer Vision: CV)
NLP: 「テキスト・音声」などの「言葉」を扱う分野。
CV: 「画像・動画」などの「視覚情報」を扱う分野。
5. 活用シーン（どんな問題に使うか）
私たちの生活のあらゆる場所に NLP は組み込まれています。
翻訳・通訳: Google 翻訳、DeepL など。
検索エンジン: Google 検索などで、ユーザーの意図を汲み取った結果を表示する。
対話型AI (Chatbot): ChatGPT、Siri、Alexa などの音声アシスタントやチャットボット。
文章作成・要約: メールの自動生成、長いニュース記事の短縮。
感情分析: SNS の投稿が「ポジティブ」か「ネガティブ」かを判定し、企業のマーケティングに活用する。
6. G検定での出題傾向
G検定では、以下のポイントが非常に高い頻度で狙われます！
NLP の定義と範囲: 「人間が使う自然な言語を対象とする」という点。
歴史的変遷: 「ルールベース（文法重視）」 → 「統計的手法（確率重視）」 → 「深層学習（ニューラルネットワークによる特徴量抽出）」の流れ。
タスクの分類: 文分類、翻訳、要約、質問応答など、NLP が解決しようとしている具体的な問題（タスク）の名前。
前処理技術: 形態素解析やトークナイゼーション（単語分割）といった、NLP の初期工程の重要性。
7. G検定の例題
【問題1：NLPの歴史的変遷】
自然言語処理（NLP）の発展における「統計的手法」から「深層学習（ディープラーニング）手法」への転換について、最も適切な記述はどれなですか？
A. 統計的手法では、人間が手動で文法ルールを定義する必要があったが、深層学習手法では、データから特徴量を自動的に学習できるようになった。
B. 統計的手法は、画像認識の技術を応用したものであり、深層学習手法は、テキストデータの出現確率のみに依存する手法である。
C. 深層学習手法の登場により、計算コストが大幅に削減され、ルールベースの手法よりも高速な処理が可能になった。
D. 統計的手法と深層学習手法は、どちらも「プログラミング言語」を解析することに特化した技術である。
【問題2：NLPのタスク】
自然言語処理（NLP）における具体的なタスクのうち、「入力された文章が、ポジティブな内容かネガティブな内容かを判定する」という目的で行われるものはどれですか？
A. 機械翻訳 (Machine Translation)
B. 感情分析 (Sentiment Analysis)
C. 固有表現抽出 (Named Entity Recognition)
D. テキスト要約 (Text Summarization)
8. 例題の回答と解説
【問題1 の回答】
正解：A
【解説】 統計的手法（以前の主流）は、単語の出現確率などを計算しますが、文法の構造を人間が設計する必要がありました。一方、深層学習手法（現在の主流）の最大の革命は、大量のデータから「何が重要か（特徴量）」をコンピュータ自身が見つけ出せるようになったことです。B は逆の説明、C は深層学習の方が計算コストが高い（巨大なため）、D は対象とする言語の間違いです。
【問題2 の回答】
正解：B
【解説】 文章の「感情」や「態度」を判定するのは 感情分析 (Sentiment Analysis) です。A は翻訳、C は人名や地名の抽出、D は短縮化のことです。
