【第90回】AIは文の前後関係をどう読む？BERTとは
文章の意味は前後の文脈によって変わります。
それを双方向で理解するモデルがBERTです。
この記事では、文理解に強いモデルをやさしく解説します。
1. 読み方
バート (Bidirectional Encoder Representations from Transformers)
2. 意味（定義）
「TransformerのEncoder部分を利用して、文脈を双方向から読み解くことで、単語の意味を深く理解することに特化したモデル」のことです。
Bidirectional (双方向)（バイ・ディレクショナル）: 文の「左から右」だけでなく、「右から左」からも同時に読みます。
Encoder (エンコーダ): Transformerの「情報を圧縮・抽出する」部分を利用します。
Representations (表現)（レプリゼンテーションズ）: 単語や文を、意味のある数字の塊（ベクトル）に変換します。
【穴埋め問題の達人という例え】
あなたは、文章の中にポッカリと空いた [ 穴 ] を埋めるテストを受けている生徒だとします。「私は [ 穴 ] を食べます」という文があったとき、
従来のモデル: 「私は」という言葉から次の言葉を予測します。「リンゴ」「彼」「車」など…。
BERT: 文全体をパッと見て、[ 穴 ] の前にある「私は」と、「後ろ」にある「食べます」の両方を同時に見ます。前後の文脈（双方向）を両方使うことで、「あ、これは食べ物が入るんだな！」と、極めて高い精度で正解を導き出せます。
3. 歴史・背景
2018年、Googleによって発表されました。それまでのモデルは、文章を「左から右へ」順番に読んでいくものが主流でした（GPTも元々はそうでした）。しかし、これでは文の後半に出てくる単語が、文の前半の内容にどう影響しているかという「文脈の全体像」を捉えるのが難しかったのです。
Googleは、「文章を一度に、双方向から読み込ませれば、もっと深い意味が理解できるはずだ！」と考え、TransformerのEncoder部分を使い、あえて一部の単語を隠して（マスクして）予測させる学習法を開発しました。これがBERTです。この登場により、検索エンジンの精度向上や、自然言語処理のあらゆるタスクで、記録的な精度更新が起こりました。
4. 比較・対比（似た用語との違い）
ここが試験で狙われる「整理」ポイントです！
BERT vs GPT (Generative Pre-trained Transformer)
BERT: 「双方向（Bidirectional）」。文の前後両方から読み込む。「穴埋め問題」が得意。文の意味理解、分類、抽出に強い。
GPT: 「単方向（Unidirectional）」。左から右へ順番に読む。「次の単語を予測する」のが得意。文章生成、対話、お喋りに強い。
BERT vs Transformer
Transformer: 「Encoder」と「Decoder」の両方を持つ、全体の構造・フレームワーク。
BERT: Transformerの「Encoder部分のみ」を使い、双方向学習に特化したモデル。
5. 活用シーン（どんな問題に使うか）
「文の意味を正しく理解する」ことが求められる場面で活躍します。
文章分類 (Text Classification): このメールは「スパム」か「正常」か？ このレビューは「ポジティブ」か「ネガティブ」か？
質問応答 (Question Answering): 与えされた文章の中から、質問に対する答えの箇所を抜き出す。
固有表現抽出 (NER): 文中の「人名」「地名」「組織名」などを特定する。
検索エンジン (Google Search): ユーザーの検索クエリ（検索語句）の意図を正確に理解し、最適なウェブページを表示する。
6. G検定での出題傾向
G検定では、以下のポイントが非常に高い頻度で狙われます！
「双方向性 (Bidirectional)」: 「文の前後両方向からコンテキストを学習する」というキーワードは必須です。
「Masked Language Model (MLM)」: 文の一部を隠して（マスクして）予測させる、という学習手法の名前。
「TransformerのEncoderを利用」: BERTはTransformerの構造のうち、Encoder部分を使っているという点。
「BERT vs GPT の違い」: 「文脈理解・分類のBERT」vs「文章生成・単方向のGPT」という対比。
7. G検定の例題
【問題1：BERTの学習手法】
BERTの学習において、入力文の一部を隠し（マスクし）、その隠された単語を予測させる手法を何と呼びますか？
A. Next Sentence Prediction (NSP)
B. Masked Language Model (MLM)
C. Backpropagation
D. Dropout
【問題2：BERTの構造的特徴】
BERT（Bidirectional Encoder Representations from Transformers）に関する記述として、最も適切なものはどれですか？
A. TransformerのDecoder部分のみを使用し、文章を左から右へと順番に生成することに特化したモデルである。
B. 文の片方向（左から右）のみの情報を利用することで、計算量を大幅に削減したモデルである。
C. TransformerのEncoder部分を利用し、文の前後両方向からコンテキストを学習できる双方向的なモデルである。
D. 画像データのピクセル間の関係性を学習するために、CNNの構造とTransformerを組み合わせたモデルである。
8. 例題の回答と解説
【問題1 の回答】
正解：B
【解説】 文の一部を隠して（マスクして）予測させる手法は、Masked Language Model (MLM) と呼ばれます。A の NSP は「次の文章が続くかどうか」を判定する別の学習タスクです。C は学習の基本アルゴリズム、D は過学習を防ぐための技術です。
【問題2 の回答】
正解：C
【解説】 BERTの最大の特徴は、「TransformerのEncoderを利用」し、「双方向（Bidirectional）」に文脈を捉えることです。A と B は、GPTのような単方向モデルや従来のRNNに近い説明です。D はVision Transformer (ViT) などの画像向け技術の説明であり、誤りです。
