ディープラーニングの基本＃８：アテンション（Attention）とトランスフォーマ（Transformer）の仕組み
AttentionとTransformerの仕組み
RNNは時系列データを扱うための重要な技術でしたが、「長い系列になると過去の情報を保持しにくい」「順番に処理するため並列化が難しい」という本質的な制約を抱えていました。こうした課題を根本から解決したのが Attention（注意機構） と、それを中核に据えた Transformer です。現在の生成AIや大規模言語モデルの多くは、このTransformerを基盤として成り立っています。
Attentionの基本的な考え方
Attentionとは、入力データ全体の中から「今の処理にとって重要な部分」を動的に選び出す仕組みです。
人間が文章を読むとき、すべての単語を同じ重みで理解するのではなく、文脈に応じて重要な語句に注意を向けます。Attentionは、この「注意の向け方」を数理的に表現したものだと考えると分かりやすいでしょう。
従来のRNNでは、情報は順番に伝えられるため、遠く離れた要素同士の関係を捉えるのが困難でした。一方でAttentionでは、入力全体を同時に参照しながら関係性を評価できるため、長距離の依存関係も直接扱うことが可能になります。
クエリ・キー・バリューという考え方
Attentionを理解するうえで欠かせないのが、クエリ（Query）・キー（Key）・バリュー（Value） という3つの概念です。
まず、
クエリ（Query）：
「今、何を知りたいのか」を表す情報キー（Key）：
各要素が「どんな特徴を持っているか」を示す目印バリュー（Value）：
実際に取り出され、集約される情報
と考えると理解しやすくなります。
Attentionでは、クエリとキーの関係性を評価し、「どのキーがクエリにとって重要か」を計算します。その重要度に応じて、対応するバリューが重み付けされ、最終的な出力が作られます。
文章処理を例にすると、
クエリ：今注目している単語
キー：文中のすべての単語の特徴
バリュー：各単語が持つ意味情報
という関係になります。
この仕組みによって、「どの単語が、今の単語の理解にどれだけ関係しているか」を柔軟に判断できるようになります。
Self-Attentionによる文脈理解
Transformerで使われているのは、Self-Attention と呼ばれる仕組みです。
Self-Attentionでは、クエリ・キー・バリューのすべてが 同じ入力データから作られます。つまり、文章全体の中で、各単語が他のすべての単語を参照し合いながら意味を更新していくイメージです。
これにより、
主語と述語の関係
指示語と参照先
文全体の流れや意味
といった文脈情報を、距離に関係なく捉えられるようになります。RNNでは難しかった「文の最初と最後の関係」も、Self-Attentionでは自然に扱えるのが大きな特徴です。
Transformerがもたらした変化
Transformer は、このAttentionを中心に据えたモデル構造です。
最大の特徴は、RNNのように順番に処理する必要がない点にあります。
その結果、
入力全体を一度に処理できる
並列計算が可能になる
大規模データでも高速に学習できる
といった利点が生まれました。
この構造により、位置情報の扱い(位置エンコーディング)が必要になりましたが、学習速度と性能の両面で大きな進歩が生まれました。
GPUやTPUといった計算資源を最大限に活用できるようになり、モデルの大規模化が一気に進みました。
Transformerの登場は、自然言語処理の分野に大きな転換点をもたらし、その後のモデル設計の主流となっています。
生成AIとの関係
現在注目されている 大規模言語モデル（LLM） や 生成AI の多くは、Transformerをベースにしています。
文章生成、翻訳、要約、対話といった高度なタスクが実現できている背景には、Attentionによって文脈全体を柔軟に扱えるようになったことがあります。
このように、AttentionとTransformerは、
RNNの限界を超え
大規模データと計算資源を最大限に活かし
現在のAI技術の基盤を形成した
極めて重要な要素技術だと言えるでしょう。
ここまでお読み頂きありがとうございます。
AIって何？ AIの歴史から最新情報まで、わかりやすく説明した、
これまでの記事（マガジン）の一覧をプロフィールページにまとめています。
AIの全体像をつかむヒントになると思いますので、ぜひご覧ください。
＜前へ
ディープラーニングの基本＃７｜RNN（再帰型ニューラルネットワーク）とは
免責事項
・本記事は生成AI（ChatGPT等）を活用して執筆しています。内容の正確性・最新性には十分配慮しておりますが、誤りや古い情報が含まれる場合があります。ご利用・ご判断はご自身の責任でお願いいたします。万一、著作権等に問題がある場合はご連絡ください。
