コンテキストウインドウについて（By DeepResearch）

Omicron

了解です。大規模言語モデル（LLM）がコンテキストウィンドウの上限に近づいた際に見られる特徴的な挙動や性能の変化、逆に余裕がある場合の性質について、最新の査読論文を中心に調査します。モデルサイズとの関連性も含めて、一般的な傾向を5000字以上の日本語レポート形式でまとめます。

準備が整い次第、ご報告します。

はじめに

近年、大規模言語モデル（LLM）のコンテキストウィンドウ（モデルが一度に処理できる入力テキスト長）は飛躍的に拡大しつつある (Why Does the Effective Context Length of LLMs Fall Short?) (Long Context RAG Performance of LLMs | Databricks Blog)。従来は512～2048トークン程度が一般的でしたが、GPT-4では128K、Anthropic Claude 2では200Kを超える長さが報告され、研究コミュニティや企業によって数百万トークン規模への拡張も試みられています (Long Context RAG Performance of LLMs | Databricks Blog) (LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens)。コンテキスト長の拡大は、長大な文書全体の理解・要約や大規模な対話履歴の保持、複数文書にまたがる質問応答など、新たな応用の可能性を広げています (Shifting Long-Context LLMs Research from Input to Output ) (Shifting Long-Context LLMs Research from Input to Output )。しかし一方で、モデルがコンテキストウィンドウの上限近くまで長文を与えられた際に、本当にその全情報を有効活用できているのかという疑問が生じています。実際、最新の研究では「LLMの実効的なコンテキスト長」は名目上の上限より短く、訓練時に設定した長さの半分程度に留まることも多いと報告されています (Why Does the Effective Context Length of LLMs Fall Short?)。本レポートでは、2025年3月24日までに発表された最新の査読付き論文を中心に、コンテキスト長がモデルの性能や挙動に与える影響を調査します。特定のモデルに偏らず、GPT系やClaude、Mistralなど様々なLLMに共通する傾向に着目し、以下の観点ごとに議論を進めます: (1) コンテキストウィンドウ上限付近で観察される典型的な挙動、(2) 長大なコンテキストがモデルの性能（精度・一貫性・生成品質など）に与える影響、 (3) パラメータ数などモデル規模による影響の差異、(4) コンテキストに十分な余裕がある場合に見られるモデルの特徴、(5) 位置エンコーディング手法（絶対位置 vs 相対位置）や長文対応の工夫（ALiBiやRoPEなど）との関連性。文献に基づく裏付けを示しつつ、LLMの長文処理能力の現状と課題について考察します。

コンテキストウィンドウ上限付近での典型的な挙動

LLMに極めて長い入力（コンテキスト）を与えた場合、モデル内部で様々な挙動の変化や偏りが生じることが報告されています。まず、位置エンコーディングの外れ値問題があります。Transformerでは各トークンに位置情報を与えるために絶対位置や相対位置のエンコーディングを利用しますが、学習時に遭遇しなかった極端に大きな位置（すなわちコンテキストウィンドウの末尾付近）はモデルにとって**未学習の領域（アウト・オブ・ディストリビューション; OOD）**となります (Exploring Context Window of Large Language Models via Decomposed Positional Vectors)。その結果、コンテキスト長を超えて入力が与えられるとモデル性能が急激に劣化し、言語モデルではパープレキシティ（困惑度）のスコアが急上昇することが報告されています (Exploring Context Window of Large Language Models via Decomposed Positional Vectors)。言い換えれば、モデルは訓練で見た範囲を超える長さでは正しく文脈を扱えなくなりがちです。特にオープンソースのLLMでは、実効的な文脈利用長が訓練コンテキスト長の半分程度に留まるとの指摘もあり (Why Does the Effective Context Length of LLMs Fall Short?)、これは学習データ中の相対的な位置分布が左偏り（序盤の短い文脈が大多数）であるため、遠方のトークン情報を集約する能力が十分に培われないことが原因とされています (Why Does the Effective Context Length of LLMs Fall Short?)。このため、コンテキストの後半（遠い過去）の情報はモデル内で十分活用されず、古い情報の重要度が相対的に低下する傾向があります。

また、コンテキストが極端に長くなると、モデルの注意（アテンション）の偏りも顕著になります。具体的には、「初頭効果（primacy bias）」と「新近効果（recency bias）」と呼ばれる現象が知られています ([2307.03172] Lost in the Middle: How Language Models Use Long Contexts) ([2307.03172] Lost in the Middle: How Language Models Use Long Contexts)。長大な入力においてモデルは、文脈の最初（冒頭）や最後（直近）の部分にある有用情報は比較的拾いやすい一方で、中間に位置する情報の利用が極端に苦手になることが報告されています ([2307.03172] Lost in the Middle: How Language Models Use Long Contexts) ([2307.03172] Lost in the Middle: How Language Models Use Long Contexts)。これは長文質問応答やマルチドキュメントQAの実験で確認されており、質問に対する答えとなる文章片を入力の様々な位置に配置してテストしたところ、答えが文脈の冒頭または末尾にある場合はモデルの正解率が高いが、真ん中付近に埋もれると正答率が大幅に低下するという、いわゆる「U字型の性能曲線」が観察されています ([2307.03172] Lost in the Middle: How Language Models Use Long Contexts) ([2307.03172] Lost in the Middle: How Language Models Use Long Contexts)。この挙動は「途中に埋もれた情報は見落とされやすい」ことを示唆しており、モデルが長い入力全域から均等に情報を引き出せていない証拠といえます。背景には、トランスフォーマーのデコーダにおける自己注意機構が最近接のトークンを優先しがちという傾向があります。例えば、位置エンコーディング手法の一つALiBiでは距離に応じて注意スコアに線形の減衰バイアスを与えるため、自然と直近のトークンほど高い重みを持つ（新近効果）設計になっています () ()。このような注意の偏りにより、文脈末尾に近いトークンの情報ばかりが重視され、先頭から遠く離れたトークンの情報はモデル内部で事実上「忘れられやすい」状態になります (Why I’m not worried about LLMs long context problem. | by Social Scholarly | Feb, 2025 | Medium) (Why I’m not worried about LLMs long context problem. | by Social Scholarly | Feb, 2025 | Medium)。実際、長い会話履歴を持つチャットにおいて、モデルが冒頭の発話内容を忘れ後半で矛盾した応答をするといった現象（いわゆる「文脈の劣化」）は、新近効果に起因する典型例です (Why I’m not worried about LLMs long context problem. | by Social Scholarly | Feb, 2025 | Medium)。さらに報告例として、長文コンテキストを与えられたモデルが文脈全体の内容を把握しきれず、唐突に内容を要約し始めてしまうといった挙動も観察されています (Long Context RAG Performance of LLMs | Databricks Blog)。これはモデルが長すぎる入力に圧倒され、細部の把握を放棄して全体を雑にまとめようとする一種の退行的振る舞いと考えられます。このように、コンテキスト長が上限に近づくにつれて位置エンコーディングの限界や注意機構のバイアスによる影響が表面化し、モデル内部では遠方情報の無視、注意の局所化、文脈の不均一な利用といった典型的挙動が現れます。

長大なコンテキストが性能に与える影響

上記のような挙動の偏りは、最終的にモデルのタスク性能（精度や一貫性、応答の質）にマイナスの影響を及ぼします。まず問合せに対する正確性（精度）の低下が顕著です。例えば前述の「Lost in the Middle」研究では、関連情報が入力の中ほどにある場合にモデルの質問応答精度が著しく低下することが示されました ([2307.03172] Lost in the Middle: How Language Models Use Long Contexts)。同様に、極端に多くの例示や長いデモンストレーションを与えてモデルに分類タスクを行わせるベンチマーク（LongICLBench）でも、デモ例が50Kトークンに及ぶような条件ではどのモデルもタスクを正しく理解できず、精度がほぼゼロにまで落ち込むという結果が報告されています (Long-context LLMs Struggle with Long In-context Learning) (Long-context LLMs Struggle with Long In-context Learning)。このときモデルは、与えられた長大なコンテキスト内の重要な手がかりを統合して推論することに失敗し、直近の情報に引きずられた誤判断をしている様子が観察されています (Long-context LLMs Struggle with Long In-context Learning)。また、モデルの一貫性や論理性の維持も長文では難しくなります。長い入力や対話履歴の中で、序盤に提示された設定や事実関係をモデルが後半まで正確に保持できず、途中で矛盾した内容を生成したり、登場人物や日時など固有情報を取り違えたりするケースが増えると指摘されています (Why I’m not worried about LLMs long context problem. | by Social Scholarly | Feb, 2025 | Medium) (Why I’m not worried about LLMs long context problem. | by Social Scholarly | Feb, 2025 | Medium)。これはモデル内部で長期記憶すべき情報が劣化し、文章全体の整合性を保つ力が弱まるためです。実際、Wuら(2024)やBaiら(2024)の研究では、現行モデルに小説のような非常に長い一貫した文脈を生成させると、数千トークンを超えたあたりから文脈の一貫性や論理的整合性が大きく損なわれることが報告されています (Shifting Long-Context LLMs Research from Input to Output )。生成文の主題がぼやけたり前後で内容が齟齬をきたしたりするなど、長文生成時の品質劣化が確認されています (Shifting Long-Context LLMs Research from Input to Output )。さらに、応答の具体性・詳細度といった生成品質も長文では影響を受けます。Anthropic社のClaudeやOpenAIのGPT-4など長文対応を謳うモデルでも、コンテキストが非常に長くなると回答が漠然とした要約調になり、細部の言及が減る傾向があると指摘されています (Long Context RAG Performance of LLMs | Databricks Blog)。これは前述の注意バイアスによる情報圧縮の影響で、モデルが詳細を拾う余裕をなくし「大局的なまとめ」でお茶を濁すためと考えられます。また一部のモデルでは、長すぎる入力に対し**「著作権に関わる可能性がある」などとして回答自体を拒否するような挙動も観察されており (Long Context RAG Performance of LLMs | Databricks Blog)、極端な長文入力はモデルの安全策（フィルタ）を誤作動させる一因にもなりえます。以上のように、コンテキストが長大になるほどモデルの理解・応答性能は全般に低下しがちであり、特に必要情報の見落としによる精度低下や、一貫性の崩壊、回答の曖昧化といった形で影響が現れます ([2307.03172] Lost in the Middle: How Language Models Use Long Contexts) (Long Context RAG Performance of LLMs | Databricks Blog)。ただし、この劣化の度合いはモデルの種類や訓練次第で大きく異なる**ことにも注意が必要です (Long Context RAG Performance of LLMs | Databricks Blog)。

モデル規模（サイズ）による影響の差異

コンテキスト長に対する耐性や挙動の違いは、モデルの規模（パラメータ数や訓練コーパス量）によっても差異が認められます。一般に、大規模なモデルほど長文を扱う能力が高い傾向が指摘されています (Long Context RAG Performance of LLMs | Databricks Blog)。例えば、Databricks社の実験では40B規模のLlama 3.1モデルでは入力長が32Kトークンを超えたあたりから性能低下が始まったのに対し、より大規模なGPT-4では64Kトークン程度まで性能を維持できたと報告されています (Long Context RAG Performance of LLMs | Databricks Blog)。これはモデル規模が大きいほど内部の表現次元や注意ヘッド数が多く、長距離の依存関係を捉える容量が相対的に大きいことや、学習時に大量データからより長い文脈パターンを獲得している可能性があるためと考えられます。また、大規模モデルはベンチマーク上でも長文にまたがる複雑な質問応答や要約タスクで小規模モデルを上回る傾向が報告されています (Currently best small LLM model with very large context window?) (Why Does the Effective Context Length of LLMs Fall Short? - arXiv)。一方で、モデル規模が大きければ無条件に長文に強いというわけではなく、各モデルがどの程度「長文用の追加訓練」や「適切な位置エンコーディング調整」を受けているかが重要です (Long Context RAG Performance of LLMs | Databricks Blog)。実際、GPT-4やClaude 2などは長大なコンテキスト対応のために専用の訓練やファインチューニングが施されていますが、同程度のパラメータ数でも訓練で長文を見ていないモデルでは類似の長文耐性を示さないことがあります (Long Context RAG Performance of LLMs | Databricks Blog)。各モデルを詳細に比較した研究によれば、モデルごとに長文における「失敗パターン」が異なることも分かっています (Long Context RAG Performance of LLMs | Databricks Blog)。例えば、あるモデルは長文でも論理的なまとまりは維持するが細部の再現性が低下しやすい（全体を通して矛盾はないが詳細を省略する）一方、別のモデルは細部の正確な想起は得意だが全体の一貫した推論が苦手、といった差異が観察されています (Why I’m not worried about LLMs long context problem. | by Social Scholarly | Feb, 2025 | Medium)。これはモデルの規模だけでなくアーキテクチャ上の工夫や訓練データの特性によって長文時の挙動が変化することを示唆しています。実際、オープンソースの小規模モデルでも長文専用の追加学習を行うことで劇的に性能が向上した例があり、Llama2 7Bを長文データで追加事前学習した研究では数十kの文脈長でも大規模モデルに迫る性能を示しています (YaRN: Efficient Context Window Extension of Large Language Models | OpenReview) (Why Does the Effective Context Length of LLMs Fall Short?)。以上より、大きいモデルほど長文への適応力は高い傾向があるものの、長文処理能力を発揮するには相応の訓練・調整が不可欠であり、モデル規模とコンテキスト長耐性の間には単純でない相互作用があるといえます。

コンテキストに余裕がある場合のモデル特性

逆に、コンテキストウィンドウに十分な余裕がある（= 実際の入力長がウィンドウ上限のごく一部に留まる）場合、モデルはおおむね安定した挙動と性能を示します。まず、文脈長が適度であればモデルの予測困惑度（パープレキシティ）は低く安定しており、学習時に経験した範囲内であれば入力位置が後半に及んでも性能劣化は見られません ()。実効的な文脈長が訓練長の半分程度に留まるという報告は裏を返せば半分程度の長さまでは安定して情報を活用できていることを意味し (Why Does the Effective Context Length of LLMs Fall Short?)、訓練でカバーされた長さ内ではモデルは文脈全域から必要な情報を引き出せています。実際、オープンソースLLMの評価においても、コンテキスト長を短め（例えば数千トークン程度）に抑えれば、関連情報が入力のどこに現れても問題なく活用できることが示唆されています (Why Does the Effective Context Length of LLMs Fall Short?)。このような場合、前述のようなU字型の精度低下は生じず、中間に埋もれた情報でもモデルが適切に対処可能となります。さらに、余裕あるコンテキストではモデルの「記憶」が安定します。長すぎる入力ではモデルが古い情報を圧縮・要約しながら処理している可能性がありますが (Why I’m not worried about LLMs long context problem. | by Social Scholarly | Feb, 2025 | Medium)、適度な長さであれば各トークンの情報が埋もれずに保持されるため、モデルは冒頭の指示や事実を最後まで忘れず一貫して従うことが期待できます。実験的にも、コンテキスト長を延長する特殊な手法を適用した場合、コンテキスト内外で位置表現の一貫性が保たれ、長い入力でも性能が安定することが確認されています (Exploring Context Window of Large Language Models via Decomposed Positional Vectors)。逆に言えば、標準モデルでもコンテキストが十分短い範囲では位置エンコーディングが正常に機能し、長期依存の減衰も緩やかであるため、モデル内部で初期トークンが「アンカー（錨）」として働きつつ後続トークンの注意制御が適切に行われます (Exploring Context Window of Large Language Models via Decomposed Positional Vectors)。その結果、情報保持の不均衡が生じにくく、必要に応じて**文脈内の情報を再利用（引用・反復）**するといった挙動も容易になります。例えば対話において、適切な長さの履歴内であればモデルは過去の発言を正確に参照し、ユーザが以前に提供した事実を後の応答で再利用するといった振る舞いを示します。以上のように、コンテキストに余裕がある場合、モデルの記憶・注意機構は安定に働き、長文による性能劣化や情報欠落が起こりにくいと言えます (Why Does the Effective Context Length of LLMs Fall Short?)。このことは、長大なコンテキストを扱う際には常にウィンドウを目一杯使うのではなく、本当に必要な情報のみを適切な長さで提示する方がモデル性能を引き出せる可能性を示唆しています。

位置エンコーディング手法と長文対応技術との関連

LLMの長文性能を語る上で、位置エンコーディング（Position Encoding, PE）戦略と各種の長文対応テクニックは避けて通れません。Transformerモデルでは、系列長の情報を符号化するために絶対位置PEまたは相対位置PEが導入されます (Exploring Context Window of Large Language Models via Decomposed Positional Vectors)。絶対位置PEは入力位置そのものに対応するベクトルやサイン波エンコーディングを付与する方式で、Transformer論文で提案された周期的サインカーブ埋め込み（Sinusoidal PE）や学習可能埋め込みが該当します。一方、相対位置PEはトークン間の距離に着目し、クエリとキーの組み合わせごとに距離に応じたバイアスや重みを付与する方式で、Shawら(2018)の相対位置ベクトルやT5モデルの相対位置エンコーディングが代表例です ()。一般に長文への汎化という観点では、相対位置PEの方が有利であると考えられています ()。実際、ある研究ではSinusoidalやRotary、ALiBiといった近年広く使われているPE手法を比較した結果、下流タスクにおける長さ一般化性能はT5の相対位置PEが最も優れ、絶対位置PEやRoPE・ALiBiより高精度だったと報告されています ()。さらに極端な例として、**明示的な位置エンコーディングを一切使用しないモデル（NoPE）**であっても、内部で位置に関する暗黙の表現を学習することで一定の性能を示し、長さ一般化では既存のPE手法を上回る場合があることも示されています () ()。このような知見から、位置エンコーディング方式そのものが長文挙動に影響を与える主要因であり、適切な方式を選ぶことでモデルの長文耐性を高められる可能性があります。

実際、「訓練時より長い入力への対応」という課題に対しては、近年いくつかのPE改良手法が提案されています。先述のALiBi（Attention with Linear Biases）はその代表で、距離に応じた線形バイアスを注意スコアに与えることで相対的な位置情報を注入し、モデルに訓練時以上の長さでも安定した性能を発揮させる手法です ()。Ofir Pressらの報告によれば、ALiBiを用いることで1.3Bパラメータの言語モデルを1024トークンで訓練しつつ、推論時2048トークンに拡張しても、初めから2048トークンで訓練したモデルと同等のパープレキシティを達成できたといいます () ()。これはSinusoidal PEのモデルでは達成できなかった長さ方向の汎化であり、ALiBiによる明示的な新近効果バイアスが長文入力への適応を可能にした例と言えます。また、GPT-3やLLaMAモデルで採用されたRoPE（Rotary Position Embedding）も近年注目される手法です。RoPEはトークンのベクトル表現を位置に応じて複素平面上で回転させる形式で、距離が離れるほど異なる位相となるため注意スコアが自然と減衰する（長距離の相関が小さくなる）特性を持ちます (Exploring Context Window of Large Language Models via Decomposed Positional Vectors)。RoPE自体は相対位置PEの一種ではありませんが、その「長距離での相関減衰」により長文で安定しやすいことから、多くの長文LLMで採用されています (Exploring Context Window of Large Language Models via Decomposed Positional Vectors)。しかしRoPEも学習時の長さを超える位置では真価を発揮できず、そのままでは依然としてOOD問題に直面します (Exploring Context Window of Large Language Models via Decomposed Positional Vectors)。そこで、RoPEの拡張として基底角周波数の調整や位置インデックスのスケーリングなどが提案されています (Exploring Context Window of Large Language Models via Decomposed Positional Vectors)。OpenAIの提案した手法（通称「NTK方式」）ではRoPEの計算に用いる角度をスケーリングし、学習時より長い系列でも内挿的に位置を割り当て直すことで性能劣化を抑える工夫がなされています (Exploring Context Window of Large Language Models via Decomposed Positional Vectors)。また、Chen et al.(2023)の位置インデックス再マッピングやDing et al.(2024)のLongRoPEでは、学習済みの位置空間をシフトあるいは繰り返し適用することで2048k（約200万）トークンという超長文入力にまで対応する試みが報告されています (Why Does the Effective Context Length of LLMs Fall Short?) (LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens)。特にLongRoPEは8倍のスケーリングを追加学習なしで実現し、2Mトークンの入力を可能にしたとされます (LongRoPE: Extending LLM Context Window Beyond 2M Tokens)。このように位置エンコーディング側の工夫によって、モデルアーキテクチャを大きく変更せずに長文対応能力を高める研究が進んでいます。

長文対応技術は他にも、データ面の工夫やモデルアーキテクチャの変更といったアプローチがあります。データ面では、コンテキスト長拡大のために長文の合成データを生成して追加学習する手法が取られています (Why Does the Effective Context Length of LLMs Fall Short?)。例えばLlama 3.1では128Kという長いコンテキストを活かすため、ハイパーリンクで繋がれた複数文書を連結した長文コーパスでの継続学習が試みられています (In the long (context) run | Harm de Vries)。しかし自然発生的な超長文データは限られるため、効率的なデータ拡張が課題です (Why Does the Effective Context Length of LLMs Fall Short?)。一方、モデルアーキテクチャではTransformerを拡張した長距離アテンション機構（例えばSparse AttentionのLongformerやBigBird）、あるいは再帰型・状態空間型のモデル（Transformer-XLやRetNet、S4モデルなど）への転換も検討されています (Long-context LLMs Struggle with Long In-context Learning)。これらは構造的に長い依存関係を扱いやすくし、コンテキスト長にスケーラブルな特性を持たせる試みです。例えばTransformer-XLはセグメント間で隠れ状態をキャッシュすることで実質的に無限長の文脈を扱えるようにし、AlphaStarなどで長時間の系列処理に応用されています。また最近では、Retrieval-Augmented Generation（RAG）との組み合わせで長大文脈を内部メモリのように扱う発想もあります (How Long-Context LLMs are Challenging Traditional RAG Pipelines)。長いコンテキストウィンドウを一種のデータベースに見立て、必要な情報を余裕を持って詰め込んでおき生成に活用するアプローチですが、研究によれば**ある程度までは性能向上するものの、一定以上文脈を増やすとかえって出力品質が低下する「逆U字現象」**が確認されています (Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG | OpenReview)。このため、単に長文を与えればよいわけではなく、ノイズや不要情報を減らしモデルが扱いやすい形で長文を供給する工夫が重要とされています (Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG | OpenReview)。最近の研究では、長文入力時の「難事例」（hard negatives）の影響を和らげるために検索順序を工夫したり、モデルを長文RAGタスクに特化して微調整することでロバスト性が向上することも示されています (Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG | OpenReview) (Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG | OpenReview)。

おわりに

本稿では、大規模言語モデル（LLM）のコンテキストウィンドウ長がモデル挙動と性能に与える影響について、最新の研究知見を整理しました。コンテキストが上限に近づくと、位置エンコーディングの未学習領域に起因する性能劣化や、注意機構の新近バイアスによる情報保持の不均衡化などが生じ、結果として精度低下や一貫性の崩壊、応答の質の低下といった問題が現れることを示しました (Exploring Context Window of Large Language Models via Decomposed Positional Vectors) ([2307.03172] Lost in the Middle: How Language Models Use Long Contexts)。モデルの規模が大きいほど一般に長文への耐性は高いものの、適切な訓練と工夫がなければ真の長文理解は実現できず、モデルごとに異なる失敗パターンがある点にも触れました (Long Context RAG Performance of LLMs | Databricks Blog) (Long Context RAG Performance of LLMs | Databricks Blog)。一方で、コンテキストに余裕がある場合にはモデルは安定した性能を示し、情報を再利用しながら一貫した応答を維持できることも確認されています (Why Does the Effective Context Length of LLMs Fall Short?) (Exploring Context Window of Large Language Models via Decomposed Positional Vectors)。これらの知見は、LLMを長文タスクに適用する際には単にウィンドウを拡大するだけでなく、モデルが有効に扱える文脈長内に情報を整理することや、位置エンコーディングの工夫・長文訓練データの投入によってモデル自体の長文適応性を高めることが必要であることを示唆します。幸い、ALiBiやRoPEの改良、StRingやLongRoPEといった新手法、長文RAGの最適化など、LLMの長文対応力を向上させる研究は急速に進展しています () (Why Does the Effective Context Length of LLMs Fall Short?)。今後、これらの技術が成熟し大規模言語モデルが真に「長文を最後まで読み解ける」能力を獲得すれば、数十ページに及ぶ文書の質疑応答や長期間にわたる対話エージェントなど、さらなる応用の地平が開けるでしょう。その実現に向け、引き続き長文におけるモデルの挙動を正しく評価・分析し、ボトルネックを解消する研究が求められています。

===

了解です。2024年12月以降（過去3ヶ月以内）に発表された論文を優先し、必要に応じて2024年9月以降（過去6ヶ月以内）の研究も補完的に参照します。論文に加え、OpenAI、Google、Meta、Anthropic、DeepSeekなど主要な開発元の公式発表も情報源として活用します。

5000文字以上の日本語による査読論文形式のレポートとして、準備が整い次第お届けします。

1. コンテキストウィンドウ上限付近での典型的挙動

大規模言語モデル(LLM)は入力長がコンテキストウィンドウの上限に近づくと、内部でいくつか顕著な挙動変化が見られる。まず、モデルが訓練時に想定していない長さの入力に直面すると位置エンコーディングの外挿限界に達し、入力系列中の単語位置情報が分布外となってしまう ()。絶対的な位置表現（固定長の位置埋め込み）を用いるモデルでは、上限を超えた位置について適切な表現を持たないため、意味不明な出力や極端な性能劣化が生じ得る (Finetuning Large Language Models for Longer Context Lengths - Esperanto Technologies)。例えば、ChatGPTのようなインターフェースでは入力が長すぎる場合にモデルが一貫性を失わないよう自動でトークンを切り捨てているが、もし上限を超えてそのまま与えれば文脈を保持できず破綻した応答となることが指摘されている (Finetuning Large Language Models for Longer Context Lengths - Esperanto Technologies)。

また、注意機構におけるバイアスも長文入力時に問題となる。Transformerの自己注意では通常全トークン同士の関係を計算するが、コンテキストが極端に長くなると、モデルは入力の序盤や末尾に偏った重み付けを行い、中盤の情報を十分活用できない傾向が報告されている ()。実際、長大な文脈で質問応答を行うと、入力序盤（プライマシー効果）と終盤（リーセンシー効果）にある手がかりには反応できても、中盤に埋もれた重要情報を見落とすケースが多い。この現象は「Lost-in-the-Middle（中程の情報の消失）」と称され、LLMの長文理解上の課題として知られている ()。たとえばLiuら(2023)の実験では、数千トークンに及ぶ文書中の重要事実をモデルに問うと、文書の中央付近にある事実に関する質問で正答率が顕著に低下することが示された ()。これはモデルが位置に基づく注意バイアスを持ち、真ん中の文脈をうまく活用できないためと分析されている。さらに別の研究では、非常に長い入力では性能曲線がU字型を描き、冒頭と末尾で相対的に高く中間で低い傾向（顕著なプライマシー・リーセンシーバイアス）が確認されている ()。

以上のように、コンテキスト長の限界付近では**(a)位置エンコードの表現能力限界と(b)注意メカニズムの非一様性という二つの要因が典型的挙動として現れる () ()。前者によりモデルは訓練で観測していない長さに対処できず性能が大幅低下し、後者により長文内の情報利用に偏りが生じて一貫した長文理解が困難となる。これらの現象はモデル規模やアーキテクチャにも依存するが、基本的には既存のLLMが持つコンテキスト長一般化能力の限界**を示している。なお、近年提案されている対処法（後述）ではこれらの問題の緩和が試みられているが、長文入力時のモデル挙動として「文脈上限付近での不安定化」は依然重要な分析対象である () ()。

2. コンテキスト長拡大による性能への影響

コンテキストウィンドウが限界に近づくと、モデルの性能（精度・一貫性・生成品質）にも顕著な影響が及ぶ。まずタスク精度の観点では、入力長の増大に伴い質問応答や推論正答率が低下することが知られる。上述の「Lost in the Middle」現象により、文脈の途中にある重要情報をもとに正確に回答することが難しくなり、結果としてモデル出力の正確性が落ちる ()。また、コンテキストが長くなるほど、モデルは以前の文脈を部分的に忘れたり無視したりする傾向が強まるため、一貫性の維持も難しくなる。長大な会話履歴を与えた場合、冒頭の指示や設定をモデルが後半で逸脱してしまうケースも増えると報告されている ()。これは注意メカニズムが遠方のコンテキストを捉えきれず、直近の文脈に偏重するためであり、結果的に生成内容の一貫性低下や矛盾を招きうる。

さらに、コンテキスト長が訓練時の想定を超える領域では、モデルの言語生成品質そのものが劣化する場合がある。Chenら(2023)やPengら(2023)の研究では、LLMの入力長を延長する様々な手法を試みた結果、長文入力処理能力と引き換えに短文タスクでの性能が低下する「トレードオフ」が観察された ()。すなわち、コンテキストを拡張する継続学習を行うとモデル内部の表現分布が変化し、短い入力での既存能力が一部損なわれる（いわゆる「破滅的忘却」）傾向がある ()。このため、安易にコンテキスト上限を引き上げると、従来できていたタスク（短いプロンプトでの質問応答など）の精度が下がるリスクが指摘されている ()。

もっとも、最近ではモデルの改良によりこれら性能劣化を最小限に抑えつつ長大な文脈を扱う例も出現している。Anthropic社が2024年に発表したClaude 3では、最大20万トークン（約数百ページ相当）の入力から情報を正確に検索・想起でき、99%以上というほぼ完璧な長文リコール精度を達成したと報告している (Introducing the next generation of Claude \ Anthropic)。同モデルはNeedle in a Haystack (NIAH)と呼ばれる評価で、30文書に埋め込まれたランダムな事実を質問するタスクにおいて、100万トークン級の長大な入力からでも目的の事実を漏らさず見つけ出せた (Introducing the next generation of Claude \ Anthropic)。これは極端に長い文脈でも重要情報を取りこぼさない性能を示したものである。同様に、Google DeepMindのGemini 1.5 Proも長文耐性に優れ、100万トークンにおよぶテキスト中の「針の一穴」のような断片も99%の確率で検出可能であった (Introducing Gemini 1.5, Google's next-generation AI model)。このように新世代のLLMでは、工夫されたアーキテクチャと訓練によりコンテキスト長を飛躍的に延ばしつつ高い精度を維持することに成功しつつある (Introducing Gemini 1.5, Google's next-generation AI model) (Introducing the next generation of Claude \ Anthropic)。一方で、典型的な既存モデルでは長文入力時に上述の精度低下・一貫性喪失・生成品質劣化が避けられず、コンテキスト長拡大はモデル性能に大きな影響を与える要因となっている。

3. モデル規模や訓練方式による影響差

長文性能への影響は、モデルのパラメータ規模や訓練手法によっても異なる。一般に大規模なモデルほど複雑な長距離依存関係を捉える能力が高く、コンテキスト上限近くでも情報を保持しやすい傾向があると考えられる。例えばOpenAIのGPT-4 Turboは128kトークンという非常に長い文脈に対応するが (GPT-4 - Wikipedia)、これは数千億〜1兆パラメータ規模と推測される巨大モデルの表現容量によって実現されている。対照的に、数十億程度の小規模モデルでは同程度の文脈長を扱えても、その情報を推論に活かす能力が限定的で、長文QAなどでの精度は大型モデルに及ばない場合が多い。実際、社内研究ではLLaMA系の7Bモデルを長文対応に微調整しても、70Bモデルほどには長距離の因果関係を正しく捉えられないことが確認されている（精度面で大モデル優位）と報告されている () ()。このような差異はモデル容量の違いに加え、長文への事前適応度合いにも起因する。すなわち、大規模モデルは訓練中により多様な長さの文脈を経験している可能性が高く、その分長文への頑健性が高い。

一方、訓練方式の工夫によりモデル規模に関わらず長文性能を向上させる取り組みも進んでいる。近年注目されるのがMixture-of-Experts (MoE)と呼ばれるアーキテクチャである。MoEでは多数の専門家ネットワーク（部分モデル）を用意し、入力に応じて一部の専門家のみを動員することで、実効的なパラメータ数を飛躍的に増やしつつ計算コストを抑えられる。DeepSeek-AIによるオープンソースモデル「DeepSeek-V2」はこのMoEを採用した2380億パラメータ相当のモデルで、経済的な学習で128kトークンのコンテキスト長を実現している ([2405.04434] DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model)。DeepSeek-V2ではさらにMulti-Head Latent Attention (MLA)という工夫で、注意機構のキー・バリューキャッシュを低次元の隠れベクトルに圧縮し、長大な文脈でもメモリ使用量を抑えて効率推論が可能となっている ([2405.04434] DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model)。このように大規模MoE＋効率的注意機構という設計で、モデル規模と長文処理能力を両立している点が特徴的である。実際、DeepSeek-V2は2024年5月の公開時に「強力かつ効率的なMoEモデル」として紹介され、低コストで長文推論が可能なことが示された ([2405.04434] DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model)。Gemini 1.5も同様にMoEベースの新世代モデルであり、最大100万〜200万トークンという業界最長のコンテキストを扱える一方、従来の巨大モデル(1.0 Ultra)に匹敵する性能を中規模モデルで達成している (Introducing Gemini 1.5, Google's next-generation AI model) (Introducing Gemini 1.5, Google's next-generation AI model)。これはMoEにより必要な計算を動的に割り振り、無駄なく長文を処理できるようにした成果である。実際、Gemini 1.5 Proは「最も知的な1.0 Ultraに近い品質を、中間サイズのモデルで実現した」とされており、その訓練効率化と長文理解能力が強調されている (Introducing Gemini 1.5, Google's next-generation AI model)。

さらに、コンテキスト拡張の訓練手法による差異も看過できない。従来はモデルを一から長大なシーケンスで学習させるのは計算負荷が大きかったため、多くの手法は既存モデルへの継続学習(finetuning)でコンテキストを拡張する。例えば、位置エンコーディングのスケーリング手法（後述）を用い、LLaMA2などを追加の長文コーパスで数千ステップ微調整することで、比較的低コストにコンテキスト長を8kから32kや128kに拡張する試みがある ()。しかし、このような継続学習では前述のように短文性能の劣化（知識のドリフトや忘却）が起こりやすいため、訓練データの混合や蒸留による対策が取られる ()。Xiongら(2024)は長文適応後に元の短文分布への「復元蒸留(Restoration Distillation)」を行うLongReD手法を提案し、長文対応モデルでも短文タスク性能の99%以上を維持できたと報告している ()。同様にLongLoRAやShort-Long Distillationといったテクニックにより、長短両レンジで高性能を維持する試みがなされている ()。このように、モデル訓練戦略次第で長文対応のコストや影響は大きく変化する。総じて、モデル規模（パラメータ数・アーキテクチャ）と訓練方式の両面で工夫を凝らすことで、最新のLLMはコンテキスト長を飛躍的に拡大しつつ性能劣化を抑える方向に進んでいると言える。表1に2024年末〜2025年初頭に登場した主な長文対応モデルの仕様をまとめる。

        Gemini 1.5 Pro 2M context window, code execution capabilities, and Gemma 2 are available today
        
        
        - Google Developers Blog
        
    ](https://developers.googleblog.com/en/new-features-for-the-gemini-api-and-google-ai-studio/#:~:text=At%20I%2FO%2C%20we%20announced%20the,5%20Pro%20for%20all%20developers))</td></tr>

表1: 最新モデルのコンテキスト長と長文対応性能の比較（2024年末〜2025年初頭）。GPT-4 TurboはOpenAIによるGPT-4の強化版で128Kという大規模文脈を実現 (GPT-4 - Wikipedia)。Claude 3は業務用途で100万トークン規模の入力も処理可能とされ (Claude (language model) - Wikipedia)、Claude 3.5ではエンタープライズ向けに50万まで拡張されている (DeepSeek and Making the Right LLM API Call in 2025 | by David Haberlah | Jan, 2025 | Medium)。Gemini 1.5 ProはGoogle DeepMindの次世代モデルで200万トークンに到達し ([

        Gemini 1.5 Pro 2M context window, code execution capabilities, and Gemma 2 are available today
        
        
        - Google Developers Blog
        
    ](https://developers.googleblog.com/en/new-features-for-the-gemini-api-and-google-ai-studio/#:~:text=At%20I%2FO%2C%20we%20announced%20the,5%20Pro%20for%20all%20developers))、MoEにより効率良く長文を扱う。DeepSeek-V2はオープンソース界で長文特化を打ち出した事例である。

4. コンテキストに余裕がある場合のモデル挙動

一方、コンテキストウィンドウに十分な余裕がある場合、モデルはより安定した振る舞いを示す。文脈容量に余裕があるとは、入力長が上限のごく一部に留まっている状態であり、このときモデルは全入力情報を損なうことなく注意にかけることができる。例えば従来4K長上限のモデルに対し2K程度の入力であれば、モデルは注意重みを割り振る際に極端なトレードオフを強いられず、出力の一貫性や関連性が高く保たれる (Introducing Gemini 1.5, Google's next-generation AI model)。Googleによれば、モデルの文脈容量が大きいほど一度に取り込める情報量が増え、その結果応答の一貫性・関連性・有用性が向上するとされる (Introducing Gemini 1.5, Google's next-generation AI model)。これは、コンテキストに余裕があることで重要な前文脈を切り捨てたり圧縮したりする必要がなく、モデル内部で完全に保持できるためである。

実際、十分大きなコンテキストウィンドウを持つモデルでは、長大な入力でも情報損失なく処理可能となる。例えばGemini 1.5 Proは約70万語（100万トークン相当）ものテキストを1回のプロンプトで与えられても動作し、アポロ11号の402ページにわたるミッション記録全文を入力として与えた場合でも、会話の文脈や出来事の詳細を跨いだ複雑な推論を行うことができたという (Introducing Gemini 1.5, Google's next-generation AI model)。このようにモデルに十分な「記憶容量」があると、従来は部分ごとに要約せざるを得なかった膨大な情報源を一括で保持・参照しながら推論することが可能になる。長大なコードベースの解析でも、10万行を超えるコードを一度に読み込み関連する部分を突き合わせてバグ修正の提案を行う、といった高度な問題解決が報告されている (Introducing Gemini 1.5, Google's next-generation AI model)。これは人手では困難な広範囲の文脈統合をモデルが自動で行えることを示し、大きな文脈容量の利点である。

また、コンテキストに余裕がある場合にはモデル応答の安定性も増す傾向がある。文脈が逼迫しているときモデルは最新の発話や直近の情報を優先しすぎて初期の指示を忘れることがあるが、余裕があれば会話の冒頭から末尾まで満遍なく保持できるため、文脈飛びや不要な繰り返しが減る。AnthropicはClaude 3で長大文脈を扱う際の「ほぼ完璧な記憶」を謳っており、途中に挿入された不自然な文（人為的な紛れ込み）すら検知できたと述べている (Introducing the next generation of Claude \ Anthropic)。これは大きなウィンドウがあるおかげで文脈全域を精緻に参照でき、結果として高い信頼性を発揮した例である。もっとも、文脈容量が大きいからといって不要な情報まで詰め込むと、モデルは重要度の低い部分にも注意を割いてしまいかえって効率が落ちる可能性がある。そのため、余裕がある場合でも入力は適切に要約・抽出された有用な情報に留めることが望ましい。実務上は、長大なコンテキストを持つモデルでも関連性の薄い情報は自動的に重みを下げる注意の選択能力（後述のInfinite Retrieval等）を組み合わせることが提案されている (Advancing Long-Context LLM Performance in 2025 – Peek Into Two Techniques | Flow AI)。要するに、コンテキストに余裕がある状況ではモデル本来の性能を遺憾なく発揮でき、情報を欠落させず整合的な応答生成が可能になるが、無制限に情報を詰め込めばよいわけではなく内容の取捨選択も依然重要である。

5. 位置エンコーディング手法や長文対応技術との関連

LLMの長文性能には、位置エンコーディング（Positional Encoding: PE）手法が密接に関わっている。Transformerモデルではトークンの位置情報を何らかの形でエンコードし、系列長に対する一般化能力を獲得させる。伝統的には絶対的位置エンコーディング（固定次元の位置ベクトルを各トークンに付与）が使われてきたが、この方法ではモデルが訓練されたコンテキスト長以上の位置を扱えないという制約がある ()。例えばGPT-2では学習時に最大1024トークンの位置埋め込みを持ち、それを超える長さでは未定義のベクトルとなってしまう。その結果、絶対位置方式のモデルは所定の最大長を超えると極端に性能が悪化し、事実上コンテキストウィンドウ長がハード上限となる ()。一方、近年主流となっている相対的位置エンコーディングでは、トークン間の相対的距離や順序のみをエンコードするため理論上は無限長の入力も扱える。代表的な相対PEとしてはT5モデルのように距離に応じたバイアスをAttentionに加える方式や、ALiBi (Attention with Linear Bias) と呼ばれる手法で距離に比例したスコア減衰を組み込む方式などがある (Gradient Blog: Scaling Rotational Embeddings for Long-Context Language Models )。ALiBiは学習外の長さにもその減衰を直線的に外挿できるため、モデルを再学習せずとも長い入力への対応力が向上することが報告されている。もっとも、この手法は遠方のトークンの影響力を一律に小さくするため長距離依存の表現力に限界があり、極端に長い依存関係の把握には不利となる場合もある。

現在の長文LLMで広く使われているのはRoPE (Rotary Position Embedding)と総称される一連の手法である (Gradient Blog: Scaling Rotational Embeddings for Long-Context Language Models )。RoPEはトークンの埋め込みベクトルに位置に応じた回転変換（複素数平面上の位相回転）を施すもので、位置の差がベクトルの内積に影響を与えるため相対的位置関係を内在的にエンコードできるのが特徴だ (Finetuning Large Language Models for Longer Context Lengths - Esperanto Technologies)。LLaMAやMistralなど多くのLLMがRoPEを採用しており、長文対応の研究もこの方式を前提に進められている (Finetuning Large Language Models for Longer Context Lengths - Esperanto Technologies)。RoPE自体は数式的には任意長のシーケンスに適用可能だが、問題は訓練時に観測していない長さでは回転角度が未経験の領域に達する点である (Gradient Blog: Scaling Rotational Embeddings for Long-Context Language Models )。位置角度が2πを超えて回転が一巡するとモデルにとっては見たことのない周期的パターンとなり、結果として長い入力で予期せぬ挙動を示す（精度低下や繰り返し出力など）ことが知られる (Gradient Blog: Scaling Rotational Embeddings for Long-Context Language Models )。これに対処するため、近年はいくつかのRoPE拡張技術が提案されている ()。代表的なものを以下に挙げる。

以上のような技術に加え、Absolute位置埋め込みを相対方式に置き換える手法（例えば既存モデルのPE層をALiBiやRoPEに差し替えて再学習する）も試みられている。Meta社のLLaMA 2はもともとRoPE採用であったが、一部の研究者はそれ以前のGPT系モデルにもRoPEやALiBiを適用して長文対応させる実験を行っている (Gradient Blog: Scaling Rotational Embeddings for Long-Context Language Models )。こうした研究開発の結果、2024年以降の最先端LLMでは軒並み相対位置エンコーディングが採用され、コンテキスト長の飛躍的延長が可能となった。例えばOpenAIのGPT-4 Turbo (2024)は従来32Kだった文脈長を128Kに拡大したが (GPT-4 - Wikipedia)、その裏には公開されていない独自のRoPE拡張や長文学習データ投入があると推測される。AnthropicのClaude 3も100K超の長文コーパスで追加訓練を施したとみられ、同社は「モデルが長文でも最初から最後まで正確に覚えている（near-perfect recall）」と述べている (Introducing the next generation of Claude \ Anthropic)。総じて、位置エンコーディング手法の選択と改良がLLMの長文対応能力を決定づけており、絶対位置埋め込みから相対位置表現へのシフト、およびRoPEのような高度な手法への適応が、2024年末〜2025年初頭に登場した新モデルの鍵となっている () ( LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens | Fan Pu Zeng )。今後も効率的な長文処理を可能にする位置エンコード戦略（例えばキャッシュの階層管理や動的スライディングウィンドウとの組合せ (Advancing Long-Context LLM Performance in 2025 – Peek Into Two Techniques | Flow AI) (Advancing Long-Context LLM Performance in 2025 – Peek Into Two Techniques | Flow AI)）が探求されており、コンテキストウィンドウの拡大とモデル性能の両立がさらに進むと期待される。

参考文献（一次資料）: 本稿で引用した文献・情報源には、OpenAIのGPT-4 Turbo発表【8】、AnthropicのClaude 3報告【3】【28】、Google DeepMindのGemini 1.5公式ブログ【12】【14】、DeepSeek-AIの技術報告【34】、および近年の研究論文【17】【22】【16】などを含む。各引用中の番号は該当文献の該当箇所を示している。

いいなと思ったら応援しよう！