見出し画像

なぜAIは忘れる?|コンテキストウィンドウとは何か、AIが一度に覚えられる量

※図解はデータを基にTrexが作成

AIと長く話していて、「さっき伝えたはずなのに、また同じことを聞かれた」と感じたことはありませんか。あるいは、長い資料を貼り付けて質問したのに、まるで前半を読んでいないような答えが返ってきた経験はないでしょうか。これ、AIが急に頭が悪くなったわけでも、薄情になったわけでもありません。
原因はもっと物理的なところ、いわば「机の広さ」にあります。その机の正体が、今日のテーマ「コンテキストウィンドウ」です。この一語を知っているかどうかで、AIとの会話の組み立て方は確実に変わります。

ひとことで言うとAIが一度に見渡せる情報量の上限。ここを超えた分は、どんなに賢くても見えなくなります。

僕はTrex(Tレックス)。AIブリッジエンジニアとして、AIを毎日実務で使い倒しています。自己紹介はこちら


🔍 コンテキストウィンドウって、結局なに?

コンテキストウィンドウとは、AIが一度に見渡せる情報の最大量のことです。単位は前回お話しした「トークン」。文字数でも単語数でもなく、トークンという細かいかけらの数で測ります。

イメージとしては「机の広さ」が近いです。あなたが書いた指示、貼り付けた資料、これまでの会話のやり取り、そしてAIがこれから書く返事。これらをぜんぶ、その机の上に広げながらAIは考えています。机が広ければ、たくさんの書類を一度に見渡して作業できます。机が狭ければ、広げられる書類はおのずと限られます。IBMはこれをAIの「ワーキングメモリ(短期記憶)」に例えています。会話をどれだけ続けても前のやり取りを忘れずにいられるか、その長さを決めているのがこの机だということです。

机の上に乗るものを、もう少し具体的に分けてみましょう。大きく3種類あります。AIへの指示(あなたの役割は○○です、といった前提や出力の形式)、処理してほしい入力(質問そのものや貼り付けた資料)、そしてここまでの会話履歴です。長い会話になるほど、この履歴がじわじわと机を占領していきます。普段は意識しませんが、あなたが1往復するたびに、過去のやり取りという書類が静かに積み上がっているわけです。

※図解はデータを基にTrexが作成

ここで大事なポイントが2つあります。1つ目は、この机に乗るのは、あなたが渡したもの(入力)だけではないということ。AIが返す答え(出力)も同じ机の上で場所を取ります。たとえば机の広さが10万トークンぶんで、あなたの入力で9万を使ってしまったら、AIが返事に使えるのは残り1万だけ。入力を詰め込みすぎると、答えが尻すぼみになるのはこのためです。2つ目は、机の広さはモデルによって大きく違うということ。数年前は数千トークンぶんの小さな机が普通でしたが、2026年現在は100万トークン級の広い机を持つモデルも珍しくなくなりました。わずか2年ほど前は十数万トークンが最先端だったことを思うと、机は猛烈な勢いで広がっています。

⚙️ なぜAIは「忘れる」のか

では、机がいっぱいになったら何が起きるのか。新しい書類を置くスペースを作るために、古い書類から机の端へ押しやられ、やがて外へ落ちていきます。これが「AIが忘れる」の正体です。冒頭で挙げた「さっき伝えたのに忘れられた」は、AIが薄情だからではなく、単純にその情報が机からあふれて落ちただけ。仕組みを知ると、ずいぶん腑に落ちるはずです。

よくあるのが、長いマニュアルを最初に丸ごと貼り付けてから、質問を何度も重ねていくケースです。会話が進むほど、最初に貼ったマニュアルが机の端へ押し出され、ある時点からAIが前半をまるで読んでいないかのような返事を始めます。あなたは「ちゃんと渡したのに」と思っているのに、AIの机の上にはもう残っていない。これも容量の話だと知っていれば、そもそも全文を貼らずに済みます。

ところが話はもう一段やっかいです。机の上に収まっていても、AIはすべてを同じ精度で覚えているわけではありません。研究で繰り返し確認されているのは、AIは文章の「冒頭」と「末尾」はよく覚えているのに、「真ん中」に置かれた情報は取りこぼしやすいという傾向です。情報の位置と正答率をグラフにすると、両端が高く真ん中がへこむU字のカーブを描きます。ある研究では、同じ情報でも真ん中に置かれると正答率が30%以上も落ちることが示されました。

おもしろいのは、これが人間の記憶とそっくりなことです。長い名前のリストを覚えるとき、僕たちは最初のほうと最後のほうは思い出せるのに、真ん中はあいまいになりますよね。心理学で「序列位置効果」と呼ばれる現象で、AIもまったく同じU字を描くのです。この現象は「Lost in the Middle(真ん中で迷子)」と名付けられ、長文を扱ううえで無視できない注意点になっています。なお、新しいモデルではこの弱点がかなり改善されてきているという報告もあります。とはいえ現時点では、長い文章の真ん中は危ない、と頭の片隅に置いておくほうが安全です。

💡 「机は広いほどいい」は半分しか正しくない

ここまで聞くと、「じゃあ机が広いAIを選べば全部解決じゃないか」と思うかもしれません。気持ちは分かりますが、これは半分しか正しくありません。理由は2つあります。

1つ目は、さっきの「真ん中問題」は机を広げても消えないこと。むしろ広い机にどっさり資料を積むほど、大事な一文が真ん中に埋もれて読み飛ばされる危険は増えます。2つ目は、日本語は机を食うということ。日本語は1文字あたりおおむね1〜2トークンかかるので、同じ内容でも英語より早く机が埋まります。広い机を持っていても、日本語ユーザーは思ったより速く端に近づいている、という感覚を持っておくとよいです。

※図解はデータを基にTrexが作成

では、これを知ったうえで実務では何をすればいいか。僕が日々やっているのは次の4つです。1つ目は、資料を丸ごと貼らず、関係する箇所だけに絞って渡すこと。机を無駄な書類で埋めない、という基本です。2つ目は、長い作業では会話を区切り、それまでの要点を自分で短く要約して、新しい会話に引き継ぐこと。古いやり取りを丸ごと引きずらないので、机がすっきりします。3つ目は、絶対に守ってほしい指示や前提は、文章の真ん中ではなく冒頭か末尾に置くこと。U字の山の部分に大事な情報を置く、という発想です。4つ目は、巨大な机を探す前に、まず机を散らかさない運用を身につけること。どれも特別な技術はいりません。

とくに2つ目の「要約して引き継ぐ」は効果が大きいので補足します。会話が長くなってきたなと感じたら、「ここまでの要点はこの3つ」と自分でまとめ、新しい会話にはその要約だけを持ち込みます。前の会話を丸ごと貼り直す必要はありません。机を一度きれいに片付けて、本当に必要な書類だけを並べ直すイメージです。これだけで、AIの答えが急に的確になる場面は何度もありました。

🙋 僕は「机を広げる」より「机を散らかさない」を選ぶ

僕はコンテキストウィンドウを、いつも「机の広さ」だと思って眺めています。そして実務で効くのは、広い机を奪い合うことより、手元の机をいかに散らかさないか、だと感じています。広い机を持っていても、不要な書類で埋め尽くせば、結局大事な一枚は見つかりません。逆に狭い机でも、必要なものだけを整然と並べれば、AIは驚くほど的確に答えてくれます。

容量で殴るのではなく、整理で効かせる。これは僕がAIを使ううえでずっと持っている基準です。新しいモデルが出るたびに「机が何倍に広がった」と話題になりますが、僕がまず確認するのは広さよりも、自分が机をきれいに使えているかのほうです。道具の容量を増やす前に、渡す情報をそぎ落とす。地味ですが、ここがいちばん効きます。

📝 まとめ

AIが会話を忘れるのも、長い資料の前半をすっぽかすのも、突きつめれば「机の広さ」、つまりコンテキストウィンドウで説明がつきました。最初に挙げた2つのモヤモヤは、どちらも賢さの問題ではなく容量の問題だったわけです。机からあふれれば情報は落ち、机の真ん中は読み飛ばされやすい。この2つを知っているだけで、AIは急に御しやすい道具に変わります。難しい計算は要りません。「AIには見渡せる範囲に上限があり、それを超えたものは見えない」。まずはこれだけ持って帰ってもらえれば十分です。

🔗 その他のマガジン記事は以下をご確認ください!
https://note.com/trex_ai/m/m9ea42d92706b

🔗 参考リンク

いいなと思ったら応援しよう!