【AI入門】ChatGPTが突然「話が通じなくなる」理由——コンテキスト長を比喩で理解する

ChatGPTと長い会話をしていると、途中から「さっきの話を覚えていない？」と感じることがあります。序盤に伝えた前提を忘れていたり、前後の文脈がつながらない返答が来たりする。

📋 「AIって記憶力がないの？」と思った方、半分正解です。

今回は、ChatGPTがなぜ「忘れる」のか——コンテキスト長（Context Length）という仕組みを比喩で解説します。この仕組みを知ると、ChatGPTとの会話の組み立て方が変わります。

ChatGPTには「長期記憶」がない

まず大前提を整理します。

🧠 人間の記憶は、短期記憶と長期記憶に分かれています。昨日食べた夕食は短期記憶、小学校の友達の名前は長期記憶——時間が経っても保持される情報は長期記憶に保存されます。

ChatGPTには、この長期記憶に相当するものが（基本的に）ありません。

会話を始めるたびに、ChatGPTはまっさらな状態でスタートします。「先週話した内容を踏まえて」と言っても、新しいチャットを開いた瞬間にその記憶はゼロになっています。毎回初対面の相手と話しているようなものです。

では、同じチャット内で前の発言を踏まえた返答ができるのはなぜでしょうか。そこに「コンテキスト」の仕組みがあります。

コンテキストとは「今見えている範囲」のこと

💡 ChatGPTが「前の発言を踏まえられる」のは、長期記憶があるからではありません。会話の履歴をすべてまとめて、毎回の返答生成に使っているからです。

あなたがメッセージを送るたびに、ChatGPTは「会話の最初から今までのやりとり全部」を入力として受け取り、それを踏まえた上で次の返答を生成しています。人間が「さっき言った通り」と言えるのは脳内に記憶があるからですが、ChatGPTが「さっき言った通り」を理解できるのは、履歴テキストをリアルタイムで参照しているからです。

📜 この「今回の返答生成に使える情報の総量」をコンテキスト（Context）と呼びます。コンテキストには上限があり、これをコンテキスト長（Context Length）、またはコンテキストウィンドウと言います。

コンテキストを「机の上」に例えると

🗂️ コンテキストを理解するのに一番わかりやすい比喩が「机の上」です。

あなたは今、机の上に資料を広げて作業しています。机の広さには限りがあるので、広げられる資料の量に上限があります。新しい資料を追加するには、古い資料を机から降ろさなければなりません。

ChatGPTのコンテキストも同じです。

• 机の広さ ＝ コンテキスト長（トークン数の上限）

• 資料 ＝ 会話の履歴・指示文・文書など

• 机から降ろす ＝ 古い会話が参照できなくなる

会話が長くなるほど机が埋まっていき、やがて古い情報が「机から落ちる」。 落ちた情報はChatGPTから見えなくなるため、序盤の前提や指示を「忘れた」ように振る舞います。これが「突然話が通じなくなる」の正体です。

コンテキスト長の単位「トークン」とは

⚡ コンテキスト長は「文字数」ではなく、**トークン（Token）**という単位で測られます。

トークンとは、AIがテキストを処理する最小単位です。日本語では1〜2文字が1トークンになることが多く、英語では単語の一部や1単語が1トークンになります。「ChatGPT」という6文字は2〜3トークン程度です。

GPT-4oのコンテキスト長は128,000トークン（約128K）です。日本語換算で約6〜8万文字、A4用紙200〜250枚分の情報量を一度に扱えます。これは相当な広さに思えますが、長い文書の分析や、数時間にわたる詳細な会話を続けると、意外と早く埋まります。

📊 コンテキストに入るのは、あなたの発言だけではありません。システムプロンプト（AIへの事前指示）・過去のやりとり・AIの返答・添付した文書——これらすべてが合算されます。長い文書を貼り付けたり、詳細な指示を最初に与えたりすると、その分だけコンテキストが消費されます。

コンテキストを上手に使う3つの工夫

🌱 仕組みを知ったら、実践的な使い方に活かしましょう。

① 重要な指示は「こまめに再掲」する

長い会話を続けるときは、重要な前提や制約を途中で再度伝えましょう。「先ほどお伝えした通り、〇〇の条件で」と添えるだけで、コンテキストの中で情報が「新鮮」な状態に保たれます。

② 長い作業は「チャットを分割」する

一つのチャットで何時間も作業を続けるより、テーマや工程ごとにチャットを分けた方が精度が安定します。必要な情報だけを新しいチャットの冒頭にまとめて渡すと、コンテキストをクリーンな状態で使えます。

③ 「要約して渡す」テクニック

長い文書や会話履歴を次のチャットに引き継ぎたいときは、まず「この会話の重要なポイントを箇条書きで要約して」とChatGPTに頼みましょう。その要約を次のチャットの冒頭に貼ることで、コンテキストを効率的に使えます。

**コンテキストは「広い机」ではなく「管理すべきリソース」**と捉えることが、ChatGPTを使いこなす第一歩です。

まとめ：ChatGPTの「記憶」はリアルタイム参照だった

📝 今回の内容を整理します。

✅ ChatGPTには長期記憶がなく、毎回のチャットはゼロからスタートする

✅ 同じチャット内で「前の話」を踏まえられるのは、会話履歴をリアルタイムで参照しているから

✅ コンテキスト長とは「一度の返答生成に使える情報量の上限」のこと

✅ コンテキストが埋まると古い情報から参照できなくなり、「忘れた」ように見える

✅ 重要な指示の再掲・チャット分割・要約渡しで、コンテキストを効率的に使える

「ChatGPTが忘れた」のではなく、「コンテキストから情報が外れた」と理解すると、対処法が見えてきます。 仕組みを知って使うのと、知らずに使うのとでは、日常的な活用の質が大きく変わります。

次回は「AIはなぜ『検索』と違うのか——情報検索とAI生成の本質的な違いを比喩で理解する」を解説します。

フォロー・スキで続きを読む励みになります 🌱

「わかりやすかった」と思ったら、周りのAI初心者の方にシェアしてもらえると嬉しいです。

関連記事

このシリーズの他の記事もあわせてどうぞ。