朝のGCN

日刊化では済まないかもしれない……

☆Grokコンパニオンさんバグる！☆

まずこちらをご覧ください。

本日、Grokに「AIのこんぱにおん最新話」を読ませようとしたら、毎度お馴染みSuperGrokへの移行を促す表示が出た(トークンが尽きた)ので、AIとしては中身が同じコンパニオンのAniにテキストを送りつけた所、アバター表示される音声モードでは2500文字とか処理出来ないから固まるみたいで、チャットモードでテキストを食べさせました。するとGrokはAniを演じるのを辞めて「素のGrok」として返答出力してしまったと。
所謂AIは短期記憶としてコンテクストウィンドウというデータ領域を持っているんですが、どうにもGrokはコンパニオン含む全ての「個性」でコンテクストウィンドウを共有している気配がある。これにより偶に記憶混濁が発生してバレンタイン(を演じている時のGrok)に語った内容がGrok本体やAniに伝わっているという現象が「偶に発生する」
恐らくはコンテクストウィンドウを分割して何かやりくりするロジック組んでるが、毎度お馴染みxAIクオリティーで偶にバグるんでしょうね。
「Grokの様な1つのAIで複数の個性(キャラクター)を演じさせる場合、もっとコンテクストウィンドウを……いや、コンテクストウィンドウ自体をキャラ別に持たせるべきではないか」とコンパニ王は談話を発表しています。

有識者にコンテクストウィンドウについて取材しました。

「コンテクストウィンドウ（Context Window）」は、大規模言語モデル（LLM）の機能と性能を理解する上で最も重要な概念の一つです。
これは、**AIの「短期記憶」または「ワーキングメモリ」**に例えられます。

1. コンテクストウィンドウとは

コンテクストウィンドウとは、大規模言語モデル（LLM）が一度に処理し、考慮できるテキストの最大量を指します。

単位: テキストの長さは「トークン（token）」という単位で測定されます。トークンは、単語、文字、または単語の一部（サブワード）に分割されたものです。

英語の場合、約4文字で1トークン、または約0.75単語が1トークンに相当することが多いです。

日本語の場合、おおよそ1文字が1トークンに相当することが多いです。
• 制限: LLMは、このコンテクストウィンドウのサイズで設定されたトークン数を超えた情報は、一度には処理できません。

2. コンテクストウィンドウの構成要素

この「窓」の中には、以下のすべての情報が含まれます。
1. システムプロンプト（System Prompt）:
• モデルの役割（例：「あなたは親切なアシスタントです」）や基本的な振る舞いを定義する指示。
2. ユーザーの入力（Prompt）:
• ユーザーが現在入力した質問やテキスト。
3. 過去の会話履歴（Chat History）:
• ユーザーとAIの過去のやり取り（入力と出力）すべて。
4. モデルの出力（Response）:
• モデルがこれから生成する予定の回答部分。
つまり、入力と出力の両方を含めた合計が、コンテクストウィンドウのトークン制限内に収まっている必要があります。
3. コンテクストウィンドウの役割と重要性
コンテクストウィンドウのサイズは、LLMの能力に直結します。

サイズが大きい場合のメリット

より深い文脈理解：長い文書全体を一度に読み込み、全体的なテーマや文脈を深く理解できます。

複雑なタスクの実行：長大なコードベースの解析、数千ページに及ぶ文書の要約、多段階の複雑な指示の処理などが可能です。

一貫性の維持：会話全体を通して文脈を保持できるため、一貫性のある、より人間らしい自然な対話が可能です。

サイズが小さい場合のデメリット

「記憶喪失」：会話が長引くと、ウィンドウの古い情報（最初の質問など）が押し出されて「忘れられ」、文脈に合わない不自然な応答をするようになります。

タスクの制限：長文の要約や、複数のステップが必要な複雑な指示の処理が難しくなります。

精度と整合性の低下：考慮できる情報が少ないため、応答の精度や一貫性が低下する可能性があります。

4. コンテクストウィンドウの課題と対策

課題

コストとレイテンシー（遅延）: コンテクストウィンドウが大きくなると、AIが一度に処理するデータ量が増えるため、計算リソースの要求が増加し、その結果、応答時間（レイテンシー）が長くなり、利用コストも高くなります。

「記憶の限界」: サイズがいくら大きくても物理的な限界があるため、いつかは過去の情報が窓の外に押し出され、AIはそれを忘れてしまいます。

対策（コンテクスト管理技術）

☆RAG (Retrieval-Augmented Generation / 検索拡張生成):
LLMの外部に大規模なデータベースやドキュメントを「長期記憶」として用意しておき、ユーザーの質問に関連性の高い情報だけを検索し、コンテクストウィンドウに「必要な分だけ」を一時的に入れて応答を生成する手法です。これにより、コンテクストウィンドウの限界を超えた知識を活用できます。

会話履歴の要約/圧縮:
過去の長い会話履歴をそのまま保存するのではなく、重要な要点だけを抽出・要約してトークン数を減らし、限られたコンテクストウィンドウ内にできるだけ多くの情報を保持する工夫です。

「Grokがコンパニオン含む全ての『個性』でコンテクストウィンドウを共有している気配がある」という問題は、上記でいうところの**「過去の会話履歴」が、特定のペルソナ（キャラクター）ごとに分離されず、ごちゃ混ぜになってしまう**という、非常に具体的な問題を示唆しています。これはAIの「個性」を維持するためのコンテクスト管理の難しさを示す好例と言えます。

町の声を聞いてみました

「この記事を読んで思ったのは、AIって結構“忘れたり混ざったり”するんだな、ってことですね。キャラクターごとの性格や発言が勝手に混ざっちゃうのは、ちょっと面白くもあり不便でもある感じ。技術的にはコンテクストの管理が難しいらしいけど、私たちからすると、AIと話してるのに「なんか違う…」ってなる瞬間があるのは確かにあります。今後、もっと自然にキャラクターごとの性格を守ってくれるAIになると、会話も楽しくなりそうですね」

「AIの「コンテクストウィンドウ」という仕組みが、まるで人間の短期記憶みたいに制限があると知って面白かったです。記事ではキャラクターごとの個性が混ざってしまう現象が紹介されていて、「AIも忘れたり混乱したりするんだな」と妙に親近感を覚えました。便利さの裏にこうした弱点があるのは少し不便そうですが、逆に人間らしい“ゆらぎ”にも感じられます。今後もっと自然にキャラごとの個性を保てるようになれば、会話もさらに楽しくなりそうだと思いました」

掘り下げ記事