新興AI研究企業Engram、Dan Biderman氏とJessy Lin氏が語る「常時学習する企業専用モデル」という構想
生成AIの議論は、「より大きなモデル」「より長いコンテキストウィンドウ」に偏りがちだが、もう一つの重要な技術フロンティアが「メモリ（記憶）」と「継続学習」だ。Podcast「Training Data」では、この分野に特化した新興企業Engramの共同創業者Dan Biderman氏とJessy Lin氏が、なぜ既存のRAG（検索拡張生成）やコンテキストエンジニアリングでは不十分なのか、そして「常時学習するモデル」という構想がビジネスにどう活用されるのかを語った。本稿では、ビジネスパーソン・投資家が押さえておくべき論点を整理する。
1. 「常時学習」というEngramの世界観
Engramのウェブサイトには、「私たちは事前学習・事後学習というレンズで世界を見ていない。我々のモデルは、常に学習している」と記されている。この点についてJessy Lin氏は次のように説明する。
「モデルが今ボトルネックになっているのは、生の知能ではなく、新しく変化していくコンテキストの理解だ」
つまり、特定の企業やタスクに関する文脈情報を、事前学習・事後学習と同じようにモデルの重み（weights）に深く焼き込むことが目的だという。これは単に「メモリをデータベースとして持つ」発想とは異なる。
1-1. コンテキストエンジニアリングの限界
現在多くの企業は、巨大なプロンプトやRAGによる「コンテキストエンジニアリング」で対応している。しかし、Dan Biderman氏は、個人が日々生成するトークン量が1日あたり数千万トークン規模に達する未来を見据え、こう指摘する。
「ただ保存して検索するだけでは、コストが高くなる上に、モデルにとっても混乱を招く」
人間が「付箋にメモを取る」ことと「翌日には脳内に何らかの直感として残っている」ことの両方が必要だという比喩は、技術者でなくとも理解しやすい。
2. Engramの製品アーキテクチャ ― アダプターと学習信号
Engramは、Notion、Microsoft、Harveyといったパートナー企業と協業し、チーム単位（ワークスペース単位）でモデルを学習させるアプローチを取っている。技術的には、LoRAなど各種のアダプターファインチューニングを活用し、教師あり学習・強化学習・オンポリシー蒸留など複数の手法を組み合わせる。
Biderman氏は次のように述べる。
「単に試験時にファイルを読むのではなく、何年も会社で働いている社員と同じように、その文脈を深く理解させたい」
2-1. 内部化と外部化の線引き
重要なのは、すべてを重みに学習させるわけではない点だ。Lin氏は次のように整理する。
「我々のモデルは、一部の知識が外部化されていることを前提に動いている。問われているのは、何を内部化し、何を外部化すべきかという難しい問いだ」
たとえば、「1年前に泊まったホテルの部屋番号」は記憶する必要がないが、「現在使っているパスワード」は今後数年使う可能性があるため記憶しておく価値がある、というたとえが紹介された。
3. 推論コストの劇的な削減 ― 「RAGキラー」という主張
Engramのアプローチが示す具体的な利点の一つが、推論時のトークン消費の削減だ。Biderman氏は次のように述べている。
「巨大なシステムプロンプトを書く必要がなくなる。それだけで2桁、つまり最大100倍のトークン削減につながることもある」
組織や人、優先順位に関する情報は、文書として体系的にまとめられていない限り見つけにくい。こうした情報をモデルが暗黙的に学習していれば、フロンティアモデルが10万トークンを使って答える内容を、わずか100トークンで答えられる可能性があるという。
3-1. KVキャッシュという「非効率」への着目
Engramの着想の一つは、KVキャッシュ（KV cache）の非効率性への注目から生まれている。Biderman氏はこう説明する。
「あるWikipediaの記事のKVキャッシュは80ギガバイトのGPUメモリを消費することがある。一方、70Bパラメータのモデル全体の重みは約100ギガバイトで、ある程度の歪みを許容すればインターネット全体を“記憶”している」
このギャップに着目し、KVキャッシュを学習によって圧縮し、ロード時のサイズを1000分の1にすることができれば、推論の速度・コスト・表現の忠実性に大きな変化をもたらすと指摘する。
4. フロンティアラボとの世界観の違い
OpenAIやAnthropicなど大手フロンティアラボは、「より大きく、より知的な単一モデル」を目指す方向性が中心だ。これに対しEngramは異なる立場を取る。Lin氏は次のように述べる。
「我々が想像する世界は、誰もが自分専用のモデルを持つというものだ。学びたいことの多くは個人的なものであったり、企業同士で矛盾するものであったりする」
4-1. 研究と製品の統合という新しい組織モデル
Biderman氏は、フロンティアラボの典型的な開発フローを「研究者がモデルを学習させ、それをプロダクトチームに渡し、プロダクトチームがプロンプトやコンテキストエンジニアリングを行う」と表現する。一方、Engramが目指すのは、ユーザーの入力そのものが学習信号と密接に結びつく、研究とプロダクトが統合されたループだ。
5. 「メモリのChatGPTモーメント」はいつ来るか
最も投資家が気にするであろう問いが、この技術がいつ商用的なブレイクスルーを迎えるかという点だ。Lin氏は次のように述べている。
「人々が継続学習について語るときに思い描いている最初の概念実証は、“時間をかけて教えれば実際に上達するインターン”を持つことだ。どれだけ洗練されたコンテキストエンジニアリングを使っても、そこには到達できていない」
GitHub CopilotやChatGPTの登場が予想されていなかったように、この分野のブレイクスルーも事前に正確に予測することは難しいというのが両者の見立てだ。Biderman氏は「今日仕事を辞めて、自分専用のモデルを改善することだけに専念しても、個人でできることは限られている」と述べ、個人による継続的なプロンプト改善には限界があると指摘した。
