Kimmy K2.5——3つのスケーリング次元が示す、オープンソースAIの技術的到達点
Nvidia GTC 2026に登壇したKimmy（月之暗面）の研究リードYang Zhilin氏が、「Kimmy K2.5のスケーリング方法」と題した講演を行った。AIの研究者や技術者だけでなく、投資家やビジネスパーソンにとっても重要な示唆を含む内容だ。「データの壁」という課題に対し、新しいオプティマイザー・アーキテクチャ・エージェント設計という3つの次元でスケーリングを実現したプロセスを、具体的な数字と技術的な説明とともに公開した。
1. なぜ「3次元スケーリング」が重要なのか
1-1. スケーリング則の限界と「データの壁」
従来のスケーリング則は、「学習トークン数・モデルパラメータ数・計算量を比例的に増やせばモデルの性能が向上する」という考え方だ。しかし高品質なトレーニングデータの量には上限があり、業界全体がいわゆる「データの壁」に直面している。
Yang氏は、この課題に対し、「同じトークン数からより多くの知識を引き出す」「より長いコンテキストで処理できるようにする」「複数エージェントを並列稼働させる」という3つの独立したスケーリング軸を提示した。
2. 第1次元：トークン効率の改善——Muon Clipオプティマイザー
2-1. なぜトークン効率の向上が「インテリジェンスの上限引き上げ」になるか
Yang氏は、「トークン効率は単なる計算コストの節約ではなく、AIの知性の上限そのものに関わる」と述べた。高品質データを50兆トークンと仮定した場合、2倍のトークン効率を実現することは「実質的に100兆トークン分の学習に相当する」という。データが固定された世界では、効率向上が直接モデル性能の天井を上げる。
2-2. Muon Clipオプティマイザーの仕組みと成果
Kimmy K2.5では、2014年に発案されたAdamオプティマイザーに代わる「Muon（ミューオン）」という二次最適化器を採用した。各勾配更新が互いに直交するよう変換される仕組みで、AdamWと比較して2倍のトークン効率を達成したと報告した。
しかし、1兆パラメータへのスケールアップ時に「最大ロジット値が通常の50〜100倍以上に爆発し、学習が発散する」という問題が発生した。これに対して「QK Clip（クエリ・キーのクリッピング）」という手法を開発し、アテンション層の最大値を一定範囲内に抑制することで安定学習を実現した。Yang氏は「これは機械学習の歴史上初めて、Muonオプティマイザーを1兆パラメータ規模でスケールさせた事例だ」と述べた。
3. 第2次元：長文脈処理——Kimmy Linear Architecture
3-1. なぜ長文脈がエージェント時代に必須か
Yang氏は、トランスフォーマーとLSTMの比較研究を引用し、「トランスフォーマーはコンテキスト長を増やすほど精度が向上し続けるが、LSTMは、一定長で飽和する」という特性を強調した。「エージェントが数日・数週間にわたってタスクを実行し、Linuxカーネルをゼロから書くような複雑な作業をこなすには、長大なコンテキストが必要だ」と述べた。
3-2. Kimmy Delta Attentionの設計思想
Kimmy K2.5が採用する新アーキテクチャ「Kimmy Linear」の核心は、「Kimmy Delta Attention（キミーデルタアテンション）」と呼ばれる線形アテンション変形版だ。
従来の線形アテンションは記憶の減衰率がスカラー（単一の値）で制御されるため、「全て忘れる」か「全て保持する」かの二択に近かった。Kimmy Delta Attentionでは減衰率を対角行列（チャンネルごとに異なる値）にすることで、「ゆっくり忘れるチャンネル（長期記憶）」と「素早く更新するチャンネル（短期記憶）」を共存させる設計にした。
フル注意機構（全層に自己注意を使う従来型）と線形注意機構を1:3の比率で混合した「Kimmy Linear」は、短文脈タスク・長文脈タスクの両方でMLA・GDNなど他のアーキテクチャを上回ったという。1Mトークン以上の極端な長文脈では特に計算効率の差が顕著だと述べた。
4. 第3次元：エージェント群（Agent Swarms）——並列実行による複雑タスクの解決
4-1. 単一エージェントの限界と「組織としてのAI」
Yang氏は、エージェント群の設計を「会社組織に類似している」と説明した。CEOにあたる「オーケストレーターエージェント」がタスクを分解し、AIリサーチャー・フロントエンドエンジニア・物理研究者・ファクトチェッカーなど役割の異なる複数のサブエージェントに並列で割り当てる。サブエージェントが完了した結果を収集し、最終的なアウトプットにまとめるという構造だ。
4-2. 新しい報酬設計で「手を抜くエージェント」を防ぐ
エージェント群の学習には3つの報酬関数を導入したと述べた。「インスタンス化報酬」はサブエージェントを実際に生成することを促すもの。「完了報酬」はタスクをただ生成するだけでなく意味のある形で完了させることを要求する。「結果報酬」は全体タスクの達成度を測る標準的な指標だ。Yang氏は「インスタンス化報酬だけだと、エージェントが実行不能なタスクを大量に生成してしまう問題が起きた。完了報酬でその問題を抑制できた」と述べた。
100〜1,000のサブエージェントを並列稼働させることで、単一エージェントでは現実的な時間内に完了できない複雑なタスクが達成可能になるという。「100ページの文献調査を並列で書く」「10のデータ分析タスクを同時実行する」などが具体例として挙げられた。
5. 次世代アーキテクチャ「Attention Residue」の予告
5-1. 残差接続の再発明
講演の最後にYang氏は、Kimmy K2.5と同時期に公開した新アーキテクチャ「Attention Residue（アテンション残差）」についても言及した。2015年のResNetで提案された残差接続（前の層の出力を次の層に直接加算する仕組み）を、深さ方向に「アテンション機構」として一般化するアイデアだ。
「残差接続はLSTMを90度回転させたものだが、では完全なアテンション機構を90度回転させたらどうなるか」という発想から生まれた。前の全層の隠れ状態を収集してアテンション演算で集約し、現在の層の出力を計算する。
5-2. 24%のトークン効率向上
実験では、スケーリング則上でトークン効率が24%向上したと報告した。これは「50兆トークンが実質62兆トークン相当になる」計算だ。コーディング・数学・推論重視のベンチマーク（GPQA・MATH・HumanEval）でも一貫した改善が見られたという。
おわりに
Yang氏の講演が示すのは、「オープンソースモデルが閉鎖型フロンティアモデルに迫る」という単純な話ではなく、AIの性能向上に残された技術的な余地がまだ多いという事実だ。Adamオプティマイザーは2014年の発明だが、Muon Clipはそれより2倍効率的だ。トランスフォーマーの残差接続は2015年の発明だが、Attention Residueはそれを24%改善した。「古い技術を再発明する」アプローチが、データ制約という現代の課題に対する有効な解答になりつつある。
