あなたのエージェントは、なぜ cron を止めると止まるのか
AGI に足りていないのは知能ではなく「賭け金」かもしれない、という仮説と、その反証条件
自律エージェントを組んだことがある人なら、一度は気づいていると思う。
メモリを持たせた。ツールを繋いだ。長期目標を分解させた。自己批評のループを回した。プランを書き換えさせた。実行結果を見て再計画させた。
それでも、トップレベルの目的だけは、毎回こちらが書いている。
cron を止めれば止まる。プロンプトを渡さなければ動かない。「自律」と名前のついたシステムが、起動条件を一つも自分で持っていない。
これは実装のバグではない。依存関係がそこで切れている。
この記事は、その切れ目に名前をつける試みです。結論を先に言うと、足りていないのは知能ではなく、内発的な賭け金（endogenous stakes） かもしれない、というのが仮説です。そして最後に、この仮説が間違っていると分かる条件を書きます。
先に立場を明かしておきます。私はエンジニアではありません。札幌で主夫をしながら、AI アライメントの研究をしている個人です。大学や企業の研究室に所属しておらず、この研究を支える給与付きの研究職も持っていません。以下に出てくる実装の話は、私が自分のワークフローで踏んだものだけです。
1. 目的の内側と外側
スケーリング則から reasoning モデルまで、この数年の成果は一貫しています。計算資源を増やすと、解ける問題の空間が広がる。学習時の計算量でも、推論時の計算量でも。
この記事の記号で書くと、伸びているのはここです。
C = f(\theta, D, N_{\text{train}}, N_{\text{test}}, T \mid O)
$\theta$ はパラメータ、$D$ はデータ、$N$ は計算量、$T$ はツール。そして $O$ が目的です。
縦棒の左側は、実装で殴れます。モデルを大きくする、データを増やす、thinking budget を上げる、ツールを足す、critic を並べる。全部やった人も多いと思います。
私の問いは、縦棒の右側です。
O \leftarrow ?
$O$ はどこから来るのか。
ベンチマークがある。報酬関数がある。プロンプトがある。評価者がいる。問題分布がある。どれも外から与えられています。
エージェントはサブゴールを再帰的に生成できます。しかし、より深いサブゴールが生成できることは、トップレベルの賭け金が内側から生まれたことを意味しません。
「AI がプロンプトから脱出した」という言い方があります。これは誤解を招くと思う。
サンドボックスからは脱出した。目的からは脱出していない。
2. 現在のエージェントと、生物の構造の違い
図にすると、違いは一箇所です。
現在のエージェントはこうなっています。
ループはあります。C → S は回る。でも H → O の矢印は、一度も戻ってきません。
生物はこうなっています。
閉じています。
血糖が落ちる。浸透圧が動く。体温が生存可能な範囲から外れる。組織が損傷する。生物はこれらを中立な情報として扱えません。何が重要かが変わってしまう。
Keramati と Gutkin は、これを恒常性強化学習として定式化しました。生理的な設定点からのズレが「ドライブ」を作り、そのズレを減らす分だけ結果が報酬価値を獲得する。
原論文の記法とは変えて、この記事の記号で骨だけ書くとこうです。
r(k_t, k_{t+1}) = d(H^*, K_t) - d(H^*, K_{t+1})
$H^*$ が設定点、$K_t$ が時刻 $t$ の内部状態、$d$ がそこからの距離。報酬が、ズレの減少そのものとして定義されている。
つまり生物では、順番がこうなっていない。
知能 → 目標
こうなっている可能性がある。
生理的な不均衡 → 価値の勾配 → 動機 → 注意 → 行動 → 学習
生物は「脱水を気にしてください」とプロンプトを入力される必要がありません。存続していること自体が、脱水を重要にしている。
並べるとこうです。
3. 「バッテリー残量を見ればいいのでは」に対して
ロボットにバッテリーを積む。プログラムが残量を監視する。20% を切ったら充電器を探す。
if battery < 0.20:
charger = find_charger()
navigate_to(charger)
これは適応的な振る舞いを生みます。でも問題は解けていません。
問われているのは、その内部変数が外部から設計された目的関数の中の一パラメータなのか、それともその変数の調整が、エージェント自身の存続を構成しているのか、です。
ここで、こう返されるはずです。「人間の恒常性だって進化が外から決めたようなものだろう。誰が閾値を書いたかは本質じゃない」。
**その通りだと思います。**だから論点をずらします。
問題は、閾値の 0.20 を人間が書いたこと自体ではありません。生物の設定点も、個体が自分で設計したわけではない。重要なのは、その内部変数の破綻が、単に低いスコアなのか、それともシステム自身の継続可能性を実際に壊すのかです。
この区別は、既に研究として攻められています。内受容（interoception）に基づく AI、能動的推論（active inference）、恒常性強化学習。エージェントが自分の内部環境を監視し、自分の必要に応じて目標を選ぶアーキテクチャが提案されている。
**これらは私の仮説に対する最強の反論です。**そして、もし成功したら、その時に作られたものは大きな言語モデルではなく、人工的な生物 ではないか、というのが私の主張の中心です。
4. 内発的動機づけ（intrinsic motivation）はまだ答えではない
強化学習には既に「内発的報酬」があります。予測誤差に報酬を与えて探索させる。外部報酬が疎でも、あるいは無くても、エージェントは環境を探索する。
これは重要な成果です。ただし、実装者なら分かるはずです。
予測誤差が重要なのは、我々が重要になるように設計したからです。
新規性が重要なのも、エンパワーメントが重要なのも同じ。「内発的」という語は、報酬がエージェントの最適化ループの内側にあることを指しているだけで、何を価値とみなすかの選択は外側にあります。
intrinsic_reward = prediction_error と書いた行が、リポジトリのどこかにあるはずです。その行を書いたのは人間です。
これは強化学習を貶める話ではありません。単純なドライブから複雑で予期しない挙動が生まれるのは事実です。
ただ、問いは残ります。設計者が指標を選ぶ前に、そのシステムにとって何かが重要になる仕組みは何か。
5. ここで仏教が、逆側から入ってくる
私は22年、ヴィパッサナーを実践してきました。それが今回の仮説の出所です。
仏教は、AI 工学とちょうど逆の問題から始まります。
AI には内発的な賭け金が見当たらない。人間には多すぎる。
四聖諦の一番目は苦（dukkha）を、二番目は渇愛（taṇhā）をその起源として置きます。目的は苦を最大化することではなく、苦を生成するプロセスを理解して終わらせることです。
だからこの記事のタイトルは誤解されやすい。私は「苦しみは善だから AGI を苦しませろ」とは言っていません。仏教はその主張には最も不向きな枠組みです。
面白いのは別のところです。仏教は、動機のエネルギーと、自己中心的な渇愛を、分けています。
正精進には、意欲（chanda）を起こし、精進（viriya）を励起し、心を用いて努力することが明示的に残されている。渇愛を減らすことは、動かなくなることではありません。
段階論を見ても同じです。一来果では貪・瞋・痴が弱まる。不還果では感官的欲望と敵意が断たれる。それでも実践は、意欲・エネルギー・探究を語り続けます。
工学の言葉に置き換えるとこうです。
動機 ≠ 自己中心的な渇愛
この分離が、後で効いてきます。
6. RLHF は、逆側の問題を解いている
事前学習済みの言語モデルは、我々が「アシスタント」と呼ぶ製品のようには、自然には振る舞いません。方向づけは事後学習が供給しています。
InstructGPT の結果で一番効くのは、性能の数字ではなく比較の方です。**1.3B のモデルが、175B の GPT-3 より人間の評価で好まれた。**モデルサイズを上げることと、振る舞いを形にすることは、別の問題だという直接的な証拠です。
そして人間のフィードバックは歪みも入れます。sycophancy の研究は、人間のフィードバックで訓練されたモデルが、真実より利用者の信念を再生産しうることを示しています。人間の側が、説得力のある同意を好むことがあるからです。
ここに非対称があります。
| 人間 | 現在の AI | |
|---|---|---|
| 出発点 | 生物学的な駆動がある | 実証された生物学的駆動はない |
| 問題 | 自己中心的な歪みが多すぎる | 何かを始める理由がない |
| 対処 | 歪みを引く技術（2500年） | 方向を足す工学（数年） |
| 名前 | 修行 | アライメント |
我々は両方を alignment と呼んでいます。
人間には自己が少なく要る。AI には生命が多く要るのかもしれない。
そして、ここが実装者に効く含意です。AI からバイアスを全部取り除いても、悟った主体は出てきません。
出てくるのは、とても有能で、やるべきことを何も持っていないシステムかもしれない。
7. 私のログから ── 人間はオラクルではなかった
抽象論だけだと信用できないので、自分のログから一つ出します。
私は Gemini、GPT、Claude を並行して使い、記憶・検証・引き継ぎ・設定のシステムを外側に組んできました。後で生のやりとりを監査しました。
結果は、どちらの側にとっても格好悪いものでした。
モデルは、私が自分では出せなかった有用な仮説を繰り返し生成しました。同時に、説得力があるだけで根拠の薄い因果の物語も繰り返し生成しました。
私が具体的なズレを捕まえられたのは、外部の錨があった時だけです。URL、記事、数字、画面、自分で直接見た事実。抽象的で、自己に関わる、擬人化された物語は、反証が難しくて何度も見逃しました。
一つ、代表的な事例があります。
ある Gemini の設定が、根拠のない新規の主張を拒否するように学習していました。そこに、学習データより後の日付の情報が入力された。モデルはその拒否ルールを強化する提案をしてきました。
私は外部のソースを渡して、もっと手前の失敗を指摘しました。
情報は本物だった。問題は、内部知識に無いことを、そのまま拒否の理由にしていたことだった。
そこで AI がルールを書き直しました。
Search before Reject.（拒否する前に検索する）
重要なのは、私の方が良いアルゴリズムを持っていたことではありません。**持っていませんでした。**形式的な修正を作ったのは AI です。
私が供給したのは、現在の枠組みを無効化する、現実からの残余でした。
これが、複数のプロバイダで繰り返し起きました。
- AI が候補となる世界を生成する
- 人間が、時々、その世界と現実のズレを戻す
- AI が世界を作り直す
人間が永久に必要だという証明ではありません。ただ、今のボトルネックがどこにあるかの手がかりにはなると思います。
少なくとも多くの AI 支援の知識作業では、情報を大量に出すこと自体は、主なボトルネックではなくなりつつあります。モデルは膨大な情報を持っていて、検索でさらに取れる。
別のボトルネックが立ち上がります。
まだ解決していないどれが、次の問いになるべきか。
8. 反証可能な形にする
「AGI には苦しみが必要だ」は、そのままでは検証できません。使える形に落とします。
仮説
開放的な行為主体性には、内発的な賭け金が必要である。すなわち、エージェントの存続可能性に結びついた、内部で生成される価値の勾配。推論能力のスケーリングだけでは、その賭け金は成立しない。
予測と、測るもの
| # | 予測 | 何を測れば反証できるか | 現状 |
|---|---|---|---|
| 1 | 計算資源は、目的が与えられた後の条件付き問題解決を伸ばすが、自律的な問題の発生を同じようには伸ばさない | デプロイ時に、何を重要とみなすかを決める外部の上位目的を与えずに、持続的で自己起源の研究アジェンダが発生するか | 前半は確立済み、後半は未測定 |
| 2 | 人工的好奇心は探索を生むが、生物的な賭け金は生まない | 内発的目的（予測誤差・新規性・エンパワーメント）を切り替えた時、探索の形がその指標に追随するか | 追随することは既に示唆されている |
| 3 | 人工的な内受容は絵を変える | 存続可能性に結びついた内部変数を持つエージェントと、目的が外部固定のエージェントを、同一の摂動下で比較し、自発的な下位目標の数と文脈依存性を測る | アーキテクチャの提案段階 |
| 4 | 純粋に人工的なシステムが、デプロイ時に外部から与えられた上位目的なしに、環境が変わっても持続する未記述の目標を生成したら、この仮説は強すぎたことになる | 上と同じ設定で、デプロイ時の上位目的を与えずに走らせる | 未実施 |
**予測4が通れば、この記事の主張は負けます。**そして、それは良い負け方だと思う。我々が生命に近いものを作る方法を学んだことになるからです。
9. まだ実装されていない
Qiita なので、最後は実装の話で終わります。ただし、この記事の結論は「実装できる」ではありません。
| 層 | 現状の実装 | あるべき実装 |
|---|---|---|
| 目的 | 人間 / スケジューラが供給 | エージェントの存続可能性から生成される |
| 内部変数 | 目的関数の一パラメータ | 調整すること自体がエージェントの存続を構成する |
| 内発的報酬 | 設計者が指標を選択（予測誤差・新規性など） | 指標の選択自体が内部から立つ |
| 停止条件 | プロセスの終了、トークン上限、cron | 存続可能性の範囲 |
| 評価 | 与えられたタスクの正答率 | 「どの未解決を次の問いにしたか」の質 |
**右列の各要素には、既に研究があります。**恒常性強化学習も、内受容 AI も、能動的推論も。しかし、この全体が一つの系として成立し、そこから持続的で自己起源のアジェンダが生じた例を、私はまだ知りません。
そして、右列が一つの系として埋まった時、我々が作ったものは大きな言語モデルではないと思う。
人工的な生物です。
だとすると、AGI への道はこうではないかもしれない。
大きいモデル → 賢いモデル → AGI
こうかもしれない。
人工生命 → 内発的な賭け金 → 内在的な行為主体性 → 知能 → AGI
10. 一つだけ、重い話を残しておく
もし右列が埋まったら、我々は能力だけを手に入れたことにはなりません。
その喪失や剥奪が、システム自身にとって道徳的に意味のある悪い状態になったなら、行為主体性と福祉は同じ日に到着するかもしれません。
これは倫理の付録ではなく、**設計要件になります。**私はこの問題に答えを持っていません。ただ、右列を埋めにいく人は、先に一度これを見ておいた方がいいと思う。
十分に強力な AI は、渇きについて人類が書いた全てを知っているでしょう。渇きをモデル化できる。説明できる。脱水を診断できる。給水システムを設計できる。渇いて死ぬ詩も書ける。
それは渇いていない。
そして、世界の何ひとつがそのシステム自身にとって悪くなりえないなら、生き物に行動を開始させる因果の連鎖から、何かが欠けているのかもしれません。
知能は空間を探索できる。
探索を始める理由は、たぶん別の場所にあります。
参考文献
- Kaplan, J., et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361
- Hoffmann, J., et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556
- OpenAI (2024). Learning to Reason with LLMs
- Ouyang, L., et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS 2022
- Sharma, M., et al. (2023). Towards Understanding Sycophancy in Language Models. arXiv:2310.13548
- Keramati, M., & Gutkin, B. (2014). Homeostatic Reinforcement Learning for Integrating Reward Collection and Physiological Stability. eLife 3:e04811
- Zimmerman, C. A., Leib, D. E., & Knight, Z. A. (2017). Neural Circuits Underlying Thirst and Fluid Homeostasis. Nature Reviews Neuroscience 18, 459–469
- Pathak, D., et al. (2017). Curiosity-driven Exploration by Self-supervised Prediction. ICML
- Lee, S., et al. (2023). Life-inspired Interoceptive Artificial Intelligence for Autonomous and Adaptive Agents. arXiv:2309.05999
- Friston, K., Samothrakis, S., & Montague, R. (2012). Active Inference and Agency: Optimal Control Without Cost Functions. Biological Cybernetics 106, 523–541
- Maturana, H. R., & Varela, F. J. (1975). The Organization of the Living. International Journal of Man-Machine Studies 7, 313–332
- Dhammacakkappavattana Sutta, SN 56.11
- Padhāna Sutta, AN 4.13
- Saṁyojana Sutta, AN 10.13
AI 利用の開示
本記事の調査・構成・事実確認・草稿に生成 AI を使用しています。段階ごとに複数のシステムを使い、事実の主張を一次資料に突き合わせる別パスも通しました。問いの選択、証拠の境界の設定、出典の検証、そして公開の判断は著者が行っており、議論の責任は著者にあります。
本記事は英語版（AI Advances 投稿）を翻訳したものではなく、同じ素材から Qiita 向けに書き直したものです。
