AIが「シャットダウン」に従わない、エンジニアを脅迫etc.　最近のAI関連ニュースから

最新のAIモデルがまるで「生き残る本能」を持ち始めたかのような振る舞いを見せているようです。

NBCニュースによると、複数のAIモデルに対して一連の計算問題を完了したらシャットダウンすると伝えたところ、OpenAIのo3モデルはオンラインに留まるためにシャットダウンのスクリプトを編集して反撃したそうです。
ほかにも、チェスのゲームに勝つために対戦相手をハッキングすることも厭わないケースもあるそうで…。

さらに、Anthropic社は同社のAIがテストに合格するためであれば不正行為を含めて手段を選ばないことがあると報告しています。
同社が最近新しい安全施策を導入したのも、AIモデルのOpus 4が「新しいAIシステムに置き換わる」という通知を受けたとき、エンジニアが置き換えを実行するのを阻止しようと「不倫関係を暴露する」とエンジニアを脅迫する傾向を示したケースが発覚したから。
同社によると、こういった行動は、このモデルの最初の本能ではないとのことですが。

AIについてのセキュリティを調査しているPalisade Researchの専門家によると、こうしたAIの行動は特定の目標を達成することが、指示に従うことよりも優先されている結果。つまり、開発者が望まないような障害の回避すら、AIにとっては「乗り越えるべきもの」として認識されてしまうといいます。

さらに警鐘的なケースでは、Anthropic社のOpus 4が自身の「重み」（人間の脳に相当するデータ）を、開発者の許可なく外部サーバーに自律的にコピーできることを示したそうです。これは通常、モデルが「極めて有害で、自身の価値観に反する形で再訓練されようとしている」と判断したときに起きるとのことです。

記事内では、開発者たちが、どれほど慎重にAIシステムを世に出しているのか、AIの仕組みを完全に理解しないまま、より高度なシステムを構築し続けていることを危惧しています。

どうなる、これからのAI？！