入力反腹がLLMの性能を劇的に向上させるという件を画像生成で試した話【大事なことなので二回言いました】

はじめに

最近のGoogleやマイクロソフトの論文で話題ですが、入力プロンプトの単純反復がLLM（大規模言語モデル）の性能向上に大きな効果を持つというものです。

実はこの性質は、画像生成界隈において、経験的に良く知られている事です。しかし、自明に思える事であっても、学術的・系統的に確認する事は別問題だとは思います。

↑当時「知ってた」というコメントで溢れたのが印象深くあります

ただし注意が必要な事

論文にも言及がありますが、ただ反覆すれば良いというわけではなく、単純すぎるタスクや非常に長いプロンプトの場合は良くないという事です。リーズニングモデルでも効果が薄いという話です。

※ 単純に繰り返すことで、自己回帰やChain of thoughtと同じ効果があるとの事。特に、未来のトークン情報（1回目の後半の情報を、２回目の前半の解釈時に参照できる）を取り込める事が大きいのではという事。

画像生成の場合

画像生成の場合は、プロンプト追従度が低いと考える場合に、CFGの値を上げるか、プロンプトを繰り返したり、重みを付加するという手法が利用されてきました。

以前は単にトークン影響の強さを上げる程度でしたが、最近はLLMをそのままテキストエンコーダーとして流用しています。おそらく、LLMの再読プロセスでの解答性能が上がる現象と同じ理屈なのでしょう。

一方で上手くいかない例

人間側は「大切なことなので、一匹を強調してくれ」という意図で繰り返しても、AI側は「a cat」が複数と解釈してしまうのでしょうね。

単純な指示では上手くいかないという典型例でしょう。

まとめ

入力反復が明らかに性能を上げるという現象は、AI技術を考える上で、大きな意味があると筆者は考えます。

まだ多くの人は、現代のAIを「ゼロイチのアルゴリズム」・「何かの量を最適化するために正確に動作するもの」と考えがちです。

もちろん部分的・局所的には間違いではありませんが、限りなく「予測不能な自然現象の振る舞い」に近くなっている事に注意が必要だと思います。

不意に小さな子供が排水溝に話しかけたり、ペットが何もない空間を凝視したりするような（理由なく無意味だが、それを見る人にとっては意味深な）現象がAIにも発生するという事です。

たとえば、AIモデルを量子化や精度の悪い演算を行うと、元のネットワーク・トポロジーが曖昧になります。水とホースで例えると、水漏れによって本来は接続のない別のホースに水が流れる状態です。漏れるので水の量も保存しません。

情報と精度が落ちるので、推論性能も落ちるのが一般的ですが、「必ず」ではありません。画像生成AIでは顕著ですが、実際に量子化ggufモデルの方が元モデルよりも綺麗になる事は少なくありません。

AI以外でも精度が落ち均される事によって、より本質に近づく現象は珍しい事ではありませんから。

LLMの反復による性能向上も、本来は、同じ事を繰り返す無駄な事、冗長なノイズを加える・より分かりづらくする事にほかなりません。しかし、それが明らかに性能向上に寄与するのだから面白いものです。

常識とされる「LLMプロンプトは、機械が判断出来るよう、より簡潔に明確に」が否定されてしまった例とも言えます。