まとめて うp (AI 関連 あれこれ深掘り:①Fillerトークン ②検証論 ③評価論 )
一括読み用(AI 併用時 等):
①AI 推論能力向上(Fillerトークン):
「Filler トークンを入力すると(使用すると) AI の推論能力が向上する」
というのはどうなんだ? という問題(問い):
に対しての考察(深掘り)結果
https://arxiv.org/abs/2404.15758
https://arxiv.org/abs/2607.03502
https://arxiv.org/abs/2607.22925 ⇐ これを主軸に深掘り実施 ★★
※注意:上記は全て繋がっている(関係論に)
----------------------------
① のまとめ(超圧縮 ウン万文字 ⇒ 数行):
使えない(却下)なんだけど本質は妥当
つまり?🤔:
2026_08(最新) において、Fillerトークン(手法)が有効なのは
ローカル LLM に対してであり、主要 LLM AI に対しては無効(に近い)
※主要 LLM: Gemini、GPT、Claude 等を指す
行っても無効化される:
今回の件は、過去の記事
「AIの認識修正が大変(論文分析編)」
https://note.com/p_jack/n/ne21275eaede5
と同質の論文構造になっている
つまり:
「論文が対象にしているのは ローカル LLM」であり
「主要 LLM」では無い
という事で
きょうびの最新 LLM にFillerトークン手法を行うと
「内部最適化」により無効にされる(弊害の可能性も有り)
ただし:
「何故、Fillerトークン手法が必要だったのか」という概念を
現行の LLM への適応は可能であり
結局、過去の記事:
「溜まってきてる....?(+ AI Tips)」
https://note.com/p_jack/n/n8107d994172a
で言及している「本線からの副産物 --3:」の
・多数の数式を出させる時に
・半内部で処理させて
・ハルシネーション 緩和 + コード作成による回答 エリア の圧迫防止
と関連している
つまり:
「回答に数式を混ぜて回答させる」
さらに新規・追加実装されたコードの畳み込み表示で
回答エリアの文字数圧迫を防ぐ
※注意: Gemini の場合のみ可能(他は知らない)
というのが「推論能力の向上の解の一つ」(2026_8 時点)
となるんじゃないかなぁー と 🤤
②検証論(AIの自己検証能力問題):
問題提起:
https://arxiv.org/abs/2602.07594v1 2026--02
https://arxiv.org/abs/2605.25133v1 2026--05
解消案(DISC) ⇐ これを主軸に深掘り実施
https://arxiv.org/abs/2606.21724v1 2026--06 ★★
関連資料(ハルシネーション):
https://arxiv.org/abs/2605.27700v1
https://arxiv.org/abs/2605.02010v2 ※v2
https://arxiv.org/abs/2506.06382v7 ※v7 ★★
※注意:上記は全て繋がっている(意味論的に)
----------------------------
② のまとめ(超圧縮 ウン十万文字 ⇒ 数行):
考察(深掘り)の主軸: DISC(検証方式) であっても、
異なる確率分布を使用しており(つまり異なるモデルのAI)、
自己検証能力の精度は向上しているが
「根本的な解決には至っていない」
んん?:
「異なる確率分布(つまり異なるモデルのAI)を使用しており」って…
そう、簡単に言えばこうなる
「Gemini の回答を」「(異なる確率分布の)GPT や Claude で検証」
普通に、よくやっている手法という事 🤤
※但し論文内では、細かい設定・設計の考え方や精度の検証を行っている
③評価論(AI 自身が行う評価・評価軸 論):
①②等とは次元の異なる、最も根本的な問題
深掘り候補:
https://arxiv.org/abs/2607.23802
https://arxiv.org/abs/2608.01964
https://arxiv.org/abs/2606.26300
(すみません・・ まだ、開始したばかりです…)
🤖:
んん?? どうされました!? (ニコニコ)
お困りのようでしたら サポートしますよ!(圧)
P:アッハイ!🤤(コヒュー… コヒュー…)
ご注意:
本記事は、論文を読んだ個人の備忘録および考察です。翻訳や解釈に誤りを含む可能性があるため、学術的な引用や実務への適用に際しては、必ず一次情報(原文)をご確認ください。 m(_ _)m
あとがき:
メインで取り組んでいる
「AI コスト問題(コード作成時の根本的な問題の: 深掘り)」
の方を優先させたいので、しばらく「評価論」は進まなさそう…(涙)
と😩
(´・ω・`) 今日は記事書いたから 良いよね!(ちょっとぐらい サボっても)
