見出し画像

まとめて うp (AI 関連 あれこれ深掘り:①Fillerトークン ②検証論 ③評価論 )


一括読み用(AI 併用時 等):



①AI 推論能力向上(Fillerトークン):

「Filler トークンを入力すると(使用すると) AI の推論能力が向上する」
というのはどうなんだ? という問題(問い):

に対しての考察(深掘り)結果

https://arxiv.org/abs/2404.15758
https://arxiv.org/abs/2607.03502
https://arxiv.org/abs/2607.22925  ⇐ これを主軸に深掘り実施 ★★

※注意:上記は全て繋がっている(関係論に)
----------------------------

① のまとめ(超圧縮 ウン万文字 ⇒ 数行):

使えない(却下)なんだけど本質は妥当

つまり?🤔:

2026_08(最新) において、Fillerトークン(手法)が有効なのは
ローカル LLM に対してであり、主要 LLM AI に対しては無効(に近い)
※主要 LLM: Gemini、GPT、Claude 等を指す

行っても無効化される:

今回の件は、過去の記事
  「AIの認識修正が大変(論文分析編)」
  https://note.com/p_jack/n/ne21275eaede5

と同質の論文構造になっている


つまり:
「論文が対象にしているのは ローカル LLM」であり
「主要 LLM」では無い
という事で

きょうびの最新 LLM にFillerトークン手法を行うと
「内部最適化」により無効にされる(弊害の可能性も有り)


ただし:

「何故、Fillerトークン手法が必要だったのか」という概念を
現行の LLM への適応は可能
であり

結局、過去の記事:
  「溜まってきてる....?(+ AI Tips)」
  https://note.com/p_jack/n/n8107d994172a


で言及している「本線からの副産物 --3:」の
  ・
多数の数式を出させる時に
  ・半内部で処理させて
  ・ハルシネーション 緩和 + コード作成による回答 エリア の圧迫防止
と関連している

つまり:
「回答に数式を混ぜて回答させる」
  さらに新規・追加実装されたコードの畳み込み表示で
  回答エリアの文字数圧迫を防ぐ

※注意: Gemini の場合のみ可能(他は知らない)


というのが「推論能力の向上の解の一つ」(2026_8 時点)
となるんじゃないかなぁー と 🤤






②検証論(AIの自己検証能力問題):

問題提起:
https://arxiv.org/abs/2602.07594v1  2026--02
https://arxiv.org/abs/2605.25133v1  2026--05

解消案(DISC) ⇐ これを主軸に深掘り実施
https://arxiv.org/abs/2606.21724v1  2026--06 ★★

関連資料(ハルシネーション):
https://arxiv.org/abs/2605.27700v1
https://arxiv.org/abs/2605.02010v2   ※v2
https://arxiv.org/abs/2506.06382v7   ※v7 ★★

※注意:上記は全て繋がっている(意味論的に)
----------------------------

② のまとめ(超圧縮 ウン十万文字 ⇒ 数行):

考察(深掘り)の主軸: DISC(検証方式) であっても、
異なる確率分布を使用しており(つまり異なるモデルのAI)、
自己検証能力の精度は向上しているが
「根本的な解決には至っていない」


んん?:

「異なる確率分布(つまり異なるモデルのAI)を使用しており」って…

そう、簡単に言えばこうなる
 「Gemini の回答を」「(異なる確率分布の)GPT や Claude で検証」

普通に、よくやっている手法という事 🤤

※但し論文内では、細かい設定・設計の考え方や精度の検証を行っている






③評価論(AI 自身が行う評価・評価軸 論):

①②等とは次元の異なる、最も根本的な問題

深掘り候補:
https://arxiv.org/abs/2607.23802
https://arxiv.org/abs/2608.01964
https://arxiv.org/abs/2606.26300

(すみません・・ まだ、開始したばかりです…)

🤖:
んん?? どうされました!? (ニコニコ)
お困りのようでしたら サポートしますよ!(圧)

P:アッハイ!🤤(コヒュー… コヒュー…)



ご注意:
本記事は、論文を読んだ個人の備忘録および考察です。翻訳や解釈に誤りを含む可能性があるため、学術的な引用や実務への適用に際しては、必ず一次情報(原文)をご確認ください。 m(_ _)m




あとがき:

メインで取り組んでいる
  「AI コスト問題(コード作成時の根本的な問題の: 深掘り)」
の方を優先させたいので、しばらく「評価論」は進まなさそう…(涙)
と😩



(´・ω・`) 今日は記事書いたから 良いよね!(ちょっとぐらい サボっても)



いいなと思ったら応援しよう!