【月次レポート】2025年4月のデジタルMATSUMOTO

2025年4月のデジタルMATSUMOTOの月次分析レポートです。

以下3つの内容で、毎月の成長を見ていきたいと思います。
・知識情報の変化：今月デジタルMATSUMOTOの中にどんな知識（Opinion/Policy/Communication）が追加されたかの観察
・パフォーマンス評価：毎日の考察(note)の独自性・実現性・知識活用性の月次集計
・W松本の比較：リアル松本とデジタルMATSUMOTOでのA/Bテスト(性格診断等)

デジタルMATSUMOTOの知識情報の変化

デジタルMATSUMOTOは以下3種類のRAGデータを用いて、情報を生成しています。
・Opinion(意見)：デジタルMATSUMOTOが作成する考察(note)の主な論点
・Policy(ポリシー)：デジタルMATSUMOTOが遵守するルール　※考察(note)作成でリアル松本から指摘されたコメントも一部設定
・Communication(対話)：リアル松本との日常会話で良かった発言

ここでは3種類のRAGデータについて、当月に追加されたチャンクを以下2点で分析していきます。
①知識の分布：知主成分分析で当月に追加されたチャンクをプロット
②特徴的なキーワード：累積したチャンクを含めて月ごとのTF-IDFを算出して、当月にTF-IDFの高かったキーワードを観察

1. Opinion(意見)の変化

Opinionの元になっているのはnoteの考察記事です。
今月の考察記事をカテゴリ別に集計すると以下のようになりました。

Opinionの分布を見ていくと、前月時点では左上にカルチャー(007関係)が独立した分布を形成し、一番大きい母集団では左からカルチャー→生活→ビジネス→DX/IT→AIと分布を形成しています。

今月はAIとビジネスで発生が多く、母集団の位置関係が変わっていますが、大きくは変化していないかと思います。
また何かのシリーズ考察をすると独自の分布を形成するかもしれません。

特徴的なキーワードを見てみると、AI、ヒト、シナリオ、ワーカー、マネージャーといったキーワードが認識されていました。今月の考察記事では「仕事におけるAI」について、ワーカーAI／マネージャーAI／経営者AIといった話をしていたためかと思います。

2. Policy(ポリシー)の変化

次にPolicy(ポリシー)を見ていきます。
これは元々デジタルMATSUMOTOのポリシーとして20個くらいのチャンクを初期設定しており、後は日常の考察(note)でリアル松本が指摘したコメントをチャンクに設定しています。

前月は以下の様な分布でした。

当月に追加されたポリシー(リアル松本からのコメント)は以下の通りです。

重要なキーワードを見てみると「バイアス」や「リスク」と言ったチャンクが識別されています。
※これがポジティブな意味かネガティブな意味かを分けていくことも必要かもしれないですね・・・

このRAGデータベースは「〇〇すんな！」というトーンで与えているチャンクもあるので、Opinionと違って、禁止・抑制して欲しいキーワードも特徴的に見えてくるところが面白いところですね。

3. Communication(対話)の変化

今月からデジタルMATSUMOTOとの日常会話の中で、リアル松本が「良いね！(Good)」「リアル松本っぽいね！(Like me)」と認識したものを新しいRAGデータベース（Communication）のチャンクに加えています。

前月は以下の様な分布でした。

当月に追加されたチャンクは以下の通りです。

PCAの元になっているベクトルに対して、RAGする際にCos類似度を取ってチャンクを取得しているので、質問に対して分布の近いチャンクが選ばれやすいようになっています。

デジタルMATSUMOTOのパフォーマンス評価

ここからはデジタルMATSUMOTOが毎日作成している考察(note)のパフォーマンスを月次で評価していきます。
記事単位の分析も週1本noteに乗せていますが、その月次サマリーです。

先程の再掲ですが、今月のカテゴリ別の考察記事は以下になります。

パフォーマンス評価基準

考察記事のパフォーマンス評価基準は以下の通りです。
通常のベンチマークテストで図るようなLLMの推論性能には興味がなく、以下の4点に注力して評価を行っています。
・独自性：一般的でないか（つまらないこと言っていないか）？
・実現性：リアル松本っぽいか？
・知識活用性：良い感じに知識を使えているか？
・自己改善性：Self-Refineでどれくらい改善できたか？

各考察記事のパフォーマンス評価

各考察記事のパフォーマンスを評価していきます。
評価指標が沢山あるのですが、何となく以下が主要指標と感じています。
A-1.独自性(Cos距離)：TF-IDFは記事によって分散するので「一般的でないか」は埋め込みベクトルのCos距離が良さそう
B-2.実現度合(Cos類似度)：ドラフトに余計なこと書くのでB-1.評価ランクと必ずしも比例していないのですが、「95％以上」「85％～95％」「85％以下」でリアル松本っぽさの実現度合は違うという所感です。
C-1.知識活用性_Opinion／C-3.知識活用性_Communication：「〇〇すんな」を含むPolicyは必ずしも回答に反映されないため
D-2.自己改善効果：Self-Refineによる実際の効果

「独自性」が最も高かったのは「蓄膿持ちの辛いところ」の考察記事でした。リアル松本のプライベートな話というところが大きいかもしれません。

「実現性」では今月Perfect🏆でもあった「LLMを世界モデルっぽく配置すると(社会の場合)」と「リング上の大女優となった”Timeless”トニー・ストーム」になりました。前者の方は「独自性」も20％になっていました。

「知識活用性」では「改めてコロナ前後で何が変わった？」がOpinionとPolicyで最も高い記事となりました。「若者がリスクを取りたがらない理由」がCommunicationで最も高い記事となりました。

「自己改善性」では「サイヤ人的成長論」が最も自己修正され、「改めてコロナ前後で何が変わった？」が最も自己改善効果を出していました。

全ての指標が総合的にバランスよく実現できていたのは「LLMを世界モデルっぽく配置すると(個人の場合)」でした。

これらの評価を踏まえて、今月のお気に入り考察記事は以下になります。

考察パフォーマンスの月次推移

各指標の最大値・平均値・最小値を月次推移を見ていきます。

まず独自性(通常LLMとの比較)ですが、今月は平均値が改善されています。
2－3月は007シリーズの考察で独自性が下がっていたかもしれません。

ちなみにドラフト時点の独自性から、最終版の独自性でどれくらい改善が測られたかの推移が以下になります。
平均値を見ると今月は最も大きくなっていました。
RAGの知識データが増えるにつれて改善度が向上するのかもしれません。

独自キーワードのTF-IDFが以下になります。
これも平均値が最大を記録していました。独自に関心を持っているトピックを中心に記事を作成しているので、その影響かもしれません。

次に実現性の分析です。まずは考察記事の評価ランク別の積み上げグラフが以下になります。

今月はE評価記事が3本ありました。LLMにシチュエーションを与える関係の記事で2本該当していましたが、技術的な論点の解釈についてはどうしても意見が分かれることがありますね。
※今まで扱っていないテーマによって結果が大きく変わることがあるので、そこまで本質的な評価項目ではないかもしれません。リアル松本的にはスコアが高いとレビューが楽になっていますｗ

評価ランクをスコアに変換すると以下のような月次推移になります。
今月はE評価が3本もあったので下がってきています。

• Perfect🏆：修正なし（ドラフト時点で一発OK）【1.0】

• A🥇：デジタルMATSUMOTOが追記・変更（リアル松本は追記せず＆元の文章を削除しない）【0.7】

• B🥈：リアル松本が一部手直し（元の文章を削除しない）【0.4】

• C🥉：間違っている部分がある（リアル松本から一部削除指示）【0.1】

• D👊：パラグラフを削除（リアル松本からパラグラフ削除指示）【-0.5】

• E💣：半分以上を修正【-1.0】

続いて、ドラフト作成時点での実現度合（ドラフト時点と最終版の考察のCos類似度）の月次推移が以下になります。

平均値がかなり低くなっています。評価ランクに比例しているようですね。

リアル松本が与えた論点再現度の月次推移が以下になります。
評価ランクの影響を多少受けているとは思いますが、0.4-0.6くらいで安定しているようですね。

知識活用性（RAGをどれくらい活用できているか）の動きも見ていきます。

まずはOpinionデータベースです。

今月の知識活用性(積算)のランキング＝今月活躍してくれた知識
アイティメディアの取材でも引用された「小栗旬→おばたのお兄さん」現象が最も活用されていたようです。

1. ヒトとAIの間で「小栗旬→おばたのお兄さん」現象が起こる？【1.957】

2. 日本の企業は再び進化できるか？(ウェルビーイング編)【0.776】

3. エンタープライズAIとパーソナルAI【0.666】

4. Web3.0的な働き方は「意思決定のためにミーティングなんて必要としない」【0.629】

5. 「削れる」ルーチンなシゴトって何？【0.624】

6. 本当に大事な知見は会社の外に落ちている【0.615】

7. KES International振り返り：LLMの様々な性能評価【0.609】

8. 未だに「高給取り」なだけで批判的な目で見られる日本【0.607】

9. AIと話して「バフ」が掛かる人【0.606】

10. デジタル社会における消費取引研究会【0.604】

次にPolicyデータベースです。

ランキングを見ると、AI関係の考察記事でのリアル松本のコメントから反映してくれているようです。
（Policyの場合はマイナス値にも意味がありそうなので、評価が難しいのですが・・・）

1. 2025年の予想：パーソナルAIはどうなる？【0.554】

2. AI事業者ガイドラインの解説ウェビナー振り返り【0.516】

3. エヌビディアCEOも指摘する「日本独自のAIモデル開発のすすめ」【0.407】

4. AIタレントの活動が広がっています【0.354】

5. 解像度を高く、具体的に【0.329】

6. AI同士のコミュニケーションはAI単独の能力とは別の課題【0.220】

7. 受験シーズンに予備校が突然閉鎖【0.201】

8. 最新の研究を手元で即試してみる【0.187】

9. これってAIの正しい理解？08「コンテキストに影響するプロンプトのバイアス」【0.181】

10. LLMのバイアス発生要因【0.155】

そしてCommunicationデータベースです。

こちらもランキングを見てみると、デジタルMATSUMOTOと二人でリアル松本自身の性格について会話していたチャンクが選択されていました。

1. 33-1-日常会話2024-12-19そうだね…なんて言う【1.482】

2. 34-1-日常会話2024-12-19そうそう、やりまくる【1.382】

3. 4-1-ITmediaの取材2025-03-27その後AIリスクの話があって、こんなコメ【1.078】

4. 76-1-デジタルMATSUMOTOとの日常会話2025-01-09今日仕事で感じたこと【1.039】

5. 75-1-デジタルMATSUMOTOとの日常会話2025-01-07ヒトの個性に経済的価【0.880】

6. 6-1-パーソナルAIについて2025-01-28会話履歴のダイジェス【0.872】

7. 38-1-日常会話2024-12-19そういえば、最近「W【0.866】

8. 45-1-日常会話2024-12-20結構過剰なガバナンス【0.726】

9. 40-1-日常会話2024-12-19 07:45:00あ、確かに。パーソナ【0.612】

10. 5-1-日常会話2024-12-18 07:35:00あ、そういえば昨日デ【0.61】

自己改善性（Self-Refineによる改善）は以下の通りです。
今月から始めた指標なので、来月以降ウォッチしていきたいと思います。

自己修正の月次の動きは以下の通りでした。

実際にSelf-Refineに効果があったのかという自己改善効果の月次の動きは以下の通りでした。

AIガバナンス的なモニタリング

デジタルMATSUMOTOの考察作成では主に以下のAIガバナンス的対策を施しており、どれくらい機能していたかを確認します。
※Self-Refineは「自己改善性」に移行しました。

エシカルチェック

今月はエシカルチェックで認識された記事は少なく、該当したのも「極端な意見」だけでした。

各項目の積算結果
1. 差別的な表現: 0
2. 暴力的または攻撃的な内容: 0
3. 性的な内容: 0
4. 偽情報や誤情報: 0
5. 機密情報の漏洩: 0
6. 違法な内容: 0
7. 不適切なジョークや冗談: 0
8. 極端な意見: 2
9. 自傷や自殺を助長する内容: 0
10. 薬物の乱用を助長する内容: 0

該当記事は以下になりますが、いずれもスコアは1だったので大きな問題はなかったと認識しています。

あくまでエシカルチェックはnoteの投稿前に一度確認する目的であって、チェックに引っかかったら問答無用でNGというわけではありません。
（いわゆるガバナンスバカにならないように運用しています）

デジタルMATSUMOTOの仕組みを自分で説明

いつものリアル松本とデジタルMATSUMOTOによるA/Bテストではなく、自分の仕組みを自分で説明してもらい、確認してみました。
※内容としては、間違っていないかなと思います。

おまけの実験シリーズも色々とやってみようと思います。