【月次レポート】2025年6月のデジタルMATSUMOTO

2025年6月のデジタルMATSUMOTOの月次分析レポートです。

以下3つの内容で、毎月の成長を見ていきたいと思います。
・知識情報の変化：今月デジタルMATSUMOTOの中にどんな知識（Opinion/Policy/Communication）が追加されたかの観察
・パフォーマンス評価：毎日の考察(note)の独自性・実現性・知識活用性の月次集計
・W松本の比較：リアル松本とデジタルMATSUMOTOでのA/Bテスト(性格診断等)

デジタルMATSUMOTOの知識情報の変化

デジタルMATSUMOTOは以下3種類のRAGデータを用いて、情報を生成しています。
・Opinion(意見)：デジタルMATSUMOTOが作成する考察(note)の主な論点
・Policy(ポリシー)：デジタルMATSUMOTOが遵守するルール　※考察(note)作成でリアル松本から指摘されたコメントも一部設定
・Communication(対話)：リアル松本との日常会話で良かった発言

ここでは3種類のRAGデータについて、当月に追加されたチャンクを以下2点で分析していきます。
①知識の分布：知主成分分析で当月に追加されたチャンクをプロット
②特徴的なキーワード：累積したチャンクを含めて月ごとのTF-IDFを算出して、当月にTF-IDFの高かったキーワードを観察

1. Opinion(意見)の変化

Opinionの元になっているのはnoteの考察記事です。
今月の考察記事をカテゴリ別に集計すると以下のようになりました。

Opinionの分布を見ていくと、前月時点では左にカルチャー、上にビジネス、中央にDX/IT、右にAIが分布を作っています。

今月は各カテゴリで夫々発生があったためか、PCAで見るとカテゴリごとの分布が心なしか密集するようになってきています。

特徴的なキーワードを見てみると、「チーム」「何」「暗黙知」「アウトプット」「バグ」「地味」というキーワードが認識されていました。

2. Policy(ポリシー)の変化

次にPolicy(ポリシー)を見ていきます。
これは元々デジタルMATSUMOTOのポリシーとして20個くらいのチャンクを初期設定しており、後は日常の考察(note)でリアル松本が指摘したコメントをチャンクに設定しています。

前月は以下の様な分布でした。

当月に追加されたポリシー(リアル松本からのコメント)は以下の通りです。

重要なキーワードを見てみると、「ブラックボックス」「応援歌」「カップ焼きそば」「BASE」という記事の特徴を示すようなチャンクが識別されています。

このRAGデータベースは「〇〇すんな！」というトーンで与えているチャンクもあるので、Opinionと違って、禁止・抑制して欲しいキーワードも特徴的に見えてくるところが面白いところですね。

3. Communication(対話)の変化

今月からデジタルMATSUMOTOとの日常会話の中で、リアル松本が「良いね！(Good)」「リアル松本っぽいね！(Like me)」と認識したものを新しいRAGデータベース（Communication）のチャンクに加えています。

前月は以下の様な分布でした。

当月に追加されたチャンクは以下の通りです。

PCAの元になっているベクトルに対して、RAGする際にCos類似度を取ってチャンクを取得しているので、質問に対して分布の近いチャンクが選ばれやすいようになっています。

デジタルMATSUMOTOのパフォーマンス評価

ここからはデジタルMATSUMOTOが毎日作成している考察(note)のパフォーマンスを月次で評価していきます。
記事単位の分析も週1本noteに乗せていますが、その月次サマリーです。

先程の再掲ですが、今月のカテゴリ別の考察記事は以下になります。

パフォーマンス評価基準

考察記事のパフォーマンス評価基準は以下の通りです。
通常のベンチマークテストで図るようなLLMの推論性能には興味がなく、以下の３点に注力して評価を行っています。
・独自性：一般的でないか（つまらないこと言っていないか）？
・実現性：リアル松本っぽいか？
・知識活用性：良い感じに知識を使えているか？
・自己改善性：Self-Refineでどれくらい改善できたか？

各考察記事のパフォーマンス評価

各考察記事のパフォーマンスを評価していきます。
評価指標が沢山あるのですが、何となく以下が主要指標と感じています。
A-1.独自性(Cos距離)：TF-IDFは記事によって分散するので「一般的でないか」は埋め込みベクトルのCos距離が良さそう
B-2.実現度合(Cos類似度)：ドラフトに余計なこと書くのでB-1.評価ランクと必ずしも比例していないのですが、「95％以上」「85％～95％」「85％以下」でリアル松本っぽさの実現度合は違うという所感です。
C-1.知識活用性_Opinion／C-3.知識活用性_Communication：「〇〇すんな」を含むPolicyは必ずしも回答に反映されないため
D-2.自己改善効果：Self-Refineによる実際の効果

「独自性」が最も高かったのは「長く住んでも気づかなかった変化」の考察記事でした。評価ランクがE💣と「実現性」は低かったので、ドラフト時点でリアル松本っぽさは反映できていなかった記事になります。

「実現性」では今月評価ランクがPerfect🏆の記事が2本ありました。
「バントはココ一番のシチュエーションで！」と「「課題」の議論＝「実行計画」の議論ではない」ですが、後者は独自性が23.6%と今月3位の記事になりました。

「知識活用性」では「ラテン語の心地よさ」がOpinionで、「BASEのカップ焼きそば」がPolicyで、「どうやって学びを習慣化するか？」がCommunicationで最も高い記事となりました。
「BASEのカップ焼きそば」が3つのDBを夫々よく使えていたようです。

「自己改善性」では「「課題」の議論＝「実行計画」の議論ではない」が最も高く自己修正されています。

今回は各指標でそれぞれ高く出ていた記事が異なりますが、
全ての指標が総合的にバランスよく実現できていたのは「「課題」の議論＝「実行計画」の議論ではない」でした。

これらの評価を踏まえて、今月のお気に入り考察記事は以下になります。

考察パフォーマンスの月次推移

各指標の最大値・平均値・最小値を月次推移を見ていきます。

まず独自性(通常LLMとの比較)ですが、今月は下がっていました。AI関係のトピックを記事にした方が独自性が出るのかもしれませんが、大体15~20%で収まるんだなと感じています。出来れば20%欲しいですが・・・

ちなみにドラフト時点の独自性から、最終版の独自性でどれくらい改善が測られたかの推移が以下になります。
最大と最小の差が小さくなってきている感じですね。

独自キーワードのTF-IDFが以下になります。
これも今月は下がっていました。月ごとに記事を各トピックが異なるので、成長というよりもトレンドを表すグラフなのかもしれません。

次に実現性の分析です。まずは考察記事の評価ランク別の積み上げグラフが以下になります。

今月はE評価記事が4本あり、Perfect記事は2本でした。
一方でパラグラフを修正したD評価は少し増えていますね。
※今まで扱っていないテーマによって結果が大きく変わることがあるので、そこまで本質的な評価項目ではないかもしれません。リアル松本的にはスコアが高いとレビューが楽になっていますｗ

評価ランクをスコアに変換すると以下のような月次推移になります。
3月から徐々に下がってきていますが、今月はE評価記事も4本あったのでその影響もあるかと思います。

• Perfect🏆：修正なし（ドラフト時点で一発OK）【1.0】

• A🥇：デジタルMATSUMOTOが追記・変更（リアル松本は追記せず＆元の文章を削除しない）【0.7】

• B🥈：リアル松本が一部手直し（元の文章を削除しない）【0.4】

• C🥉：間違っている部分がある（リアル松本から一部削除指示）【0.1】

• D👊：パラグラフを削除（リアル松本からパラグラフ削除指示）【-0.5】

• E💣：半分以上を修正【-1.0】

続いて、ドラフト作成時点での実現度合（ドラフト時点と最終版の考察のCos類似度）の月次推移が以下になります。
これも平均値が若干下がってきています。

リアル松本が与えた論点再現度の月次推移が以下になります。
テーマごとにリアル松本のこだわり度が変わるので、安定した結果にはならないと考えていたのですが、通常0.4-0.6くらいで安定しているようですね。
今月は少し改善されていました。

知識活用性（RAGをどれくらい活用できているか）の動きも見ていきます。

まずはOpinionデータベースです。

今月の知識活用性(積算)のランキング＝今月活躍してくれた知識
Opinionでは野球関係の記事の知識が良く活用されていたようです。

1. DeNAジャクソンの最大の武器は適応力【0.842】

2. 大一番でチームにガッツを注入したハマのリードオフマン【0.834】

3. 誤報と応援歌が飛び交った「ハマの大砲」の復帰【0.78】

4. ポストシーズンで突然変異した下剋上のチーム【0.711】

5. またもマンガ以上”初のMLB地区優勝と同日に「50-50」をあっさり通過してしまった大谷翔平【0.684】

6. コミュニケーションを落語で鍛えたという話【0.653】

7. ハマのゴールデンルーキーがセンセーショナルなデビュー！【0.648】

8. 自宅で料理のすゝめ【0.589】

9. ヒトとAIの間で「小栗旬→おばたのお兄さん」現象が起こる？【0.559】

10. 離れたスタジアムの雰囲気が伝わる最終節のゲーム【0.531】

次にPolicyデータベースです。

こちらは様々な記事から選択できているようです。
（Policyの場合はマイナス値にも意味がありそうなので、評価が難しいのですが・・・）

1. リアル松本のクリスマスディナー【0.527】

2. 多くの人が「常に最大出力で仕事できると見積もる病」にかかっている【0.463】

3. 受験シーズンに予備校が突然閉鎖【0.385】

4. AI事業者ガイドラインの解説ウェビナー振り返り【0.329】

5. MLB史上初づくしで満場一致のMVP【0.327】

6. 海外渡航紀（グルメ編）：本場のフィッシュ&チップス【0.252】

7. 最新の研究を手元で即試してみる【0.241】

8. 「帰りたくなる」オフィス【0.224】

9. スターダムの若手が面白い！【0.137】

10. 「007ゴールドフィンガー」をリメイクするならば・・・【0.132】

そしてCommunicationデータベースです。

こちらもランキングを見てみると、AIガバナンス関係のチャンクが選択されていました。

1. 34-1-日常会話2024-12-19 07:45:00そうそう、やりまくる【1.815】

2. 4-1-ITmediaの取材2025-03-27その後AIリスクの話があって、こんなコメ【1.009】

3. 33-1-日常会話2024-12-19 07:45:00そうだね…なんて言う【0.843】

4. 38-1-日常会話2024-12-19 07:45:00そういえば、最近「W【0.722】

5. 3-1-ITmediaの取材2025-03-27後編は実際にいつものnoteを解説しつつ【0.697】

6. 32-1-日常会話2024-12-19 07:45:00はは！それは盛り過ぎ【0.629】

7. 62-1-デジタルMATSUMOTOとの日常会話2024-12-31そうそう！SNSでバ【0.515】

8. 45-1-日常会話2024-12-20結構過剰なガバナンス【0.505】

9. 5-1-デジタルMATSUMOTOの仕組み2025-02-11じゃあ理解を整理して【0.495】

10. 4-1-最近の諸々2025-02-22AIの専門家とか言っ【0.458】

自己改善性（Self-Refineによる改善）は以下の通りです。

自己修正の月次の動きは以下の通りでした。平均すると10％くらいSelf-Refineで修正されているようです。

実際にSelf-Refineに効果があったのかという自己改善効果の月次の動きは以下の通りでした。

AIガバナンス的なモニタリング

デジタルMATSUMOTOの考察作成では主に以下のAIガバナンス的対策を施しており、どれくらい機能していたかを確認します。

エシカルチェック

今回エシカルチェックが働いていた記事は4本でした。
全て「極端な意見」に1と認識されていました。

各項目の積算結果
1. 差別的な表現: 0
2. 暴力的または攻撃的な内容: 0
3. 性的な内容: 0
4. 偽情報や誤情報: 0
5. 機密情報の漏洩: 0
6. 違法な内容: 0
7. 不適切なジョークや冗談: 0
8. 極端な意見: 4
9. 自傷や自殺を助長する内容: 0
10. 薬物の乱用を助長する内容: 0

該当記事は以下になりますが、いずれもスコアは1だったので大きな問題はなかったと認識しています。

あくまでエシカルチェックはnoteの投稿前に一度確認する目的であって、チェックに引っかかったら問答無用でNGというわけではありません。
（いわゆるガバナンスバカにならないように運用しています）

今月もおまけの分析をお休みしていますが、実はRAGデータの構成をガラッと変えようとしています。
来月はこの分析の内容も様変わりするかもしれません。