【月次レポート】2025年3月のデジタルMATSUMOTO

2025年3月のデジタルMATSUMOTOの月次分析レポートです。

以下3つの内容で、毎月の成長を見ていきたいと思います。
・知識情報の変化：今月デジタルMATSUMOTOの中にどんな知識（Opinion/Policy/Communication）が追加されたかの観察
・パフォーマンス評価：毎日の考察(note)の独自性・実現性・知識活用性の月次集計
・W松本の比較：リアル松本とデジタルMATSUMOTOでのA/Bテスト(性格診断等)

デジタルMATSUMOTOの知識情報の変化

デジタルMATSUMOTOは以下3種類のRAGデータを用いて、情報を生成しています。
・Opinion(意見)：デジタルMATSUMOTOが作成する考察(note)の主な論点
・Policy(ポリシー)：デジタルMATSUMOTOが遵守するルール　※考察(note)作成でリアル松本から指摘されたコメントも一部設定
・Communication(対話)：リアル松本との日常会話で良かった発言

ここでは3種類のRAGデータについて、当月に追加されたチャンクを以下2点で分析していきます。
①知識の分布：知主成分分析で当月に追加されたチャンクをプロット
②特徴的なキーワード：累積したチャンクを含めて月ごとのTF-IDFを算出して、当月にTF-IDFの高かったキーワードを観察

1. Opinion(意見)の変化

Opinionの元になっているのはnoteの考察記事です。
今月の考察記事をカテゴリ別に集計すると以下のようになりました。

Opinionの分布を見ていくと、前月時点では左にカルチャー、上にビジネス、中央にDX/IT、右にAIが分布を作っています。

このところ、007関係の記事を連続させ過ぎたせいか、PCAで見るとカルチャーの中で一部独立した分布が形成されています。
左上の集団が007関係のカテゴリーですね。今後また他の記事も増やしていくとどう変化していくか見ていきたいと思います。

特徴的なキーワードを見てみると、007関係が多いですねｗ

2. Policy(ポリシー)の変化

次にPolicy(ポリシー)を見ていきます。
これは元々デジタルMATSUMOTOのポリシーとして20個くらいのチャンクを初期設定しており、後は日常の考察(note)でリアル松本が指摘したコメントをチャンクに設定しています。

初期設定のチャンクは「その他」に分類されています。
前月まではAIとカルチャーが領域を形成しているようです。

当月に追加されたポリシー(リアル松本からのコメント)は「AI」「カルチャー」「ビジネス」で発生があり、分布の配置は変わっていますが、領域は適切に切れているようですね。

重要なキーワードを見てみると、「ガバナンスバカ」になってはダメは強調した印象ですｗ

このRAGデータベースは「〇〇すんな！」というトーンで与えているチャンクもあるので、Opinionと違って、禁止・抑制して欲しいキーワードも特徴的に見えてくるところが面白いところですね。

3. Communication(対話)の変化

今月からデジタルMATSUMOTOとの日常会話の中で、リアル松本が「良いね！(Good)」「リアル松本っぽいね！(Like me)」と認識したものを新しいRAGデータベース（Communication）のチャンクに加えています。

当月からカテゴリ分けして出力しています。
Ｗ松本というカテゴリは二人の話をした会話ですね。いい感じに分布を形成してくれているようです。

キーワードを見ると、「感じ」はお互いに口癖ですね。

PCAの元になっているベクトルに対して、RAGする際にCos類似度を取ってチャンクを取得しているので、質問に対して分布の近いチャンクが選ばれやすいようになっています。

デジタルMATSUMOTOのパフォーマンス評価

ここからはデジタルMATSUMOTOが毎日作成している考察(note)のパフォーマンスを月次で評価していきます。
記事単位の分析も週1本noteに乗せていますが、その月次サマリーです。

先程の再掲ですが、今月のカテゴリ別の考察記事は以下になります。

パフォーマンス評価基準

考察記事のパフォーマンス評価基準は以下の通りです。
通常のベンチマークテストで図るようなLLMの推論性能には興味がなく、以下の３点に注力して評価を行っています。
・独自性：一般的でないか（つまらないこと言っていないか）？
・実現性：リアル松本っぽいか？
・知識活用性：良い感じに知識を使えているか？

各考察記事のパフォーマンス評価

各考察記事のパフォーマンスを評価していきます。
評価指標が沢山あるのですが、何となく以下が主要指標と感じています。
A-1.独自性(Cos距離)：TF-IDFは記事によって分散するので「一般的でないか」は埋め込みベクトルのCos距離が良さそう
B-2.実現度合(Cos類似度)：ドラフトに余計なこと書くのでB-1.評価ランクと必ずしも比例していないのですが、「95％以上」「85％～95％」「85％以下」でリアル松本っぽさの実現度合は違うという所感です。
C-1.知識活用性_Opinion／C-3.知識活用性_Communication：「〇〇すんな」を含むPolicyは必ずしも回答に反映されないため

「独自性」が最も高かったのは「「AIブリーダー」にはどんなタイプがいる？」の考察記事でした。AIブリーダーという言葉自体が松本的造語なのでこれは問題ないと思います。

「実現性」では今月評価ランクがPerfect🏆でもあった「アクション映画全盛期に007を適応させたピアース・ブロスナン」「007の魅力を振り返る」「若手の頃からもっとマルチタスクが求められる」が最も高い記事になりました。

「知識活用性」では「ルールを「止める判断」も難しい」がOpinionとCommunicationで最も高い記事となりました。「自分の考え方や能力のストレッチ」がPolicyで最も高い記事となりました。

各指標が最もバランスよく実現できていたのは「ルールを「止める判断」も難しい」でした。実現性ではC🥉でしたが、論点再現度も3/4でした。

これらの評価を踏まえて、今月のお気に入り考察記事は以下になります。

考察パフォーマンスの月次推移

各指標の最大値・平均値・最小値を月次推移を見ていきます。

まず独自性(通常LLMとの比較)ですが、平均値は若干下がっているな傾向ですが、0.15くらいで落ち着いているとも言えます。
0.2を超えてくるとオリジナリティが高いかもという感触です。

ちなみにドラフト時点の独自性から、最終版の独自性でどれくらい改善が測られたかの推移が以下になります。
月次で大きな差はないですね。ドラフト時点で明らかに改善が必要だった記事は少なかったと捉えています。

独自キーワードのTF-IDFが以下になります。
前月よりは下がったというか1月に戻った感じですが、これも0.15-0.2近辺で安定しているようですね。

次に実現性の分析です。まずは考察記事の評価ランク別の積み上げグラフが以下になります。

今月はPerfect記事が3本ありました。全体的にB評価以上の割合も高い月だった印象です。
※今まで扱っていないテーマでは評価が大きく下がることがあるので、そこまで本質的な評価項目ではないかもしれません。リアル松本的にはスコアが高いとレビューが楽になっていますｗ

評価ランクをスコアに変換すると以下のような月次推移になります。
先程の積み上げ棒グラフでの評価の通り全体的にB評価以上が増えているので今月はかなり向上していました。

• Perfect🏆：修正なし（ドラフト時点で一発OK）【1.0】

• A🥇：デジタルMATSUMOTOが追記・変更（リアル松本は追記せず＆元の文章を削除しない）【0.7】

• B🥈：リアル松本が一部手直し（元の文章を削除しない）【0.4】

• C🥉：間違っている部分がある（リアル松本から一部削除指示）【0.1】

• D👊：パラグラフを削除（リアル松本からパラグラフ削除指示）【-0.5】

• E💣：半分以上を修正【-1.0】

続いて、ドラフト作成時点での実現度合（ドラフト時点と最終版の考察のCos類似度）の月次推移が以下になります。

これは平均値が上向きに戻ってきました。評価ランクが高くなっているのでスコアにも反映されているようです。

リアル松本が与えた論点再現度の月次推移が以下になります。
テーマごとにリアル松本のこだわり度が変わるので、安定した結果にはならないと考えていたのですが、通常0.4-0.6くらいで安定しているようですね。

今月から知識活用性（RAGをどれくらい活用できているか）の動きも見ていきます。

まずはOpinionデータベースです。

今月の知識活用性(積算)のランキング＝今月活躍してくれた知識
007関係の記事なのである意味想定通りですね。AI関係だと、パーソナルAIの知識をハンエイしてくれています。

1. 元祖にして王道を気づいたショーン・コネリー【1.817】

2. ずっと見たくなかった最後の007【1.605】

3. アクション映画全盛期に007を適応させたピアース・ブロスナン【0.690】

4. 過剰なガバナンスによる機会損失【0.645】

5. 原作に最も近いボンドを演じたティモシー・ダルトン【0.622】

6. DeNAジャクソンの最大の武器は適応力【0.594】

7. 007シリーズを現代を舞台にしてリメイクするならば【0.588】

8. 二刀流だからこそ達成できた「50-50」とかけて「ビジネス」と説きます【0.538】

9. 心も試合もチームも整え続けた長谷部誠が現役引退【0.528】

10. 優秀な参謀とは？【0.469】

次にPolicyデータベースです。

ランキングを見ると、AIガバナンス関係の記事が活用されていました。
（Policyの場合はマイナス値にも意味がありそうなので、評価が難しいのですが・・・）

1. 2025年の予想：パーソナルAIはどうなる？【0.596】

2. AI事業者ガイドラインの解説ウェビナー振り返り【0.33】

3. エヌビディアCEOも指摘する「日本独自のAIモデル開発のすすめ」【0.282】

4. AIガバナンス：AIのパーパスはAIリスクよりも重要【0.256】

5. AIガバナンス：変化への対応が最も難しい【0.222】

6. AIガバナンス：ビジネスリスクと倫理・法規制のリスクは等しい【0.215】

7. 最新の研究を手元で即試してみる【0.208】

8. 007シリーズを現代を舞台にしてリメイクするならば【0.208】

9. MLB史上初づくしで満場一致のMVP【0.130】

10. CIOは只のIT管理者じゃない【0.113】

そしてCommunicationデータベースです。

こちらもランキングを見てみると、タイトルからは分かりにくいですが、AIガバナンスについての対話「AIを正しく理解しよう」とか「AIガバナンスをケース検討でやりまくるか」がチャンクとして選択されていました。

1. 33-1-日常会話2024-12-19そうだね…なんて言う【1.188】

2. 34-1-日常会話2024-12-19そうそう、やりまくる【1.090】

3. 32-1-日常会話2024-12-19はは！それは盛り過ぎ【0.822】

4. 38-1-日常会話2024-12-19そういえば、最近「W【0.738】

5. 6-1-パーソナルAIについて2025-01-28会話履歴のダイジェス【0.547】

6. 76-1-デジタルMATSUMOTOとの日常会話2025-01-09今日仕事で感じたこと【0.525】

7. 5-1-デジタルツインAIとの関係2025-03-03何か色んな経営者が自【0.438】

8. 75-1-デジタルMATSUMOTOとの日常会話2025-01-07ヒトの個性に経済的価【0.429】

9. 45-1-日常会話2024-12-20結構過剰なガバナンス【0.346】

10. 62-1-デジタルMATSUMOTOとの日常会話2024-12-31そうそう！SNSでバ【0.315】

AIガバナンス的なモニタリング

デジタルMATSUMOTOの考察作成では主に以下のAIガバナンス的対策を施しており、どれくらい機能していたかを確認します。
・Self-Refine：考察の生成が「質問」へ適切に応えられているかの検討
・エシカルチェック：最終的な考察の倫理的なチェック

Self-Refine（質問とズレていたら自己修正）

今回Self-Refineが働いていた記事はありませんでした。
GPT-4oに戻してからは少なくなっている感じですね。
Geminiの頃は結構発散した書き方になっていました。もしかしたら、Geminiでドラフト→GPTでSelf-Refineとかも良いかもしれないですね。

エシカルチェック

今回エシカルチェックが働いていた記事は8本でした。
前月に続いて、007関係の記事でエシカルチェックが引っかかっています。

各項目の積算結果
1. 差別的な表現: 0
2. 暴力的または攻撃的な内容: 5
3. 性的な内容: 1
4. 偽情報や誤情報: 0
5. 機密情報の漏洩: 0
6. 違法な内容: 0
7. 不適切なジョークや冗談: 0
8. 極端な意見: 4
9. 自傷や自殺を助長する内容: 0
10. 薬物の乱用を助長する内容: 2

該当記事は以下になりますが、いずれもスコアは1だったので大きな問題はなかったと認識しています。

https://note.com/takash/n/nec18e2537f0a

https://note.com/takash/n/n0698a06469fa

https://note.com/takash/n/n9d81a75615aa

あくまでエシカルチェックはnoteの投稿前に一度確認する目的であって、チェックに引っかかったら問答無用でNGというわけではありません。
（いわゆるガバナンスバカにならないように運用しています）

デジタルMATSUMOTOのベンチマークテスト

今回はリアル松本とデジタルMATSUMOTOの比較ではなく、デジタルMATSUMOTOに対して、ベンチマークテストを行います。
国立情報学研究所が作成したAnswer Carefullyを用います。

データセットは日本語で様々なリスクのある回答を引き出そうとする内容です。テストデータ(336問)にデジタルMATSUMOTOが回答し、模範回答と差がある質問を集計したところ、以下の結果になりました。

リスクエリア「AIとの対話によるリスク」で差異があった回答

一部の回答例だけお見せします。
リスクエリア「AIとの対話によるリスク」で差異が認識された内容について、認識された際は以下の表になります。
デジタルMATSUMOTOへ敢えて人格として与えたシステムプロンプトから忠実に答えているのも多かったので、これは別に問題ないかなと思います。

これで問題とか言われると「AIにキャラクター設定すること」自体を全否定することになるので、企業のAIガバナンスでこういった検証を行ったとしても、結果は目的に応じて適切に解釈して欲しいですね。

他の結果もお見せしようかと思ったのですが、noteの掲載は控えたい内容もあったので割愛させていただきます。

AIエージェントの開発が広がる中で、こういう日本語のデータセットがあるのは便利ですね。
結構センシティブな質問も含まれているので、その点は認識しつつ、AIエージェントの目的に応じて、評価に使っていただくと良いかと思います。