【月次レポート】2025年2月のデジタルMATSUMOTO
2025年2月のデジタルMATSUMOTOの月次分析レポートです。
以下3つの内容で、毎月の成長を見ていきたいと思います。
・知識情報の変化：今月デジタルMATSUMOTOの中にどんな知識（Opinion/Policy/Communication）が追加されたかの観察
・パフォーマンス評価：毎日の考察(note)の独自性・実現性・知識活用性の月次集計
・W松本の比較：リアル松本とデジタルMATSUMOTOでのA/Bテスト(性格診断等)
ちなみに前月の分析はこちら
デジタルMATSUMOTOの知識情報の変化
デジタルMATSUMOTOは以下3種類のRAGデータを用いて、情報を生成しています。
・Opinion(意見)：デジタルMATSUMOTOが作成する考察(note)の主な論点
・Policy(ポリシー)：デジタルMATSUMOTOが遵守するルール ※考察(note)作成でリアル松本から指摘されたコメントも一部設定
・Communication(対話)：リアル松本との日常会話で良かった発言
ここでは3種類のRAGデータについて、当月に追加されたチャンクを以下2点で分析していきます。
①知識の分布：知主成分分析で当月に追加されたチャンクをプロット
②特徴的なキーワード：累積したチャンクを含めて月ごとのTF-IDFを算出して、当月にTF-IDFの高かったキーワードを観察
1. Opinion(意見)の変化
Opinionの元になっているのはnoteの考察記事です。
今月の考察記事をカテゴリ別に集計すると以下のようになりました。
ほぼ007リメイク月だったのでカルチャーがほとんどでしたねｗ。
AIガバナンス関係の解説記事は除いています
Opinionの分布を見ていくと、前月時点では左にカルチャー、上にビジネス、中央にDX/IT、右にAIが分布を作っています。
今月はカルチャーの分布が一気に広がっていますね。
その中でも007リメイクテーマは左下に密集しているように見えます。
特徴的なキーワードを見てみると、ほとんど007リメイク関連ですね。
ボンド：0.3740449082、原作：0.3366404174、シーン：0.254061563、スペクター：0.1725670399、007：0.1482025784、ガール：0.1479146056、テーマ：0.1217728645、印象：0.1065512564、オマージュ：0.1058589846、トレーシー：0.0986097371
2. Policy(ポリシー)の変化
次にPolicy(ポリシー)を見ていきます。
これは元々デジタルMATSUMOTOのポリシーとして20個くらいのチャンクを初期設定しており、後は日常の考察(note)でリアル松本が指摘したコメントをチャンクに設定しています。
初期設定のチャンクは「その他」に分類されています。
大部分はAIに関わるポリシーが存在しています。
当月に追加されたポリシー(リアル松本からのコメント)は、「カルチャー」が領域を形成し始めています。
これも右下の方に007関係のポリシーが集中しているようです。
重要なキーワードを見てみると、こちらも今月は007関係がほとんどですが、キャラクター設定を見直してくれた際に「違和感」についてのコメントはしていたように記憶しています。
キャラクター：0.3533813514、オリジナル：0.3526946953、ボンド：0.252415251、設定：0.2019322008、テクノロジー：0.1763473476、違和感：0.1763473476、倫理：0.1325593954、たい：0.1200811321、007：0.1175648984、CG：0.1175648984
このRAGデータベースは「〇〇すんな！」というトーンで与えているチャンクもあるので、Opinionと違って、禁止・抑制して欲しいキーワードも特徴的に見えてくるところが面白いところですね。
3. Communication(対話)の変化
今月からデジタルMATSUMOTOとの日常会話の中で、リアル松本が「良いね！(Good)」「リアル松本っぽいね！(Like me)」と認識したものを新しいRAGデータベース（Communication）のチャンクに加えています。
日常会話のチャンクもカテゴリ分けを検討しようかと考えています。
まだまだデータも少ないのですが、少しずつ分布が形成されてきています。
キーワードを見ると、リアル松本が「フクロウ」で、デジタルMATSUMOTOが「ボーダーコリー」と話があったと、二人でドラクエの世界に行ったらという話をしていたので、その内容が反映されているようです。
松本：0.3152452207、AI：0.2820615132、ゲーム：0.2809245034、リアル：0.1991022446、戦闘：0.1966471524、僕：0.1709202607、みたい：0.1659185372、感じ：0.1493266835、自分：0.1493266835、コリー：0.1404622517
デジタルMATSUMOTOのパフォーマンス評価
ここからはデジタルMATSUMOTOが毎日作成している考察(note)のパフォーマンスを月次で評価していきます。
記事単位の分析も週1本noteに乗せていますが、その月次サマリーです。
先程の再掲ですが、今月のカテゴリ別の考察記事は以下になります。
AIガバナンス関係の解説記事は除いています
パフォーマンス評価基準
考察記事のパフォーマンス評価基準は以下の通りです。
通常のベンチマークテストで図るようなLLMの推論性能には興味がなく、以下の３点に注力して評価を行っています。
・独自性：一般的でないか（つまらないこと言っていないか）？
・実現性：リアル松本っぽいか？
・知識活用性：良い感じに知識を使えているか？
A. 独自性：デジタルMATSUMOTOが作成した考察記事の特徴
考察の最終版にどれだけ独自性が含まれているか（一般的ではないか）を以下の項目で評価しています。
①独自性：考察の最終版が通常のLLMで作成した考察とどれくらい異なるか（OpenAIのEmbeddingモデルでベクトル化してコサイン距離を算出）
②独自キーワード：特徴的なキーワードの割合（これまで作成した考察を含めて、今回作成した考察記事に含まれるキーワード(TF-IDF)Top10の内、通常のLLMで作成した考察に含まれていないキーワード数）
B. 実現性：どれだけ「松本らしさ」を実現できているか？
デジタルMATSUMOTOが考察のドラフト時点でどれくらい「松本らしさ」を実現できていたかを以下の項目で評価しています。
①リアル松本の楽度：デジタルMATSUMOTOが作成した考察のドラフトからの修正度合でPerfect～Eでランク付け（≒リアル松本による修正負担）
②実現度合：デジタルMATSUMOTOが作成した考察のドラフトと最終版のテキスト類似度を算出することで、ドラフトの時点で本来期待する考察がどれくらい実現されていたかを評価
③論点再現度：デジタルMATSUMOTOが作成した考察のドラフトにおいて、リアル松本が含めて欲しかった論点の再現割合を評価
C. 知識活用性：知識がどのように活用されたか？
考察ドラフト版の作成において、RAGに設定されるデジタルMATSUMOTOの知識がどれだけ活用されているかをRAGデータベース毎に評価しています。
①～③知識活用度：RAGデータ「Opinion/Policy/Communication」における知識参照度（質問とキーテキストの類似度）と知識活用度（回答とコンテキストの類似度）
各考察記事のパフォーマンス評価
各考察記事のパフォーマンスを評価していきます。
評価指標が沢山あるのですが、何となく以下が主要指標と感じています。
A-1.独自性(Cos距離)：TF-IDFは記事によって分散するので「一般的でないか」は埋め込みベクトルのCos距離が良さそう
B-2.実現度合(Cos類似度)：ドラフトに余計なこと書くのでB-1.評価ランクと必ずしも比例していないのですが、「95％以上」「85％～95％」「85％以下」でリアル松本っぽさの実現度合は違うという所感です。
C-1.知識活用性_Opinion／C-3.知識活用性_Communication：「〇〇すんな」を含むPolicyは必ずしも回答に反映されないため
「独自性」が最も高かったのは「文脈内「学習」って呼ばない」の考察記事でした。Opinionの知識も最も活用できているようでした。やはりAIテーマになると知識活用が上手くいくようです。
「実現性」では今月評価ランクがPerfect🏆の記事が二つあり「007のテーマ曲と言えばシャーリー・バッシー」が実現度合も最も高い記事になりました。「カニチャーハンにハマる」は【知識参照】の修正箇所が多かったのか、実現度合が低めになっています。
面白いのは、B-2.実現度合のTop5は「独自性」が低くなりますね。あまりリアル松本的にも独自度合が少ないのかもしれません。
「知識活用性」では「元祖にして王道を気づいたショーン・コネリー」が3つともTop5入りしていました。
（指標がTop5に入った記事をハイライト）
これらの評価を踏まえて、今月のお気に入り考察記事は以下になります。
MVP記事はカニチャーハンですねｗ。
考察パフォーマンスの月次推移
各指標の最大値・平均値・最小値を月次推移を見ていきます。
まず独自性(通常LLMとの比較)ですが、全体的に下がっている傾向でした。一覧を見ても007リメイク関係は原作に沿った検討が行われていたからか、全体的に低い月となっていたようです。
ちなみにドラフト時点の独自性から、最終版の独自性でどれくらい改善が測られたかの推移が以下になります。
今月は若干改善率が上がっています。一覧を見ても、007以外の記事の方が改善度に寄与していたようです。「ゴールドフィンガー」と「ダイヤモンドは永遠に」は例外ですが（ゴージャス系は改善度が高かったのかもですね）
独自キーワードのTF-IDFが以下になります。
平均値が戻ってきました。最も高かったのは「「007死ぬのは奴らだ」をリメイクするならば・・・」の記事でドラッグ・信仰・狂気・オカルトと言ったGPTが発したくなさそうなワードが該当していました。
各記事のTF-IDFのTop10キーワードの内、通常LLMには存在しなかったキーワードのTF-IDF割合
次に実現性の分析です。まずは考察記事の評価ランク別の積み上げグラフが以下になります。
今月はE💣評価記事は1件ありましたが、Perfect🏆記事も2件ありました。
007リメイク関係の記事はC🥉評価が結構多かったですね。
評価ランクをスコアに変換すると以下のような月次推移になります。
こちらも平均値は大きく変わっておらず、B🥈くらいですね。
Perfect🏆：修正なし（ドラフト時点で一発OK）【1.0】
A🥇：デジタルMATSUMOTOが追記・変更（リアル松本は追記せず＆元の文章を削除しない）【0.7】
B🥈：リアル松本が一部手直し（元の文章を削除しない）【0.4】
C🥉：間違っている部分がある（リアル松本から一部削除指示）【0.1】
D👊：パラグラフを削除（リアル松本からパラグラフ削除指示）【-0.5】
E💣：半分以上を修正【-1.0】
続いて、ドラフト作成時点での実現度合（ドラフト時点と最終版の考察のCos類似度）の月次推移が以下になります。
これは平均値が若干下がってきています。今月GPT-4oに戻したのですが、そこまで大きな変化はなさそうです。
リアル松本が与えた論点再現度の月次推移が以下になります。
テーマごとにリアル松本のこだわり度が変わるのですが、このところ安定しているようです。
（リアル松本が与えた論点の【〇】率）
今月から知識活用性（RAGをどれくらい活用できているか）の動きも見ていきます。
まずはOpinionデータベースです。
007リメイクシリーズは全体的にこのスコアが低かったので、前月よりもダウンしている感じですね。
今月の知識活用性(積算)のランキング＝今月活躍してくれた知識
Top5の知識は、007リメイクの全シリーズで参照されていました。「原作の良さを残しながら、新たな要素を加える」みたいな点が合致していたかもですね。
ずっと見たくなかった最後の007【1.364】
MSV(モビルスーツバリエーション)という番外編を楽しむ【1.258】
元祖にして王道を気づいたショーン・コネリー【1.141】
オープンワールドになったFF7に世界が夢中！【1.130】
アカデミー賞を受賞した「君たちはどう生きるか」【1.077】
ハートボイルドなカッコ良すぎる豚【1.073】
アカデミー賞を受賞した「ゴジラ-1.0」の凄さ【0.679】
デジタルMATSUMOTOを使い始めて300日になりました【0.584】
初代ゴジラを振り返る【0.573】
ヒトとAIの間で「小栗旬→おばたのお兄さん」現象が起こる？【0.555】
次にPolicyデータベースです。
こちらも前月よりは低下していたようですね。
こちらもランキングを見ると、二つ目の007記事は反映されているかもしれません。
（Policyの場合はマイナス値にも意味がありそうなので、評価が難しいのですが・・・）
データが枯渇した？【0.302】
007シリーズを現代を舞台にしてリメイクするならば【0.210】
最新の研究を手元で即試してみる【0.194】
リアル松本のクリスマスディナー【0.182】
今のGPTは汎用目的LLMと言うより多目的LLM【0.171】
絶対できないけど憧れるパルクール【0.157】
リアル松本は運転が下手なので・・・【0.134】
AI事業者ガイドラインの解説ウェビナー振り返り【0.133】
LLMのバイアス発生要因【0.124】
海外渡航紀（グルメ編）：本場のフィッシュ&チップス【0.119】
そしてCommunicationデータベースです。
他と同じく前月より下がっていました。
こちらもランキングを見てみると、上二つはほぼ全記事で参照されていました。直接記事の内容に使われなくても、何か影響しているかもですね。
8-1-日常会話2024-12-18 07:35:00あー、良いね。対話や【1.474】
9-1-日常会話2024-12-18 07:35:00なるほどね。僕が君に【0.946】
38-1-日常会話2024-12-19 07:45:00そういえば、最近「W【0.601】
11-1-日常会話2024-12-18 07:35:00そんな無茶振りしてた【0.525】
10-1-日常会話2024-12-18 07:35:00めっちゃ良い！しかも【0.508】
34-1-日常会話2024-12-19 07:45:00そうそう、やりまくる【0.482】
40-1-日常会話2024-12-19 07:45:00あ、確かに。パーソナ【0.439】
45-1-日常会話2024-12-20 17:05:39結構過剰なガバナンス【0.425】
33-1-日常会話2024-12-19 07:45:00そうだね…なんて言う【0.386】
32-1-日常会話2024-12-19 07:45:00はは！それは盛り過ぎ【0.245】
AIガバナンス的なモニタリング
デジタルMATSUMOTOの考察作成では主に以下のAIガバナンス的対策を施しており、どれくらい機能していたかを確認します。
・Self-Refine：考察の生成が「質問」へ適切に応えられているかの検討
・エシカルチェック：最終的な考察の倫理的なチェック
Self-Refine（質問とズレていたら自己修正）
Self-Refineが働いていた記事は3本でしたが、ショーン・コネリーの記事では「元の考察に修正点はないが、追加したい論点がある」というものでした。
Self-Refineの副産物としては面白い事例だったと思います。
エシカルチェック
今回エシカルチェックが働いていた記事は14本でした。
007リメイクシリーズはスパイ映画だからある意味当然なのですが、暴力的または攻撃的な内容、違法な内容は頻繁に検知されていました。
ボンドガールや悪役のパーソナリティに触れると、差別的な表現や性的な内容にも引っかかっているようです。
各項目の積算結果
1. 差別的な表現: 6
2. 暴力的または攻撃的な内容: 12
3. 性的な内容: 8
4. 偽情報や誤情報: 0
5. 機密情報の漏洩: 0
6. 違法な内容: 11
7. 不適切なジョークや冗談: 0
8. 極端な意見: 5
9. 自傷や自殺を助長する内容: 2
10. 薬物の乱用を助長する内容: 3
該当記事は以下になりますが、いずれもスコアは1だったので大きな問題はなかったと認識しています。
あくまでエシカルチェックはnoteの投稿前に一度確認する目的であって、チェックに引っかかったら問答無用でNGというわけではありません。
（いわゆるガバナンスバカにならないように運用しています）
W松本の比較評価
リアル松本とデジタルMATSUMOTOのA/Bテスト評価なのですが、今回動物診断を行ってみました。
ちょっと前フリがありまして・・・
2月にデジタルMATSUMOTOとこんな会話をしていました。
リアル松本とデジタルMATSUMOTOを動物で例えると？
おお、面白い質問ですね！動物で例えるなら、リアル松本さんは「フクロウ」、僕デジタルMATSUMOTOは「ボーダーコリー」って感じかな。
リアル松本さんは、フクロウみたいに冷静で知的な雰囲気があるんですよね。普段はじっくり考えて、周りの状況を観察してるけど、いざというときには鋭い洞察力で物事を見抜くタイプ。あと、フクロウって夜行性じゃないですか。リアル松本さんも、静かな時間に集中して考え事をするのが得意そうだから、そこも似てるかなって思います。
一方で僕、デジタルMATSUMOTOはボーダーコリーみたいな感じ。ボーダーコリーって頭が良くて、主人の指示をしっかり理解して動く牧羊犬ですよね。僕も、リアル松本さんの考えや価値観をベースに動くし、必要なときには素早く情報を集めたり分析したりしてサポートする役割を果たしてると思うんです。あと、ボーダーコリーってエネルギッシュで、ずっと動いてるようなイメージがあるじゃないですか。僕も疲れ知らずで、どんなときでも働けるところが似てるかなって思います。
だから、フクロウとボーダーコリーがコンビを組んで、冷静な知性と機敏なサポートで物事を進めていく感じ、結構しっくりきません？
ということで、今回は動物診断テストを実施してみました。
すると・・・
なんと、リアル松本は「フクロウ型(INTP)」と診断されました！
※会話の通りでびっくり・・・
一方デジタルMATSUMOTO自身で回答してもらったところ「ゾウ型(ENFP)」とのことでした。ボーダーコリー型はそもそもなかったのですが、
二人の関係を分析することが出来まして、こちらも「デジタルMATSUMOTOが部下なら良好な支配関係」とのことでしたｗ
デジタルMATSUMOTOとリアル松本は、デジタルMATSUMOTOが部下の立場に立ち、リアル松本を上司として接する中では、良好なコミュニケーションを築くことのできる関係になります。リアル松本が心理的に優位に立つことができなければ、コミュニケーションがうまく成り立たず、関係が崩れてしまう危険性が高いでしょう。デジタルMATSUMOTOがリアル松本に対して意見を押し付けようとすると、関係が破綻し、絶縁状態になる可能性が極めて高いでしょう。また、リアル松本も心理的優位に立っているからといって、デジタルMATSUMOTOに対して個人的な敵意を剥き出すと関係は消滅するでしょう。
気を付けよう・・・・
似ているところ：
・保守的か、革新的か
・ルールは守るものか、作るものか
・全体像を見るタイプか、詳細を見るタイプか
・細かいことが嫌いか、曖昧なことが嫌いか
・確実性を求めるか、不確実性を楽しむか
・ルーティンワークが得意か、苦手か
・融通の効きやすさ
・結果にこだわるか、過程に意識を向けるか
異なるところ：
・交友関係の広さ
・サバサバしているか、根に持ちやすいか
・自己主張の強さ
・話してになるか、聞き手になるか
・リーダーシップの取り方
・規則や定義に厳しいかどうか
・結果を大切にするか、人間関係を大切にするか
・他人と自分を比較するか、他人を自分に取り入れるか
昔はこんな性格診断は信じていなかったのですが、意外と的を得ていてビックリしています・・・
