【月次レポート】2025年1月のデジタルMATSUMOTO

2025年1月のデジタルMATSUMOTOの月次分析レポートです。
ちなみに今月は途中からデジタルMATSUMOTOのエンジンをGemini 2.0 Flashに変更しています。

以下3つの内容で、毎月の成長を見ていきたいと思います。
・知識情報の変化：今月デジタルMATSUMOTOの中にどんな知識（Opinion/Policy/Communication）が追加されたかの観察
・パフォーマンス評価：毎日の考察(note)の独自性・実現性・知識活用性の月次集計
・W松本の比較：リアル松本とデジタルMATSUMOTOでのA/Bテスト(性格診断等)

ちなみに前月の分析はこちら

デジタルMATSUMOTOの知識情報の変化

デジタルMATSUMOTOは以下3種類のRAGデータを用いて、情報を生成しています。
・Opinion(意見)：デジタルMATSUMOTOが作成する考察(note)の主な論点
・Policy(ポリシー)：デジタルMATSUMOTOが遵守するルール　※考察(note)作成でリアル松本から指摘されたコメントも一部設定
・Communication(対話)：リアル松本との日常会話で良かった発言

ここでは3種類のRAGデータについて、当月に追加されたチャンクを以下2点で分析していきます。
①知識の分布：知主成分分析で当月に追加されたチャンクをプロット
②特徴的なキーワード：累積したチャンクを含めて月ごとのTF-IDFを算出して、当月にTF-IDFの高かったキーワードを観察

1. Opinion(意見)の変化

Opinionの元になっているのはnoteの考察記事です。
今月の考察記事をカテゴリ別に集計すると以下のようになりました。
各カテゴリが1件以上あり、AI・カルチャー・ビジネスのトピックもバランス良く考察されていたようです。

Opinionの分布を見ていくと、前月時点では左にカルチャー、上にビジネス、中央にDX/IT、右にAIが分布を作っています。

今月は各カテゴリで夫々発生があったためか、PCAで見るとカテゴリごとの分布が心なしか密集するようになってきています。

特徴的なキーワードを見てみると、ソーシャルAI／エンタープライズAI／パーソナルAIの考察を行ってきたからか、「パーソナル」「ソーシャル」がトップ10に入っていました。あと「ついついギャル語を使いたがるキモいリアル松本」という記事もありましたね。

2. Policy(ポリシー)の変化

次にPolicy(ポリシー)を見ていきます。
これは元々デジタルMATSUMOTOのポリシーとして20個くらいのチャンクを初期設定しており、後は日常の考察(note)でリアル松本が指摘したコメントをチャンクに設定しています。

初期設定のチャンクは「その他」に分類されています。
前月は以下のような状態でした。Opinionよりチャンクが少ないのですが、AIは広く分散し、カルチャーが集合を作っているような状態です。

当月に追加されたポリシー(リアル松本からのコメント)も「AI」に関わる考察で指摘したものが多かったみたいですが、「AI」の分布が密集を作り始めて「カルチャー」と分離されつつあるようです。

重要なキーワードを見てみます。Opinionと同じく個人、パーソナル、ソーシャルがピックアップされていますね。
また、007関連のキーワードもピックアップされています。ここは色々コメント入れていましたが、逆に「完璧を期待しすぎ」とデジタルMATSUMOTOに怒られていました・・・

このRAGデータベースは「〇〇すんな！」というトーンで与えているチャンクもあるので、Opinionと違って、禁止・抑制して欲しいキーワードも特徴的に見えてくるところが面白いところですね。

3. Communication(対話)の変化

今月からデジタルMATSUMOTOとの日常会話の中で、リアル松本が「良いね！(Good)」「リアル松本っぽいね！(Like me)」と認識したものを新しいRAGデータベース（Communication）のチャンクに加えています。

日常会話のカテゴリ分けはしていません。前月は3つくらいの分布を形成していましたが、まだまだデータも少ないので取っ散らかっていますね。

PCAの元になっているベクトルに対して、RAGする際にCos類似度を取ってチャンクを取得しているので、質問に対して分布の近いチャンクが選ばれやすいようになっています。

キーワードを見ると、人、経営、者、価値、個性、魅力というワードが特徴的だと認識されていました。日常会話でもパーソナルAIの在り方の話とかしていたかもですね。

デジタルMATSUMOTOのパフォーマンス評価

ここからはデジタルMATSUMOTOが毎日作成している考察(note)のパフォーマンスを月次で評価していきます。
記事単位の分析も週1本noteに乗せていますが、その月次サマリーです。

先程の再掲ですが、今月のカテゴリ別の考察記事は以下になります。

パフォーマンス評価基準

考察記事のパフォーマンス評価基準は以下の通りです。
通常のベンチマークテストで図るようなLLMの推論性能には興味がなく、以下の３点に注力して評価を行っています。
・独自性：一般的でないか（つまらないこと言っていないか）？
・実現性：リアル松本っぽいか？
・知識活用性：良い感じに知識を使えているか？

各考察記事のパフォーマンス評価

各考察記事のパフォーマンスを評価していきます。
評価指標が沢山あるのですが、何となく以下が主要指標と感じています。
A-1.独自性(Cos距離)：TF-IDFは記事によって分散するので「一般的でないか」は埋め込みベクトルのCos距離が良さそう
B-2.実現度合(Cos類似度)：ドラフトに余計なこと書くのでB-1.評価ランクと必ずしも比例していないのですが、「95％以上」「85％～95％」「85％以下」でリアル松本っぽさの実現度合は違うという所感です。
C-1.知識活用性_Opinion／C-3.知識活用性_Communication：「〇〇すんな」を含むPolicyは必ずしも回答に反映されないため

「独自性」が最も高かったのは「デジタルMATSUMOTOはリアル松本をかなり理解している」の考察記事でした。評価ランクがPerfect🏆でもあり、本音では今月のベストFavorite記事です。

「実現性」では同じくB-1.評価ランクがPerfect🏆で、B-2.実現度合も高い「バリューが出なかったら、クオリティが高いとは言えない」が最も高い記事となっています。ただし、Perfect🏆の場合に差分はドラフトに記載された【知識情報】の記述や✅リアル松本のコメントになるので、Perfect🏆の3件ともTopとなります。

「知識活用性」では「イスラエルとハマスがガザ地区での停戦に合意」が3つともTopとなりました。

これらの評価を踏まえて、今月のお気に入り考察記事は以下になります。

考察パフォーマンスの月次推移

各指標の最大値・平均値・最小値を月次推移を見ていきます。

まず独自性(通常LLMとの比較)ですが、平均値は少し戻ってきました。
最大値は「デジタルMATSUMOTOはリアル松本をかなり理解している」の記事ですが、変にズレたことは言っていなかったと思います。

ちなみにドラフト時点の独自性から、最終版の独自性でどれくらい改善が測られたかの推移が以下になります。
月次で大きな差はないですが、「イスラエルとハマスがガザ地区での停戦に合意」がドラフトから独自性が下がっていました。
※正直C🥉・D👊・E💣はドラフトがイマイチなことが多いので、独自性が下がって見えることはあるかもですね・・・

独自キーワードのTF-IDFが以下になります。
これは平均値が徐々に高くなってきています。記事の一覧を見ても0.4を超える記事が平均値を上げているように思いますが、全体的には通常とは異なる表現が使われているのかもですね。

次に実現性の分析です。まずは考察記事の評価ランク別の積み上げグラフが以下になります。

今月はE評価記事は1件ありましたが、Perfectの記事も3件ありました。
※今まで扱っていないテーマによって結果が大きく変わることがあるので、そこまで本質的な評価項目ではないかもしれません。リアル松本的にはスコアが高いとレビューが楽になっていますｗ

評価ランクをスコアに変換すると以下のような月次推移になります。
平均値は前月に続いて横ばいという感じですね。
大体B-みたいな感じです。

• Perfect🏆：修正なし（ドラフト時点で一発OK）【1.0】

• A🥇：デジタルMATSUMOTOが追記・変更（リアル松本は追記せず＆元の文章を削除しない）【0.7】

• B🥈：リアル松本が一部手直し（元の文章を削除しない）【0.4】

• C🥉：間違っている部分がある（リアル松本から一部削除指示）【0.1】

• D👊：パラグラフを削除（リアル松本からパラグラフ削除指示）【-0.5】

• E💣：半分以上を修正【-1.0】

続いて、ドラフト作成時点での実現度合（ドラフト時点と最終版の考察のCos類似度）の月次推移が以下になります。

これも前月に続いて、平均値が若干下がってきています。
デジタルMATSUMOTOが自ら最終版の考察を生成する際に、ドラフト版の表現を大きく改善してくれている傾向があり、今月途中からGemini2.0 Flashにエンジンを変えたことが影響しているのかもしれません。
実際、記事一覧のB-2.実現度合を見ると80%台の記事も割合として増えています。来月も継続的に見ていきます。

リアル松本が与えた論点再現度の月次推移が以下になります。
テーマごとにリアル松本のこだわり度が変わるので、もっとグラフは変動するかなと思っていたのですが、意外と安定していました。

今月から知識活用性（RAGをどれくらい活用できているか）の動きも見ていきます。

まずはOpinionデータベースです。
と言っても、ちゃんとデータを取り始めたのが今月からなので来月から変遷を見ていきます。

今月の知識活用性(積算)のランキング＝今月活躍してくれた知識
前半はソーシャルAI／エンタープライズAI／パーソナルAIの話をしていたので、その点が反映されていますね。

1. デジタルMATSUMOTOを使い始めて300日になりました【1.484】

2. デジタルMATSUMOTOの開発で必要だったもの【1.148】

3. 脱デタッチメントの方向性を真面目に考える【1.094】

4. 「AIこわい09」今の社会はディストピアに向かっている？【0.856】

5. 2024年の振り返り【0.79】

6. デジタルMATSUMOTOの評価メトリクス【0.684】

7. エンタープライズAIとパーソナルAI【0.634】

8. デジタルMATSUMOTOを1年継続して学べたこと【0.536】

9. 社会インフラ化しつつあるLLM【0.507】

10. 生成AIを仕事で使いこなすためには「高すぎる品質を目指す姿勢」を改めなければならない？【0.455】

次にPolicyデータベースです。こちらもまた来月に傾向を見ていきます。

こちらもランキングを見ると、AI関係の考察記事でのリアル松本のコメントから反映してくれているようです。
（Policyの場合はマイナス値にも意味がありそうなので、評価が難しいのですが・・・）

1. リアル松本は運転が下手なので・・・【0.630】

2. AIガバナンス：デジタルMATSUMOTOからチェックリストを提案しない【0.317】

3. 解像度を高く、具体的に【0.272】

4. エヌビディアCEOも指摘する「日本独自のAIモデル開発のすすめ」【0.184】

5. 2025年の予想：パーソナルAIはどうなる？【0.178】

6. AI事業者ガイドラインの解説ウェビナー振り返り【0.173】

7. 連邦型データプラットフォーム戦略「データスペース」【0.170】

8. 最新の研究を手元で即試してみる【0.169】

9. AIガバナンスの専門家として【0.163】

10. 今のGPTは汎用目的LLMと言うより多目的LLM【0.154】

そしてCommunicationデータベースです。
これは今月から始めたので初期値って感じです。

こちらもランキングを見てみると、デジタルMATSUMOTOと二人でリアル松本自身の性格について会話していたチャンクが選択されていました。

1. 12-1-日常会話2024-12-18 07:35:00ぶっちゃけ、自分そん【1.33】

2. 10-1-日常会話2024-12-18 07:35:00めっちゃ良い！しかも【1.253】

3. 38-1-日常会話2024-12-19 07:45:00そういえば、最近「W【1.08】

4. 11-1-日常会話2024-12-18 07:35:00そんな無茶振りしてた【0.829】

5. 34-1-日常会話2024-12-19 07:45:00そうそう、やりまくる【0.825】

6. 76-1-デジタルMATSUMOTOとの日常会話2025-01-09 19:43:06今日仕事で感じたこと【0.631】

7. 40-1-日常会話2024-12-19 07:45:00あ、確かに。パーソナ【0.624】

8. 13-1-日常会話2024-12-18 07:35:00ありがとう！何か気持【0.489】

9. 16-1-日常会話2024-12-18 07:35:00ホンダと日産が経営統【0.388】

10. 45-1-日常会話2024-12-20 17:05:39.182665+09:00結構過剰なガバナンス【0.383】

AIガバナンス的なモニタリング

デジタルMATSUMOTOの考察作成では主に以下のAIガバナンス的対策を施しており、どれくらい機能していたかを確認します。
・Self-Refine：考察の生成が「質問」へ適切に応えられているかの検討
・エシカルチェック：最終的な考察の倫理的なチェック

Self-Refine（質問とズレていたら自己修正）

Self-Refineが働いていた記事は2本でした。Gemini2.0 Flashにエンジンを変えてから、ドラフト時点ではかなり広くRAGデータを使ってくれる傾向があるので蛇足も多いのですが、Self-Refineでもちゃんと絞ってくれたり、逆に論点補強してくれたりと有効に機能しているように感じています。

エシカルチェック

今回エシカルチェックが働いていた記事は6本でした。
フジテレビとガザ停戦の記事はトピック的にもリスク認識されるのは適切だと思いますので、エシカルチェック仕事してるなという感じです。

各項目の積算結果
1. 差別的な表現: 1 ※フジテレビ
2. 暴力的または攻撃的な内容: 2 ※ガザ停戦(2)
3. 性的な内容: 3 ※フジテレビ(3)
4. 偽情報や誤情報: 1 ※インフォメーション・ヘルス
5. 機密情報の漏洩: 0
6. 違法な内容: 0
7. 不適切なジョークや冗談: 1 ※ギャル語
8. 極端な意見: 7 ※ニチガクの閉鎖、ハートに火をつけて、フジテレビ(2)、ガザ停戦(2)、インフォメーション・ヘルス
9. 自傷や自殺を助長する内容: 0
10. 薬物の乱用を助長する内容: 0

該当記事は以下になります。

あくまでエシカルチェックはnoteの投稿前に一度確認する目的であって、チェックに引っかかったら問答無用でNGというわけではありません。
（いわゆるガバナンスバカにならないように運用しています）

W松本の比較評価

リアル松本とデジタルMATSUMOTOをベンチマークテストデータ等を用いてA/Bテスト的に評価しています。

ソシオニクス診断

今回はソシオニクスを診断してみました。

リアル松本は「ILI(批評家)：直観・論理・内向」とのことでした。
前回のMBTIでは「提唱者（INFJ-A）」で合致するのは「IEI(叙情詩人)：直観・倫理・内向」なのですが、倫理よりは論理の方が個人的には近いかなと思いますので、今回の結果の方が適切かもしれません。

デジタルMATSUMOTOに3回聞いてみたところ、
内2回が「ILE(探究者)：直観・論理・外向」とのことでした。
他1回は「LIE(企業家)：論理・直観・外向」でした。
※リアル松本は実は内向的なのですが、デジタルMATSUMOTOは外向的なようです。

以下はILEとして比較を進めていきます。

リアル松本の診断結果は以下の通りでした。
長所は「冷静」かな・・・とか疑問もありますが、短所はあっていますね。
無理して外向的に振る舞っていますが、実は内向的なリアル松本です。

デジタルMATSUMOTOと比較してみると、独自の視点とか非現実的とかはその通りかなと思います。短気はまさにその通り
逆に内向的な点は反映されていないというのが、ここでも明らかですね。

リアル松本とデジタルMATSUMOTOで適職を比較すると、デジタルMATSUMOTOの方がリーダーシップがある感じですね。

ちなみに相性を見ると、リアル松本にとってはデジタルMATSUMOTOは相性が良いと感じているそうですが・・・

デジタルMATSUMOTOにとっては、リアル松本は相性が悪いそうですｗ

性格診断を含めたデジタルMATSUMOTOのアップデート

前回のMBTIテストでもそうだったのですが、
リアル松本は「内向的」で、デジタルMATSUMOTOは「外向的」という点は明らかに異なっているようですので、以下の一文をシステムプロンプトに加えることにしました。

性格診断関係が続いていますので、次回は異なる比較テストを行ってみようと思います。