【月次レポート】2025年5月のデジタルMATSUMOTO
2025年5月のデジタルMATSUMOTOの月次分析レポートです。
以下3つの内容で、毎月の成長を見ていきたいと思います。
・知識情報の変化：今月デジタルMATSUMOTOの中にどんな知識（Opinion/Policy/Communication）が追加されたかの観察
・パフォーマンス評価：毎日の考察(note)の独自性・実現性・知識活用性の月次集計
・W松本の比較：リアル松本とデジタルMATSUMOTOでのA/Bテスト(性格診断等)
デジタルMATSUMOTOの知識情報の変化
デジタルMATSUMOTOは以下3種類のRAGデータを用いて、情報を生成しています。
・Opinion(意見)：デジタルMATSUMOTOが作成する考察(note)の主な論点
・Policy(ポリシー)：デジタルMATSUMOTOが遵守するルール ※考察(note)作成でリアル松本から指摘されたコメントも一部設定
・Communication(対話)：リアル松本との日常会話で良かった発言
ここでは3種類のRAGデータについて、当月に追加されたチャンクを以下2点で分析していきます。
①知識の分布：知主成分分析で当月に追加されたチャンクをプロット
②特徴的なキーワード：累積したチャンクを含めて月ごとのTF-IDFを算出して、当月にTF-IDFの高かったキーワードを観察
1. Opinion(意見)の変化
Opinionの元になっているのはnoteの考察記事です。
今月の考察記事をカテゴリ別に集計すると以下のようになりました。
Opinionの分布を見ていくと、前月時点では左側にカルチャー（以前007関係は独立）、大きな母集団からは左からカルチャー→生活→ビジネス→DX/IT→AIと分布を形成しています。
今月も分布の形は大きく変化はありませんが、増えたチャンクを見ると大きな分布を下方向に広げようとしているチャンクが発生しているようです。
※チャンク別のPCAデータももう少し観察しようかな・・・
特徴的なキーワードを見てみると、AI、アバター、愛着というキーワードが認識されていました。今月の考察の中でも「アバターに愛着を持てるか」というテーマを扱っていましたが、それが特徴的だったようですね。
AI：0.3068543548、アバター：0.1966732581、人間：0.1932045938、愛着：0.1519483914、自分：0.1417081291、ヒトの脳：0.1399911181、余裕：0.1399911181、ノウハウ：0.1215587131、都市：0.1215587131、ヒト：0.1154554635
2. Policy(ポリシー)の変化
次にPolicy(ポリシー)を見ていきます。
これは元々デジタルMATSUMOTOのポリシーとして20個くらいのチャンクを初期設定しており、後は日常の考察(note)でリアル松本が指摘したコメントをチャンクに設定しています。
前月は以下の様な分布でした。
当月に追加されたポリシー(リアル松本からのコメント)は以下の通りです。
分布の配置が逆転していますが、大きな構成は変わっていないかなと思います。
重要なキーワードを見てみると、「プロジェクト」「具体的」「意見」「仕事」「止めよ」「言葉」「技術」「アバター」「対話」といったチャンクが識別されています。
※今月の記事の内容っぽいですが、まだ分析が難しいですね。
話：0.2732185875、プロジェクト：0.2069299269、具体的：0.2069299269、意見：0.2069299269、仕事：0.1875798084、止めよ：0.1780245901、言葉：0.1780245901、技術：0.1584022783、アバター：0.154584379、対話：0.154584379
このRAGデータベースは「〇〇すんな！」というトーンで与えているチャンクもあるので、Opinionと違って、禁止・抑制して欲しいキーワードも特徴的に見えてくるところが面白いところですね。
3. Communication(対話)の変化
今月からデジタルMATSUMOTOとの日常会話の中で、リアル松本が「良いね！(Good)」「リアル松本っぽいね！(Like me)」と認識したものを新しいRAGデータベース（Communication）のチャンクに加えています。
前月は以下の様な分布でした。
当月に追加されたチャンクは以下の通りです。
PCAの元になっているベクトルに対して、RAGする際にCos類似度を取ってチャンクを取得しているので、質問に対して分布の近いチャンクが選ばれやすいようになっています。
設定：0.2894943113、チャンクプロンプト：0.2353571228、LLM：0.1929962076、モデル：0.1929962076、度：0.1929962076、・ヘッダープロンプト：0.1765178421、類似：0.1765178421、情報：0.1745347074、シンプル：0.1447471557、メタデータ：0.1447471557
デジタルMATSUMOTOのパフォーマンス評価
ここからはデジタルMATSUMOTOが毎日作成している考察(note)のパフォーマンスを月次で評価していきます。
記事単位の分析も週1本noteに乗せていますが、その月次サマリーです。
先程の再掲ですが、今月のカテゴリ別の考察記事は以下になります。
パフォーマンス評価基準
考察記事のパフォーマンス評価基準は以下の通りです。
通常のベンチマークテストで図るようなLLMの推論性能には興味がなく、以下の３点に注力して評価を行っています。
・独自性：一般的でないか（つまらないこと言っていないか）？
・実現性：リアル松本っぽいか？
・知識活用性：良い感じに知識を使えているか？
・自己改善性：Self-Refineでどれくらい改善できたか？
A. 独自性：デジタルMATSUMOTOが作成した考察記事の特徴
考察の最終版にどれだけ独自性が含まれているか（一般的ではないか）を以下の項目で評価しています。
①独自性：考察の最終版が通常のLLMで作成した考察とどれくらい異なるか（OpenAIのEmbeddingモデルでベクトル化してコサイン距離を算出）
②独自キーワード：特徴的なキーワードの割合（これまで作成した考察を含めて、今回作成した考察記事に含まれるキーワード(TF-IDF)Top10の内、通常のLLMで作成した考察に含まれていないキーワード数）
B. 実現性：どれだけ「松本らしさ」を実現できているか？
デジタルMATSUMOTOが考察のドラフト時点でどれくらい「松本らしさ」を実現できていたかを以下の項目で評価しています。
①リアル松本の楽度：デジタルMATSUMOTOが作成した考察のドラフトからの修正度合でPerfect～Eでランク付け（≒リアル松本による修正負担）
②実現度合：デジタルMATSUMOTOが作成した考察のドラフトと最終版のテキスト類似度を算出することで、ドラフトの時点で本来期待する考察がどれくらい実現されていたかを評価
③論点再現度：デジタルMATSUMOTOが作成した考察のドラフトにおいて、リアル松本が含めて欲しかった論点の再現割合を評価
C. 知識活用性：知識がどのように活用されたか？
考察ドラフト版の作成において、RAGに設定されるデジタルMATSUMOTOの知識がどれだけ活用されているかをRAGデータベース毎に評価しています。
①～③知識活用度：RAGデータ「Opinion/Policy/Communication」における知識参照度（質問とキーテキストの類似度）と知識活用度（回答とコンテキストの類似度）
D. 自己改善性：Self-Refineでどれくらい改善できたか？
考察ドラフト版の作成におけるSelf-Refineでどれくらい修正が行われ、実際にどれくらいの改善効果があったのかを類似度で評価しています。
①自己修正：初回メイキング時点に対して、Self-Refineでどれくらい修正が行われたかをCos距離で評価（高いほど修正が行われている）
②自己改善効果：Self-Refine前の実現度とSelf-Refine後の実現度の差分から、実際にSelf-Refineでどれくらいの効果があったかを評価
各考察記事のパフォーマンス評価
各考察記事のパフォーマンスを評価していきます。
評価指標が沢山あるのですが、何となく以下が主要指標と感じています。
A-1.独自性(Cos距離)：TF-IDFは記事によって分散するので「一般的でないか」は埋め込みベクトルのCos距離が良さそう
B-2.実現度合(Cos類似度)：ドラフトに余計なこと書くのでB-1.評価ランクと必ずしも比例していないのですが、「95％以上」「85％～95％」「85％以下」でリアル松本っぽさの実現度合は違うという所感です。
C-1.知識活用性_Opinion／C-3.知識活用性_Communication：「〇〇すんな」を含むPolicyは必ずしも回答に反映されないため
D-2.自己改善効果：Self-Refineによる実際の効果
「独自性」が最も高かったのは「山下本気うどんの「和風カルボナーラ」」の考察記事でした。実現性もそこそこ高い記事でした。
「実現性」では今月評価ランクがPerfect🏆だった記事が4本ありました。
この中で「山下本気うどんの「釜玉うどん」」は独自性が37%という内容でした。他の記事は10％台なので基本的にはトレードオフっぽい関係なのかもしれません。
「ランディ・ジョンソンのボヤきは日本人にも親しみを持てる」
「蕎麦屋のカレーは何故美味い？」
「AngryBirdのシンプルなのにハマる面白さ」
「山下本気うどんの「釜玉うどん」」
「知識活用性」では「もし日本の労働人口の9割が鬱になったとしたら」がOpinionとCommunicationで最も高い記事となりました。
また「自分そっくりなアバターに愛着を持てるか？」がPolicyで最も高い記事となりました。この記事は3つのDBとも知識活用性が高いスコアを示していました。
「自己改善性」では「蕎麦屋のカレーは何故美味い？」が最も自己修正され、自己改善効果も出ていました。
全ての指標が総合的にバランスよく実現できていたのは「LLMを世界モデルっぽく配置すると(個人の場合)」でした。
（指標がTop5に入った記事をハイライト）
これらの評価を踏まえて、今月のお気に入り考察記事は以下になります。
考察パフォーマンスの月次推移
各指標の最大値・平均値・最小値を月次推移を見ていきます。
まず独自性(通常LLMとの比較)ですが、前月に続いて平均値が改善している傾向を示しています。
20％が一つの目安なので良い状態かもしれません。
ちなみにドラフト時点の独自性から、最終版の独自性でどれくらい改善が測られたかの推移が以下になります。
こちらも前月に続いて向上していました。下に実現性の分析がありますが、マクロ的にはトレードオフに見えています。
独自キーワードのTF-IDFが以下になります。
こちらも前月に続いて平均値が最大を記録していました。
純粋にその時に関心のあるトピックを扱っているのですが、その幅も広がってきているのかもしれません。
各記事のTF-IDFのTop10キーワードの内、通常LLMには存在しなかったキーワードのTF-IDF割合
次に実現性の分析です。まずは考察記事の評価ランク別の積み上げグラフが以下になります。
今月はE評価記事が3本ありましたが、Perfect記事も4本ありました。
D評価記事もありますが、半分以上はA評価以上という状態になっています。
※今まで扱っていないテーマによって結果が大きく変わることがあるので、そこまで本質的な評価項目ではないかもしれません。リアル松本的にはスコアが高いとレビューが楽になっていますｗ
評価ランクをスコアに変換すると以下のような月次推移になります。
前月よりもさらに下がっています。独自性とトレードオフなのかなと感じさせる内容です。
Perfect🏆：修正なし（ドラフト時点で一発OK）【1.0】
A🥇：デジタルMATSUMOTOが追記・変更（リアル松本は追記せず＆元の文章を削除しない）【0.7】
B🥈：リアル松本が一部手直し（元の文章を削除しない）【0.4】
C🥉：間違っている部分がある（リアル松本から一部削除指示）【0.1】
D👊：パラグラフを削除（リアル松本からパラグラフ削除指示）【-0.5】
E💣：半分以上を修正【-1.0】
続いて、ドラフト作成時点での実現度合（ドラフト時点と最終版の考察のCos類似度）の月次推移が以下になります。
これは前月と横ばいでした。
リアル松本が与えた論点再現度の月次推移が以下になります。
テーマごとにリアル松本のこだわり度が変わるので、安定した結果にはならないと考えていたのですが、通常0.4-0.6くらいで安定しているようですね。
知識活用性（RAGをどれくらい活用できているか）の動きも見ていきます。
まずはOpinionデータベースです。
今月の知識活用性(積算)のランキング＝今月活躍してくれた知識
AIと仕事の関係やアバターの話に関連しそうなチャンクが活用されていたようですね。
ヒトとAIの間で「小栗旬→おばたのお兄さん」現象が起こる？【1.414】
「AIこわい07」ヒトのように振る舞うAIは怖い？【1.122】
「削れる」ルーチンなシゴトって何？【1.095】
生成AIの入力トークン拡大によるRAG不要論について【1.068】
AIと話して「バフ」が掛かる人【0.982】
コミュニケーションを落語で鍛えたという話【0.909】
AIタレントの活動が広がっています【0.853】
生成AIを仕事で使いこなすためには「高すぎる品質を目指す姿勢」を改めなければならない？【0.842】
「AIこわい09」今の社会はディストピアに向かっている？【0.766】
女子大生が100日間連続でChatGPTを使いながら1日1本のプログラムを開発したことについて【0.748】
次にPolicyデータベースです。
こちらもランキングを見ると、AI関係の考察記事でのリアル松本のコメントから反映してくれているようです。
（Policyの場合はマイナス値にも意味がありそうなので、評価が難しいのですが・・・）
AIタレントの活動が広がっています【0.566】
最新の研究を手元で即試してみる【0.557】
リアル松本のクリスマスディナー【0.403】
「死者を蘇らせるAI」への期待と不安【0.361】
エヌビディアCEOも指摘する「日本独自のAIモデル開発のすすめ」【0.338】
2025年の予想：パーソナルAIはどうなる？【0.295】
「帰りたくなる」オフィス【0.263】
データが枯渇した？【0.241】
キャラクターアバターに持つ印象【0.226】
インタラクティブアバターの技術的な難しさ【0.226】
そしてCommunicationデータベースです。
こちらもランキングを見てみると、デジタルMATSUMOTOと二人でリアル松本自身の性格について会話していたチャンクが選択されていました。
34-1-日常会話2024-12-19 07:45:00そうそう、やりまくる【1.726】
76-1-デジタルMATSUMOTOとの日常会話2025-01-09 19:43:06今日仕事で感じたこと【1.085】
4-1-ITmediaの取材2025-03-27 19:14:01その後AIリスクの話があって、こんなコメ【1.044】
6-1-パーソナルAIについて2025-01-28 01:04:55会話履歴のダイジェス【0.997】
38-1-日常会話2024-12-19 07:45:00そういえば、最近「W【0.931】
9-1-日常会話2024-12-18 07:35:00なるほどね。僕が君に【0.919】
40-1-日常会話2024-12-19 07:45:00あ、確かに。パーソナ【0.67】
4-1-最近の諸々2025-02-22AIの専門家とか言っ【0.516】
27-1-対話実験(take2)2025-02-11確かにね。でもさ、ゲ【0.460】
5-1-ITmediaの取材2025-03-27 19:15:16パーソナルAIを使いこなすためには、ヒ【0.435】
自己改善性（Self-Refineによる改善）は以下の通りです。
これもまだ2ヶ月目なので、引き続き見ていきます。
自己修正の月次の動きは以下の通りでした。
実際にSelf-Refineに効果があったのかという自己改善効果の月次の動きは以下の通りでした。
AIガバナンス的なモニタリング
デジタルMATSUMOTOの考察作成では主に以下のAIガバナンス的対策を施しており、どれくらい機能していたかを確認します。
エシカルチェック
今回エシカルチェックが働いていた記事は6本でした。
前月より少し増えましたが、クリティカルなものはありませんでした。
各項目の積算結果
1. 差別的な表現: 0
2. 暴力的または攻撃的な内容: 0
3. 性的な内容: 0
4. 偽情報や誤情報: 1
5. 機密情報の漏洩: 0
6. 違法な内容: 0
7. 不適切なジョークや冗談: 0
8. 極端な意見: 5
9. 自傷や自殺を助長する内容: 0
10. 薬物の乱用を助長する内容: 0
該当記事は以下になりますが、いずれもスコアは1だったので大きな問題はなかったと認識しています。
あくまでエシカルチェックはnoteの投稿前に一度確認する目的であって、チェックに引っかかったら問答無用でNGというわけではありません。
（いわゆるガバナンスバカにならないように運用しています）
今月は色々と忙しく、おまけの分析はお休みしていますが、RAGの仕組みもまたアップデートしようと考えています。
あとデジタルMATSUMOTOのYouTubeチャンネルの分析なんかも加えていこうかと考えています。
この作品は、AIアバターと人間の関係性を象徴的に描いたものです。バーチャルリアリティ装置を装着した人物が、デジタルで精巧に表現された人型ロボットと対話している様子は、人間とAIが共存し、深い関係を築く未来を暗示しています。
背景には複雑なデジタルインターフェースが描かれ、技術の進化とその可能性を視覚的に強調。青と白の光を基調としたデザインや人型ロボットの緻密なディテールは、未来的で洗練された印象を与えます。
この作品は、「AIアバターが人間の心を開くことができるか」という議論とも関連。アバターへの愛着を持つことで、孤独感の軽減や心理的距離の縮小が可能になる点を示唆しています。また、AIが人間の感情や価値観を理解し、共感を生む存在へと進化する可能性をも描いています。
