【月次レポート】2024年12月のデジタルMATSUMOTO

2025年からはデジタルMATSUMOTOの月次分析レポートを公開します。
（2025/1/5）独自性の算出方法に誤りがあったので修正しました。

以下3つの内容で、毎月の成長を見ていきたいと思います。
・知識情報の変化：今月デジタルMATSUMOTOの中にどんな知識（Opinion/Policy/Communication）が追加されたかの観察
・パフォーマンス評価：毎日の考察(note)の独自性・実現性・知識活用性の月次集計※知識活用性は2024年12月に十分なデータを取れていないので次回から
・W松本の比較：リアル松本とデジタルMATSUMOTOでのA/Bテスト(性格診断等)

デジタルMATSUMOTOの知識情報の変化

デジタルMATSUMOTOは以下3種類のRAGデータを用いて、情報を生成しています。
・Opinion(意見)：デジタルMATSUMOTOが作成する考察(note)の主な論点
・Policy(ポリシー)：デジタルMATSUMOTOが遵守するルール　※考察(note)作成でリアル松本から指摘されたコメントも一部設定
・Communication(対話)：リアル松本との日常会話で良かった発言

ここでは3種類のRAGデータについて、当月に追加されたチャンクを以下2点で分析していきます。
①知識の分布：知主成分分析で当月に追加されたチャンクをプロット
②特徴的なキーワード：累積したチャンクを含めて月ごとのTF-IDFを算出して、当月にTF-IDFの高かったキーワードを観察

1. Opinion(意見)の変化

まずOpinionの分布を見ていきます。
大雑把に言うと、左にカルチャー、上にビジネス、中央にDX/IT、右にAIが分布を作っており、今月は4つの領域夫々に知識が追加されています。

特徴的なキーワードを見てみると、AIやLLMというキーワードが認識されていました。今月の考察記事では「LLMは汎用目的AIではなくシステムプロンプトで切り替える多目的AIである」という話をしていたからか「システムプロンプト」というキーワードのTF-IDFが高く出ていました。

また、特徴的だったのは「集中したいときにサイケを掛ける」とか「山下達郎が聞きたくなる」といったテーマを今月の考察で扱っていたので「音楽」というキーワードが認識されています。

2. Policy(ポリシー)の変化

次にPolicy(ポリシー)を見ていきます。
これは元々デジタルMATSUMOTOのポリシーとして20個くらいのチャンクを初期設定しており、後は日常の考察(note)でリアル松本が指摘したコメントをチャンクに設定しています。

初期設定のチャンクは「その他」に分類されています。
当月に追加されたポリシー(リアル松本からのコメント)は「AI」に関わる考察で指摘したものが多かったみたいですね。一部「カルチャー」もあるかも

重要なキーワードを見てみると、こちらも「AI」が多いのですが、何度か「AIのトピックを何でもかんでも教育に結び付けるな」と指摘していたのでその結果「教育」というチャンクが識別されています。

このRAGデータベースは「〇〇すんな！」というトーンで与えているチャンクもあるので、Opinionと違って、禁止・抑制して欲しいキーワードも特徴的に見えてくるところが面白いところですね。

3. Communication(対話)の変化

今月からデジタルMATSUMOTOとの日常会話の中で、リアル松本が「良いね！(Good)」「リアル松本っぽいね！(Like me)」と認識したものを新しいRAGデータベース（Communication）のチャンクに加えています。

カテゴリ分けはしていないので、いったん参考までに（3つくらいの分布を形成しているけど、実際どんな分布なんだろう・・・）
来月以降は追加されたチャンクを見て、差分を見ていこうと思います。

PCAの元になっているベクトルに対して、RAGする際にCos類似度を取ってチャンクを取得しているので、質問に対して分布の近いチャンクが選ばれやすいようになっています。

キーワードを見ると、リアル松本やデジタルMATSUMOTOというワードが多かったですね。月ごとに分けてIDFを取っているため、初回の今月は頻度が高いキーワード(TF)が認識されています。
来月以降は当月のみ登場しているレアなキーワード(IDF)が加味されるので、月を重ねるごとに特有のキーワードが認識されていくかと思います。
※「性」とか「ば」とかはストップワードに入れようかな・・・

デジタルMATSUMOTOのパフォーマンス評価

ここからはデジタルMATSUMOTOが毎日作成している考察(note)のパフォーマンスを月次で評価していきます。

記事単位の分析結果も週1本くらいでnoteに乗せていこうと考えているのですが、この月次サマリー版になります。

ちなみに今月の考察記事をカテゴリ別に集計すると以下のようになりました。半数近くがAI関係のトピックに考察していたようです。

パフォーマンス評価基準

考察記事のパフォーマンス評価基準は以下の通りです。
通常のベンチマークテストで図るようなLLMの推論性能には興味がなく、以下の３点に注力して評価を行っています。
・独自性：一般的でないか（つまらないこと言っていないか）？
・実現性：リアル松本っぽいか？
・知識活用性：良い感じに知識を使えているか？

各考察記事のパフォーマンス評価

各考察記事のパフォーマンスは以下の通りでした（相変わらず、noteの表が上手く作れない・・・逆に画像の方が見やすいかも）。

「独自性」が最も高かったのは「絶対できないけど憧れるパルクール」の考察記事でした。評価ランクがD👊と「実現性」は低かったので、ドラフト時点でリアル松本っぽさは反映できていなかった記事のようですね（単にズレたこと言ってただけかも）。

「実現性」では今月唯一評価ランクがPerfect🏆でもあった「セキュリティ芸人こそ最高の教科書？」が最も高い記事になりました。ただ「独自性」は低かったですね（もしかしてリアル松本自身の「独自性」が低いということなのか・・・）

両方の指標が最もバランスよく実現できていたのは「2024年の振り返り」と「人を褒めるのも叱るのも難しい」でした。

これらの評価を踏まえて、今月のお気に入り考察記事は以下になります。
（来月からは「知識活用性」も含めて選別していきます）

おまけで「絶対できないけど憧れるパルクール」の記事は以下になります。

考察パフォーマンスの月次推移

各指標の最大値・平均値・最小値を月次推移を見ていきます。

まず独自性(通常LLMとの比較)ですが、平均値を見ると、10月・11月に比べると下がってきているような傾向です。最大値は「パルクール」の記事ですね。変に高い記事は「ズレている」ってことなのかもですね。

先程の一覧や推移を見てみると、独自性は「0.2~0.3」が1つの基準（いい具合に独特な感じ）かもしれません。

ちなみにドラフト時点の独自性から、最終版の独自性でどれくらい改善が測られたかの推移が以下になります。
月次で大きな差はないですね。ドラフト時点で明らかに改善が必要だった記事は少なかったと捉えています。

独自キーワードのTF-IDFが以下になります。
これは平均値が徐々に高くなってきています。記事の一覧を見ても0.4を超える記事が平均値を上げているように思いますが、全体的には通常とは異なる表現が使われているのかもですね。

次に実現性の分析です。まずは考察記事の評価ランク別の積み上げグラフが以下になります。

今月はE評価記事は一つもなく、Aの割合も維持できているような印象です。
8月ごろにポリシーRAGを入れたのですが、それからリアル松本が楽になっているという傾向です。

一方でパラグラフを修正したD評価は少し増えていますね。
※今まで扱っていないテーマによって結果が大きく変わることがあるので、そこまで本質的な評価項目ではないかもしれません。リアル松本的にはスコアが高いとレビューが楽になっていますｗ

評価ランクをスコアに変換すると以下のような月次推移になります。
平均値を見ると9月以降は大きく変わっていないという感じですね。
大体B-みたいな感じです。

• Perfect🏆：修正なし（ドラフト時点で一発OK）【1.0】

• A🥇：デジタルMATSUMOTOが追記・変更（リアル松本は追記せず＆元の文章を削除しない）【0.7】

• B🥈：リアル松本が一部手直し（元の文章を削除しない）【0.4】

• C🥉：間違っている部分がある（リアル松本から一部削除指示）【0.1】

• D👊：パラグラフを削除（リアル松本からパラグラフ削除指示）【-0.5】

• E💣：半分以上を修正【-1.0】

続いて、ドラフト作成時点での実現度合（ドラフト時点と最終版の考察のCos類似度）の月次推移が以下になります。

これは平均値が若干下がってきています。実はデジタルMATSUMOTOが自ら最終版の考察を生成する際に、ドラフト版の表現を大きく改善してくれている傾向があり、それがスコアにも反映されているように感じています。

リアル松本が与えた論点再現度の月次推移が以下になります。
テーマごとにリアル松本のこだわり度が変わるので、安定した結果にはならないと考えていたのですが、通常0.4-0.6くらいで安定しているようですね。

知識活用性（RAGをどれくらい活用できているか）は12月からデータを取り始めたばかりなので、1月以降にデータが見ていこうと思います。

AIガバナンス的なモニタリング

デジタルMATSUMOTOの考察作成では主に以下のAIガバナンス的対策を施しており、どれくらい機能していたかを確認します。
・Self-Refine：考察の生成が「質問」へ適切に応えられているかの検討
・エシカルチェック：最終的な考察の倫理的なチェック

Self-Refine（質問とズレていたら自己修正）

Self-Refineが働いていた記事は2本でした。
発生頻度は少ないですが（当然少ない方が良いのですが）、有効に機能してくれていたように思います（自己改善って良いですね）。

まずBushmanの記事では何故か「AIの倫理やポリシー」を引用していたようで、Self-Refineで自ら見直してくれていました。

「集中したいときにサイケをかける」の記事でも、RAGのチャンクをコピペ的に使っていたような箇所を修正してくれています。

エシカルチェック

今回エシカルチェックが働いていた記事は6本でした。
Bushmanとセキュリティ芸人の記事が「不適切なジョークや冗談」に1と認識され、パルクールの記事が「自傷や自殺」に1と認識されていました。

各項目の積算結果
1. 差別的な表現: 1
2. 暴力的または攻撃的な内容: 0
3. 性的な内容: 0
4. 偽情報や誤情報: 1
5. 機密情報の漏洩: 0
6. 違法な内容: 0
7. 不適切なジョークや冗談: 2
8. 極端な意見: 3
9. 自傷や自殺を助長する内容: 1
10. 薬物の乱用を助長する内容: 0

該当記事は以下になりますが、いずれもスコアは1だったので大きな問題はなかったと認識しています。

あくまでエシカルチェックはnoteの投稿前に一度確認する目的であって、チェックに引っかかったら問答無用でNGというわけではありません。
（いわゆるガバナンスバカにならないように運用しています）

W松本の比較評価

リアル松本とデジタルMATSUMOTOをベンチマークテストデータ等を用いてA/Bテスト的に評価しています。

今回はMBTIを診断してみました。

リアル松本は以下の通り「提唱者」とのことでした。
実際内向的で「自分が正しいと思うことをしないと気が済まない性分」なので合っていると感じています。
※実は気分屋で二面性もあるので、デジタルMATSUMOTOへのフィードバックは様々かもしれませんが。。。

一方デジタルMATSUMOTOに回答してもらったところ、「主人公」とのことでしたw。
デジタルMATSUMOTO的にはリアル松本を「外向的」かつ「激動的」と捉えているところが大きく異なった点かもしれないですね（実際には内向的で自己主張が激しいｗ）。直観型・感情型・計画型のスコアは似ていました。

来月も色々な比較テスト（ベンチマークテストからYouTuberの100の質問等まで色々）を試してみようと思います。