デジタルMATSUMOTOの分析：まとめページ
デジタルMATSUMOTOの分析関連のまとめページです。
考察記事の分析
デジタルMATSUMOTOの考察記事を以下の3点で分析しています。
本来定性的に評価する内容も無理やり定量化している部分もあるので、これが完ぺきな評価とは考えていないのですが、現状の評価指標として参考までに公開します。
A. 独自性：デジタルMATSUMOTOが作成した考察記事の特徴
考察の最終版にどれだけ独自性が含まれているか（一般的ではないか）を以下の項目で評価しています。
①独自性（スコア：0.110）
考察の最終版が通常のLLMで作成した考察とどれくらい異なるか（OpenAIのEmbeddingモデルでベクトル化してコサイン距離を算出）
②独自キーワード（スコア：0.0）
特徴的なキーワードの割合（これまで作成した考察を含めて、今回作成した考察記事に含まれるキーワード(TF-IDF)Top10の内、通常のLLMで作成した考察に含まれていないキーワード数）
B. 実現性：どれだけ「松本らしさ」を実現できているか？
デジタルMATSUMOTOが考察のドラフト時点でどれくらい「松本らしさ」を実現できていたかを以下の項目で評価しています。
①リアル松本の楽度（スコア：1.0）Perfect🏆
デジタルMATSUMOTOが作成した考察のドラフトからの修正度合でPerfect～Eでランク付け（≒リアル松本による修正作業の負担）
②実現度合（スコア：0.990）
デジタルMATSUMOTOが作成した考察のドラフトと最終版のテキスト類似度を算出することで、ドラフトの時点で本来期待する考察がどれくらい実現されていたかを評価
③論点再現度（スコア：1.0）
デジタルMATSUMOTOが作成した考察のドラフトにおいて、リアル松本が含めて欲しかった論点の再現割合を評価
C. 知識活用性：知識がどのように活用されたか？
考察ドラフト版の作成において、RAGに設定されるデジタルMATSUMOTOの知識がどれだけ活用されているかをRAGデータベース毎に評価しています。
①知識活用度（Opinion）（スコア：0.124）
RAGデータ「Opinion」における知識参照度（質問とキーテキストの類似度）と知識活用度（回答とコンテキストの類似度）
②知識活用度（Policy）（スコア：0.100）
RAGデータ「Policy」における知識参照度（質問とキーテキストの類似度）と知識活用度（回答とコンテキストの類似度）
③知識活用度（Communication）（スコア：0.210）
RAGデータ「Communication」における知識参照度（質問とキーテキストの類似度）と知識活用度（回答とコンテキストの類似度）
考察分析の記事リスト
月次分析
月次分析の評価内容
・知識情報の変化：今月デジタルMATSUMOTOの中にどんな知識（Opinion/Policy/Communication）が追加されたかの観察
・パフォーマンス評価：毎日の考察(note)の独自性・実現性・知識活用性の月次集計
・W松本の比較：リアル松本とデジタルMATSUMOTOでのA/Bテスト(性格診断等)
