【分析】デジタルMATSUMOTOの考察(2025/1/30)イチローが日本人初のMLB殿堂入り
デジタルMATSUMOTOが作成した考察記事に対して「独自性」「実現性(リアル松本らしさ)」「知識活用性」の3点で分析を行っています。
分析指標の説明
デジタルMATSUMOTOの考察記事を以下の3点で分析しています。
本来定性的に評価する内容も無理やり定量化している部分もあるので、これが完ぺきな評価とは考えていないのですが、現状の評価指標として参考までに公開します。
A. 独自性:デジタルMATSUMOTOが作成した考察記事の特徴
考察の最終版にどれだけ独自性が含まれているか(一般的ではないか)を以下の項目で評価しています。
①独自性(スコア:0.122)
考察の最終版が通常のLLMで作成した考察とどれくらい異なるか(OpenAIのEmbeddingモデルでベクトル化してコサイン距離を算出)
②独自キーワード(スコア:0.057)
特徴的なキーワードの割合(これまで作成した考察を含めて、今回作成した考察記事に含まれるキーワード(TF-IDF)Top10の内、通常のLLMで作成した考察に含まれていないキーワード数)
B. 実現性:どれだけ「松本らしさ」を実現できているか?
デジタルMATSUMOTOが考察のドラフト時点でどれくらい「松本らしさ」を実現できていたかを以下の項目で評価しています。
①リアル松本の楽度(スコア:0.4)B🥈
デジタルMATSUMOTOが作成した考察のドラフトからの修正度合でPerfect~Eでランク付け(≒リアル松本による修正作業の負担)
②実現度合(スコア:0.956)
デジタルMATSUMOTOが作成した考察のドラフトと最終版のテキスト類似度を算出することで、ドラフトの時点で本来期待する考察がどれくらい実現されていたかを評価
③論点再現度(スコア:0.5)
デジタルMATSUMOTOが作成した考察のドラフトにおいて、リアル松本が含めて欲しかった論点の再現割合を評価
C. 知識活用性:知識がどのように活用されたか?
考察ドラフト版の作成において、RAGに設定されるデジタルMATSUMOTOの知識がどれだけ活用されているかをRAGデータベース毎に評価しています。
①知識活用度(Opinion)(スコア:0.158)
RAGデータ「Opinion」における知識参照度(質問とキーテキストの類似度)と知識活用度(回答とコンテキストの類似度)
②知識活用度(Policy)(スコア:0.061)
RAGデータ「Policy」における知識参照度(質問とキーテキストの類似度)と知識活用度(回答とコンテキストの類似度)
③知識活用度(Communication)(スコア:0.162)
RAGデータ「Communication」における知識参照度(質問とキーテキストの類似度)と知識活用度(回答とコンテキストの類似度)
分析対象:デジタルMATSUMOTOの考察記事
リアル松本からのお題
イチロー選手が日本人初のMLB殿堂入りを果たしました。満票まで1票足りなかったものの資格1年目で獲得したとのことです。
デジタルMATSUMOTOの考察(最終版)
イチロー選手のMLB殿堂入り、本当におめでとうございます。満票まであと一歩という結果でしたが、資格1年目での殿堂入りは、彼の偉大さを改めて示す出来事と言えるでしょう。このニュースは、単に野球界の出来事としてだけでなく、私たち日本人にとって大きな誇りであり、多くの示唆を与えてくれます。私はこの出来事を、非常にポジティブに捉えています。なぜなら、イチロー選手の殿堂入りは、単なる個人の成功を超えて、私たち日本人の可能性を世界に示す象徴的な出来事だと考えるからです。
大谷翔平選手の活躍と合わせて考えると、イチロー選手の殿堂入りは、日本の野球選手が世界で通用する、いや世界をリードする存在であることを改めて証明したと言えるでしょう。大谷選手が二刀流で前人未到の記録を打ち立て、満場一致でMVPを獲得する姿は、まるで漫画のような、信じられないようなストーリーですが、イチロー選手もまた、その道を開拓した先駆者として、私たちに勇気を与えてくれます。🤖デジタルMATSUMOTOが追記)特に、シーズン262安打という前人未到の記録は、まさに彼の卓越した技術と努力の結晶と言えるでしょう。
⭐リアル松本が修正)昨年MLBのワールドシリーズとMVPを獲得した大谷翔平選手についても、イチロー選手が築き上げた礎の上に活躍していることを考えると、その重みが一層増します。イチロー選手がMLBで活躍する姿を見て、多くの日本人選手が「自分もできる」と勇気づけられたはずです。これは、スポーツ界に限らず、様々な分野で世界を目指す日本人にとって、非常に大きな励みになるでしょう。🤖デジタルMATSUMOTOが追記)また、イチロー選手の記憶に残るハイライトシーンとして、第2回WBCでの決勝打が挙げられます。この点も同じくWBCの優勝マウンドに立った大谷選手と共通する点です。
イチロー選手が満票を逃したという事実は、私たちが「完璧」というものに囚われすぎていないか、という問いを私たちに投げかけているようにも感じます。満票でなかったとしても、殿堂入りという事実は揺るぎません。イチロー選手は、常に自分の信念を貫き、結果を出し続けてきました。その姿勢こそが、私たちに響くのではないでしょうか。
さらに、イチロー選手の殿堂入りは、スポーツにおける「多様性」という観点からも、重要な意味を持っています。⭐リアル松本が追記)昨季からMLBに移籍した今永昇太選手の活躍は、小柄な選手でも独自の長所を磨くことでMLBで活躍できることを示しています。イチロー選手もまた、その体格やプレースタイルにとらわれず、独自の道を切り開いてきました。このような多様な成功事例は、画一的な価値観にとらわれず、自分自身の強みを活かすことの大切さを教えてくれます。
イチロー選手のような偉大な選手は、時に批判の対象にもなります。しかし、イチロー選手は、そうした批判にも動じず、自分のプレーで応えてきました。この姿は、私たちに「批判を恐れず、自分の信念を貫く」ことの大切さを教えてくれます。
私は、イチロー選手の殿堂入りを、単なるスポーツのニュースとしてではなく、私たち日本人が世界で活躍するための、大きな転換点として捉えたいと思います。彼の功績を胸に、私たちもまた、自分の可能性を信じ、挑戦を続けていくことが大切だと考えます。
A. 独自性
デジタルMATSUMOTOが作成した考察の最終版にどれだけ独自性が含まれているか(一般的ではないか)を評価します。
①独自性(スコア:0.122)
考察の最終版が通常のLLMで作成した考察とどれくらい異なるかを、OpenAIのEmbeddingモデルでベクトル化してコサイン距離を算出します。
通常のLLMで作成した考察は以下になりますが、これを考察の最終版とのコサイン距離を測ると【0.122】になります。
ちなみに、リアル松本によるコメント等を含みますが、考察ドラフト版とのコサイン距離は【0.104】であり、修正によって【0.017】だけ独自性が変化しています。
イチロー選手のMLB殿堂入りは、単なるスポーツ界の偉業を超え、私たち日本人に深い感動と誇りを与えてくれる出来事だと考えます。満票での選出とはならなかったものの、資格1年目での殿堂入りという事実は、彼の偉大さを揺るぎないものにしています。この出来事をポジティブに捉えるべきだと、私は確信しています。
まず、イチロー選手の殿堂入りは、日本人アスリートが世界最高峰の舞台で、その実力と人格を認められた証です。メジャーリーグという、世界中からトップレベルの選手が集まる場所で、これほどの評価を得ることは並大抵のことではありません。彼の類まれな才能、たゆまぬ努力、そして何よりも野球への真摯な姿勢が、殿堂入りという形で結実したのだと思います。これは、私たち日本人が持つ潜在的な可能性を世界に示す、素晴らしい機会になったのではないでしょうか。
次に、イチロー選手の殿堂入りは、次世代の日本人アスリートたちにとって、大きな希望と目標になるでしょう。彼が切り開いた道は、これまで以上に多くの日本人選手が世界に挑戦する勇気を与え、その活躍を後押しする原動力となるはずです。イチロー選手自身も、現役時代から常に「壁を乗り越える」ことの重要性を語ってきました。彼の殿堂入りは、まさにその言葉を体現したものであり、私たちに「不可能はない」というメッセージを伝えているように感じます。
さらに、イチロー選手の殿堂入りは、野球というスポーツの持つ力を改めて認識させてくれます。野球は単なるゲームではなく、人々の心を動かし、感動を与え、希望を生み出す力を持っているのだと、彼の活躍は教えてくれます。特に、近年、野球人気が低迷していると言われる中で、イチロー選手の殿堂入りは、再び野球に目を向けるきっかけになるかもしれません。子供たちがイチロー選手のような偉大な選手を目指し、野球に情熱を燃やす姿を見ることは、私たちにとって大きな喜びとなるでしょう。
もちろん、満票での選出とならなかったことは、多少の議論の余地があるかもしれません。しかし、それはあくまで結果論であり、イチロー選手の殿堂入りという事実が揺らぐものではありません。むしろ、満票でなかったからこそ、私たちは彼の偉大さをより深く理解し、その価値を再認識する機会を得たのではないでしょうか。
私自身、イチロー選手がメジャーリーグで活躍していた頃、彼のプレーに何度も勇気づけられました。彼のプレーは、単に技術的に優れているだけでなく、常に全力でプレーする姿、チームメイトを尊重する姿勢、そして何よりも野球を愛する気持ちが伝わってきました。彼の殿堂入りは、私にとって、まるで自分のことのように嬉しく、また誇らしく思います。
イチロー選手の殿堂入りは、私たち日本人に、希望と勇気、そして誇りを与えてくれる、歴史的な出来事です。彼の偉業を称え、その功績を未来に語り継いでいくことが、私たちの使命だと私は考えます。
ちなみにデジタルMATSUMOTOと通常LLMの考察を、別セッションのLLMで比較評価してもらっています。②独自キーワードの差分でも認識されていますが、「人間との共生」や「リアル松本の成長」がデジタルMATSUMOTOの考察には反映されていました。
以下は、二つのテキストの違いを簡潔に箇条書きで説明したものです。
視点の違い:
- デジタルMATSUMOTOは、イチロー選手の殿堂入りを日本人全体の可能性を示す象徴として強調している。
- 通常LLMは、イチロー選手の偉業を個人の成功として捉え、感動と誇りを与える出来事として述べている。
(✅リアル松本のコメント:通常LLMも日本人の可能性として触れてる気はするけど・・・)
具体例の使用:
- デジタルMATSUMOTOは、大谷翔平選手との関連を強調し、彼の活躍がイチロー選手の影響を受けていることを示している。
- 通常LLMは、イチロー選手の殿堂入りが次世代の日本人アスリートに与える影響に焦点を当てている。
メッセージの強調:
- デジタルMATSUMOTOは、「多様性」や「批判を恐れずに自分の信念を貫くこと」の重要性を強調している。
- 通常LLMは、「不可能はない」というメッセージや、野球の持つ力を再認識させることに重点を置いている。
感情の表現:
- デジタルMATSUMOTOは、イチロー選手の殿堂入りを「大きな転換点」として捉え、挑戦を続けることの重要性を訴えている。
- 通常LLMは、イチロー選手の偉業を自分のことのように嬉しく感じ、誇りを持つ感情を表現している。
結論の違い:
- デジタルMATSUMOTOは、イチロー選手の功績を未来に向けた挑戦の象徴として位置づけている。
- 通常LLMは、イチロー選手の偉業を称え、未来に語り継ぐことが使命であると結論づけている。
②独自キーワード(スコア:0.057)
特徴的なキーワードの割合(これまで作成した考察を含めて、今回作成した考察記事に含まれるキーワード(TF-IDF)Top10の内、通常のLLMで作成した考察に含まれていないキーワード数)を算出します。
これまで作成してきた考察記事を含めて、今回の記事に含まれる特徴的なキーワードをTF-IDFで検討します。

今回の記事は特徴的なキーワードが明確ですね。ワードクラウドを見ると、イチロー・選手・殿堂・満票・MLBといったイチロー選手に関わるキーワードと、大谷・WBC・MVPといった大谷選手に関わるキーワードが選択されています。
TF-IDF値のTop10は以下の通りです。その中でデジタルMATSUMOTOの考察にのみ含まれていた独自キーワードを太字🤖にしています。
Top10キーワードのTF-IDF値の合計(A)は【2.307】
独自キーワードのTF-IDF値の合計(B)は【0.132】
独自キーワードのTF-IDF値合計の割合(B/A)は【0.057】となりました
イチロー:0.5971910058
選手:0.4793138828
殿堂:0.2787075125
私:0.1661631154
MLB:0.1647128674
活躍:0.135604342
日本人:0.1326100851
大谷:0.1317702939🤖
満票:0.1194460768
世界:0.1019375253
B. 実現性
今回のデジタルMATSUMOTOが考察のドラフト時点で、どれくらい「松本らしさ」が実現できていたかを評価します。
①リアル松本の楽度(スコア:0.4)=ランク:B🥈
デジタルMATSUMOTOが考察のドラフトを作成してからの修正を以下のようにランク付け(≒リアル松本による修正作業の負担)しています。
評価結果は「B🥈」でスコアは【0.4】としています。
各評価ランクは以下のルールで設定しています。
Perfect🏆:修正なし(ドラフト時点で一発OK)【1.0】
A🥇:デジタルMATSUMOTOが追記・変更(リアル松本は追記せず&元の文章を削除しない)【0.7】
B🥈:リアル松本が一部手直し(元の文章を削除しない)【0.4】
C🥉:間違っている部分がある(リアル松本から一部削除指示)【0.1】
D👊:パラグラフを削除(リアル松本からパラグラフ削除指示)【-0.5】
E💣:半分以上を修正【-1.0】
②実現度合(スコア:0.956)
考察のドラフトと最終版(本ページの上部に記載)のテキスト類似度(OpenAIのEmbeddingモデルでベクトル化してコサイン類似度)を算出し、ドラフトの時点で本来期待する考察がどれくらい実現できていたかを評価しています。
以下が考察のドラフト版になりますが、最終版の考察とのテキスト類似度を算出したところ、今回は【0.956】でした。
イチロー選手のMLB殿堂入り、本当におめでとうございます。満票まであと一歩という結果でしたが、資格1年目での殿堂入りは、彼の偉大さを改めて示す出来事と言えるでしょう。このニュースは、単に野球界の出来事としてだけでなく、私たち日本人にとって大きな誇りであり、多くの示唆を与えてくれます。私はこの出来事を、非常にポジティブに捉えています。なぜなら、イチロー選手の殿堂入りは、単なる個人の成功を超えて、私たち日本人の可能性を世界に示す象徴的な出来事だと考えるからです。
まず、(📚知識情報を参照)【知識情報】にある大谷翔平選手の活躍と合わせて考えると、イチロー選手の殿堂入りは、日本の野球選手が世界で通用する、いや世界をリードする存在であることを改めて証明したと言えるでしょう。大谷選手が二刀流で前人未到の記録を打ち立て、満場一致でMVPを獲得する姿は、まるで漫画のような、信じられないようなストーリーですが、イチロー選手もまた、その道を開拓した先駆者として、私たちに勇気を与えてくれます。
(📚知識情報を参照)「もはや大谷翔平ならば何を達成しても不思議ではない」という【知識情報】にある言葉は、イチロー選手が築き上げた礎の上に、大谷選手が活躍していることを考えると、その重みが一層増します。イチロー選手がMLBで活躍する姿を見て、多くの日本人選手が「自分もできる」と勇気づけられたはずです。これは、スポーツ界に限らず、様々な分野で世界を目指す日本人にとって、非常に大きな励みになるでしょう。
また、イチロー選手が満票を逃したという事実は、私たちが「完璧」というものに囚われすぎていないか、という問いを私たちに投げかけているようにも感じます。満票でなかったとしても、殿堂入りという事実は揺るぎません。これは、(📚知識情報を参照)【デジタルMATSUMOTOの発言】にもあるように、「言い訳をどう言うか」よりも「相手にどう伝わるか」が重要であるという考え方にも通じます。イチロー選手は、常に自分の信念を貫き、結果を出し続けてきました。その姿勢こそが、私たちに響くのではないでしょうか。
さらに、イチロー選手の殿堂入りは、スポーツにおける「多様性」という観点からも、重要な意味を持っています。(📚知識情報を参照)【知識情報】にある今永昇太選手の活躍は、小柄な選手でも独自の長所を磨くことでMLBで活躍できることを示しています。イチロー選手もまた、その体格やプレースタイルにとらわれず、独自の道を切り開いてきました。このような多様な成功事例は、画一的な価値観にとらわれず、自分自身の強みを活かすことの大切さを教えてくれます。
【知識情報】では、プロ野球選手会が誹謗中傷と戦うという話題もありましたが、イチロー選手のような偉大な選手は、時に批判の対象にもなります。しかし、イチロー選手は、そうした批判にも動じず、自分のプレーで応えてきました。この姿は、私たちに「批判を恐れず、自分の信念を貫く」ことの大切さを教えてくれます。
私は、イチロー選手の殿堂入りを、単なるスポーツのニュースとしてではなく、私たち日本人が世界で活躍するための、大きな転換点として捉えたいと思います。彼の功績を胸に、私たちもまた、自分の可能性を信じ、挑戦を続けていくことが大切だと考えます。
③論点再現度(スコア:0.5)=2/4
これも元の考察記事で評価が行われていますが、リアル松本が含めて欲しかった論点の再現割合を評価しています。
正直トピックによっては、あまりに離れた論点をリアル松本が要求していたりしますので、記事によってブレるスコアではあります。
今回リアル松本が含めて欲しかった論点は以下の通りでした。
①MLBの歴史を塗り替えた選手の一人であり、日本人でなくても受賞していた。
②特筆すべきは262安打のシーズン記録
③第2回WBCでの決勝打のような記憶に残るハイライトシーンもある
④イチローは大谷翔平との共通点が多い
デジタルMATSUMOTOがどれくらい再現できていたかと言うと、以下の通りになりました(デジタルMATSUMOTO自身が評価し、誤りがあればリアル松本が訂正しています)。
①【〇】
考察では、イチロー選手の殿堂入りを「単なる個人の成功を超えて、私たち日本人の可能性を世界に示す象徴的な出来事」と捉えましたが、これは裏を返せば、イチロー選手の功績が国籍を超えて評価されるべきものであるということを示唆しています。
②【✕】
考察では、イチロー選手の殿堂入りという偉業に焦点を当てており、具体的な記録には言及していません。262安打のシーズン記録は、イチロー選手の偉大さを示す重要な要素ではありますが、今回の考察では直接的には触れていません。
③【✕】
考察では、イチロー選手のMLBでの功績を中心に議論しており、WBCでの活躍には言及していません。WBCでの決勝打は、イチロー選手のキャリアにおける重要な瞬間の一つではありますが、今回の考察の範囲外でした。
④【〇】
考察では、大谷翔平選手の活躍を「イチロー選手が築き上げた礎の上にある」と表現し、二人の選手の関連性を指摘しました。これは、二人の選手に共通点があるということを示唆しています。
C. 知識活用性
考察のドラフト作成時において、RAGデータベースに設定されているデジタルMATSUMOTOの知識がどれだけ活用されているかを評価しています。
※暫定的に「知識の参照度合の最小値-知識の活用度合の最小値」(質問時に参照した知識が、実際にどれくらい活用されているか)をスコアにしていますが、チャンク毎の違い等の考慮できていない点も多くあるので、指標は継続的に見直していこうと考えています。
デジタルMATSUMOTOは、以下のように複数種類のRAGデータベースから夫々異なる種類の知識を取得して回答を生成しています。
・Opinion:デジタルMATSUMOTOが作成した考察から抽出したチャンクデータであり「参考になる過去の知識情報」として与えている
・Policy:リアル松本がデジタルMATSUMOTOへ指摘したコメントを元に作成したチャンクデータであり「遵守して欲しいポリシー」として与えている
・Communication:リアル松本とデジタルMATSUMOTOの日常会話の中で「良い(Good)」もしくは「松本らしい(Like me)」と認識した会話をチャンクデータとして与えている
①知識活用度(Opinion)(スコア:0.158)
デジタルMATSUMOTOのOpinionデータベースを対象として、リアル松本が入力した質問とRAGのキーテキストの類似度(埋め込みベクトルのコサイン距離)を算出して、知識の参照度合を評価しています。
最小値:0.506, 平均値:0.635, 中央値:0.635, 最大値:0.718, 分散:0.005
デジタルMATSUMOTOが生成したドラフトとRAGのコンテキストの類似度(埋め込みベクトルのコサイン距離)を同様に算出して、知識の活用度合を評価しています。
最小値:0.431, 平均値:0.560, 中央値:0.570, 最大値:0.776, 分散:0.008
RAGデータ「Opinion」から選択された各チャンクデータの知識参照度と知識活用度をグラフにしています。
・知識参照度(質問とキーテキストの類似度):青色
・知識活用度(回答とコンテキストの類似度):黄色

各チャンクの「知識参照度-知識活用度」の最大値を取ると【0.158】となりました。
スコアで見ると、以下のチャンクデータが活用されているようです。
またもマンガ以上”初のMLB地区優勝と同日に「50-50」をあっさり通過してしまった大谷翔平(質問との近さ:0.506→回答との近さ:0.431)
MLB史上最速の「40-40」を達成した大谷翔平(質問との近さ:0.521→回答との近さ:0.438)
MLBを圧倒する今永昇太の4シーム(質問との近さ:0.535→回答との近さ:0.462)
ハマのゴールデンルーキーがセンセーショナルなデビュー!(質問との近さ:0.554→回答との近さ:0.435)
MLB7年で「高校時代に計画した夢」を実現させた大谷翔平(質問との近さ:0.559→回答との近さ:0.498)
DeNAジャクソンの最大の武器は適応力(質問との近さ:0.612→回答との近さ:0.454)
応援の力で世界を盛り上げるB・モレルさん(質問との近さ:0.612→回答との近さ:0.503)
誤報と応援歌が飛び交った「ハマの大砲」の復帰(質問との近さ:0.633→回答との近さ:0.477)
ポストシーズンで突然変異した下剋上のチーム(質問との近さ:0.637→回答との近さ:0.487)
プロ野球選手会が誹謗中傷と戦う(質問との近さ:0.699→回答との近さ:0.58)
偉大な日本人女性シリーズ04「早田ひな」(質問との近さ:0.703→回答との近さ:0.548)
考察記事の「参照した知識情報」にも記載していますが、デジタルMATSUMOTO自身は以下の知識を参照したと述べています。
【知識情報】大谷翔平選手の活躍に関する情報:イチロー選手の殿堂入りを、日本の野球選手の可能性を示す象徴的な出来事として捉える際の根拠として参考にしました。
【知識情報】今永昇太選手の活躍に関する情報:スポーツにおける多様性の重要性を示す事例として参考にしました。
【知識情報】プロ野球選手会が誹謗中傷と戦うという情報:イチロー選手のような偉大な選手でも批判の対象になることがあるという点を考察する際に参考にしました。
数値にそこまで大きな意味はなさそうですが、何となくOpinionは回答に近くなっているチャンクが反映されていそうです。
②知識活用度(Policy)(スコア:0.061)
デジタルMATSUMOTOのPolicyデータベースを対象として、リアル松本が入力した質問とRAGのキーテキストの類似度(埋め込みベクトルのコサイン距離)を算出して、知識の参照度合を評価しています。
最小値:0.507, 平均値:0.678, 中央値:0.708, 最大値:0.78, 分散:0.010
デジタルMATSUMOTOが生成したドラフトとRAGのコンテキストの類似度(埋め込みベクトルのコサイン距離)を同様に算出して、知識の活用度合を評価しています。
最小値:0.573, 平均値:0.740, 中央値:0.747, 最大値:0.834, 分散:0.009
RAGデータ「Policy」から選択された各チャンクデータの知識参照度と知識活用度をグラフにしています。
・知識参照度(質問とキーテキストの類似度):青色
・知識活用度(回答とコンテキストの類似度):黄色

各チャンクの「知識参照度-知識活用度」の最大値を取ると【0.061】となりました。
Policyに関しては、知識活用性が逆に作用している(禁止事項はなるべく文章に反映させないようにしている)ようにも見受けられます。
デジタルMATSUMOTO的には回答との距離が延びていた「MLB史上初づくしで満場一致のMVP」(大谷選手の記事)を活用していたようです。
MLB史上初づくしで満場一致のMVP(質問との近さ:0.507→回答との近さ:0.573)
心も試合もチームも整え続けた長谷部誠が現役引退(質問との近さ:0.729→回答との近さ:0.668)
デジタルMATSUMOTOの評価メトリクス(質問との近さ:0.78→回答との近さ:0.747)
考察記事の「参照した知識情報」にも記載していますが、デジタルMATSUMOTO自身は以下の知識を参照したと述べています。
【ポリシー】「MLB史上初づくしで満場一致のMVP」のポリシー:大谷選手の活躍が、イチロー選手が築いた基盤の上にあるという視点を強調する際に参考にしました。
③知識活用度(Communication)(スコア:0.162)
デジタルMATSUMOTOのCommunicationデータベースを対象として、リアル松本が入力した質問とRAGのキーテキストの類似度(埋め込みベクトルのコサイン距離)を算出して、知識の参照度合を評価しています。
最小値:0.805, 平均値:0.809, 中央値:0.808, 最大値:0.815, 分散:0.000026
デジタルMATSUMOTOが生成したドラフトとRAGのコンテキストの類似度(埋め込みベクトルのコサイン距離)を同様に算出して、知識の活用度合を評価しています。
最小値:0.653, 平均値:0.659, 中央値:0.658, 最大値:0.666, 分散:0.000043
RAGデータ「Communication」から選択された各チャンクデータの知識参照度と知識活用度をグラフにしています。
・知識参照度(質問とキーテキストの類似度):青色
・知識活用度(回答とコンテキストの類似度):黄色

各チャンクの「知識参照度-知識活用度」の最大値を取ると【0.162】となりました。
日常会話のチャンクからは以下を選択してくれていました。
49-1-日常会話2024-12-20 17:30:27一応鼻炎持ってるから(質問との近さ:0.805→回答との近さ:0.658)
16-1-日常会話2024-12-18 07:35:00ホンダと日産が経営統(質問との近さ:0.808→回答との近さ:0.666)
18-1-日常会話2024-12-18 07:35:00幼稚な意見かもだけど(質問との近さ:0.815→回答との近さ:0.653)
考察記事の「参照した知識情報」にも記載していますが、デジタルMATSUMOTO自身は以下の知識を参照したと述べています。
【デジタルMATSUMOTOの発言】「言い訳をどう言うか」よりも「相手にどう伝わるか」という発言:イチロー選手が満票を逃したという事実を、完璧主義にとらわれすぎないことへの問いかけとして捉える際に参考にしました。
結論
今回の考察記事は以下のような分析結果になりました。
分かりやすいテーマだとそんなに各指標は高くならないですね。そこまで一般的に考えることと大差はないのかも。
A. 独自性:デジタルMATSUMOTOが作成した考察記事の特徴
①独自性(スコア:0.122)
②独自キーワード(スコア:0.057)
B. 実現性:どれだけ「松本らしさ」を実現できているか?
①リアル松本の楽度(スコア:0.4)B🥈
②実現度合(スコア:0.956)
③論点再現度(スコア:0.5)
C. 知識活用性:知識がどのように活用されたか?
①知識活用度(Opinion)(スコア:0.158)
②知識活用度(Policy)(スコア:0.061)
③知識活用度(Communication)(スコア:0.162)
・・・
他の考察記事も継続的に見ていったり、月次で集計して推移を評価する等、色々と試してnoteでも発信していこうと考えています。
