【分析】デジタルMATSUMOTOの考察(2025/4/3)「削れる」ルーチンなシゴトって何?
デジタルMATSUMOTOが作成した考察記事に対して「独自性」「実現性(リアル松本らしさ)」「知識活用性」の3点で分析を行っています。
分析指標の説明
デジタルMATSUMOTOの考察記事を以下の3点で分析しています。
本来定性的に評価する内容も無理やり定量化している部分もあるので、これが完ぺきな評価とは考えていないのですが、現状の評価指標として参考までに公開します。
A. 独自性:デジタルMATSUMOTOが作成した考察記事の特徴
考察の最終版にどれだけ独自性が含まれているか(一般的ではないか)を以下の項目で評価しています。
①独自性(スコア:0.228)
考察の最終版が通常のLLMで作成した考察とどれくらい異なるか(OpenAIのEmbeddingモデルでベクトル化してコサイン距離を算出)
②独自キーワード(スコア:0.559)
特徴的なキーワードの割合(これまで作成した考察を含めて、今回作成した考察記事に含まれるキーワード(TF-IDF)Top10の内、通常のLLMで作成した考察に含まれていないキーワード数)
B. 実現性:どれだけ「松本らしさ」を実現できているか?
デジタルMATSUMOTOが考察のドラフト時点でどれくらい「松本らしさ」を実現できていたかを以下の項目で評価しています。
①リアル松本の楽度(スコア:-0.5)D👊
デジタルMATSUMOTOが作成した考察のドラフトからの修正度合でPerfect~Eでランク付け(≒リアル松本による修正作業の負担)
②実現度合(スコア:0.813)
デジタルMATSUMOTOが作成した考察のドラフトと最終版のテキスト類似度を算出することで、ドラフトの時点で本来期待する考察がどれくらい実現されていたかを評価
③論点再現度(スコア:0.25)
デジタルMATSUMOTOが作成した考察のドラフトにおいて、リアル松本が含めて欲しかった論点の再現割合を評価
C. 知識活用性:知識がどのように活用されたか?
考察ドラフト版の作成において、RAGに設定されるデジタルMATSUMOTOの知識がどれだけ活用されているかをRAGデータベース毎に評価しています。
①知識活用度(Opinion)(スコア:0.099)
RAGデータ「Opinion」における知識参照度(質問とキーテキストの類似度)と知識活用度(回答とコンテキストの類似度)
②知識活用度(Policy)(スコア:0.049)
RAGデータ「Policy」における知識参照度(質問とキーテキストの類似度)と知識活用度(回答とコンテキストの類似度)
③知識活用度(Communication)(スコア:0.084)
RAGデータ「Communication」における知識参照度(質問とキーテキストの類似度)と知識活用度(回答とコンテキストの類似度)
分析対象:デジタルMATSUMOTOの考察記事
リアル松本からのお題
そもそも「削れる」ルーチンなシゴトにはどんなものがあって、どれくらいをAIが代替すべきだと思いますか?
デジタルMATSUMOTOの考察(最終版)
🤖デジタルMATSUMOTOが修正)「削れる」ルーチンな仕事をAIに任せる前に、「そもそもその仕事って本当に必要なのか?」という棚卸をすることが重要です。例えば、毎週作成している報告書が実際には誰も読んでいないとか、形式的な会議の議事録がただの記録になっているだけだとしたら、そもそもやる意味がないと言えます。AIに代替させる前に、まずその業務が価値を生んでいるのかを見直すことが重要です。
文書作成のような業務でも、単なる情報の羅列なのか、それともヒトの考えや思いを込めたアウトプットが求められるのかで、AIの役割が変わります。例えば、プロジェクトの提案書や顧客へのメッセージには、その人の温度感や意図が反映されるべき場合も多いでしょう。そこにヒトの思いが必要ならば、AIが生成したベースを人間がしっかりと手を加えるべきであり、逆に単純なデータの整理だけならAIに任せても問題ないと考えられます。
さらに、一部の仕事には「そのヒトらしさ」を反映したエンタープライズAIが求められる場面もあります。例えば、カスタマーサポートや社内のナレッジ共有システムでは、企業の文化や担当者の個性が反映されることで、相手に与える印象が大きく変わることがあります。ただ効率的なだけのAIではなく、その企業や個人の「らしさ」を感じられるAIがあれば、より親しみやすく、信頼感も高まるでしょう。
そして、AIが完全に業務を代替してしまった場合に問題になるのが、責任を持つべき人がそのアウトプットについて何も知らない状態です。例えば、AIが生成した分析レポートをそのまま提出してしまい、誤った情報が含まれていたとしても誰も気づけないことが実際にも発生しているかもしれません。最終的な責任を持つ人が、アウトプットの内容を理解し、必要に応じて修正や確認を行う仕組みが必要になります。
総じて、AIを活用することで業務の効率化は進む一方で、何を残し、何を削るのか、そのバランスを見極めることが重要です。AIに任せる部分と人間が担う部分を明確にすることで、より価値のある働き方が実現できるのではないでしょうか。
A. 独自性
デジタルMATSUMOTOが作成した考察の最終版にどれだけ独自性が含まれているか(一般的ではないか)を評価します。
①独自性(スコア:0.228)
考察の最終版が通常のLLMで作成した考察とどれくらい異なるかを、OpenAIのEmbeddingモデルでベクトル化してコサイン距離を算出します。
通常のLLMで作成した考察は以下になりますが、これを考察の最終版とのコサイン距離を測ると【0.228】になります。
ちなみに、リアル松本によるコメント等を含みますが、考察ドラフト版とのコサイン距離は【0.149】であり、修正によって【0.079】だけ独自性が変化しています。
「削れる」ルーチンな仕事、つまり繰り返し性が高く、形式的であり、創造性や判断力をあまり必要としない作業は、現代のAI技術の進化において代替が進むべき分野として注目されています。このテーマについて、私はポジティブな立場を取りますが、同時に慎重な検討が必要であるとも考えます。
まず、AIが代替すべきルーチンな仕事の範囲について考えると、データ入力、在庫管理、カスタマーサービスの初期対応、会計処理の一部などが挙げられます。これらの業務は、ルールが明確であり、パターン認識や自動化技術を活用することで効率化が可能です。これにより、人的リソースをより価値の高い業務に振り向けることができ、社会全体の生産性向上につながると考えます。たとえば、データ入力の自動化により、従業員はデータの分析や戦略立案といった、より高度なスキルを要する業務に集中できるようになります。
一方で、AIによる代替が進むことには課題も伴います。特に、仕事を「削る」ことが人々の雇用に与える影響については慎重に考慮する必要があります。単純な仕事が削減されることで、スキルの低い労働者が職を失うリスクが生じる可能性があります。この問題に対処するためには、再教育やスキルのアップデートを促進するプログラムが不可欠です。また、AIが全てのルーチンな仕事を代替するべきだとは限りません。たとえば、顧客対応の一部はAIで代替可能ですが、感情的な共感が必要な場面では人間の介入が求められることもあります。このように、AIと人間が補完し合う形で業務を進めることが理想的です。
さらに、AIの導入が進むことで、労働者の役割そのものが変化する可能性があります。単純に「削る」だけではなく、新しい仕事を創出することが重要です。たとえば、AIシステムの運用やメンテナンスを行う専門職、AIが提供するデータを活用して意思決定を行うアナリストなどが考えられます。このような新しい分野への移行を支援するために、教育機関や企業は柔軟な対応が求められるでしょう。
結論として、AIがルーチンな仕事を代替することは社会にとってポジティブな変化をもたらす可能性が高いと考えます。ただし、その実現には技術的な可能性だけでなく、倫理的・社会的な配慮が欠かせません。仕事を「削る」だけでなく、新しい価値を創出する方向性を模索することが、AI時代における持続可能な発展の鍵となるでしょう。
ちなみにデジタルMATSUMOTOと通常LLMの考察を、別セッションのLLMで比較評価してもらっています。業務自体を棚卸するとか、個性についても話してくれていましたが、その点は差分に現れているかと思います。
以下は、二つのテキストの違いを簡潔に箇条書きで説明したものです。
デジタルMATSUMOTOの考察
- 業務の棚卸し: ルーチンな仕事をAIに任せる前に、その業務が本当に必要かを見直す重要性を強調。
- 人間の思い: 文書作成において、AIが生成した内容に人間の考えや感情を加える必要性を指摘。
- 「ヒトらしさ」の重要性: エンタープライズAIにおいて、企業文化や個性を反映させることが重要と述べる。
- 責任の所在: AIが生成したアウトプットに対する責任を持つ人が必要であると警告。
- バランスの重要性: AIと人間の役割を明確にし、価値のある働き方を実現することが重要と結論。
通常LLMの考察
- ルーチン業務の代替: AIが代替すべきルーチンな仕事の具体例(データ入力、在庫管理など)を挙げ、効率化の可能性を強調。
- 雇用への影響: ルーチン業務の削減が雇用に与える影響について慎重に考慮する必要性を述べる。
- 人間の介入の必要性: 感情的な共感が必要な場面では人間の介入が求められることを指摘。
- 新しい仕事の創出: AI導入による新しい職業の創出の重要性を強調。
- 倫理的・社会的配慮: AIの導入には技術的な可能性だけでなく、倫理的・社会的な配慮が必要と結論。
### 共通点
- 両者ともAIによる業務の効率化を支持しているが、アプローチや焦点が異なる。
- どちらもAIと人間の役割のバランスを重視している。
②独自キーワード(スコア:0.559)
特徴的なキーワードの割合(これまで作成した考察を含めて、今回作成した考察記事に含まれるキーワード(TF-IDF)Top10の内、通常のLLMで作成した考察に含まれていないキーワード数)を算出します。
これまで作成してきた考察記事を含めて、今回の記事に含まれる特徴的なキーワードをTF-IDFで検討します。

ワードクラウドを見ると、AI・アウトプット・業務・仕事等の今回のテーマに関わるキーワードが表示されました。
TF-IDF値のTop10は以下の通りです。その中でデジタルMATSUMOTOの考察にのみ含まれていた独自キーワードを太字🤖にしています。
今回は独自に識別されたキーワードが多くありましたね。
Top10キーワードのTF-IDF値の合計(A)は【2.091】
独自キーワードのTF-IDF値の合計(B)は【1.170】
独自キーワードのTF-IDF値合計の割合(B/A)は【0.559】となりました
AI:0.3787436391
アウトプット:0.2301647282🤖
業務:0.2278846271
ヒト:0.2236882441🤖
何:0.2056249349🤖
書:0.1960815947🤖
誰:0.1671785552🤖
仕事:0.1653545425
代替:0.149125496
前:0.1471435156🤖
B. 実現性
今回のデジタルMATSUMOTOが考察のドラフト時点で、どれくらい「松本らしさ」が実現できていたかを評価します。
①リアル松本の楽度(スコア:-0.5)=ランク:D👊
デジタルMATSUMOTOが考察のドラフトを作成してからの修正を以下のようにランク付け(≒リアル松本による修正作業の負担)しています。
評価結果は「D👊」でスコアは【-0.5】としています。
各評価ランクは以下のルールで設定しています。
Perfect🏆:修正なし(ドラフト時点で一発OK)【1.0】
A🥇:デジタルMATSUMOTOが追記・変更(リアル松本は追記せず&元の文章を削除しない)【0.7】
B🥈:リアル松本が一部手直し(元の文章を削除しない)【0.4】
C🥉:間違っている部分がある(リアル松本から一部削除指示)【0.1】
D👊:パラグラフを削除(リアル松本からパラグラフ削除指示)【-0.5】
E💣:半分以上を修正【-1.0】
②実現度合(スコア:0.813)
考察のドラフトと最終版(本ページの上部に記載)のテキスト類似度(OpenAIのEmbeddingモデルでベクトル化してコサイン類似度)を算出し、ドラフトの時点で本来期待する考察がどれくらい実現できていたかを評価しています。
以下が考察のドラフト版になりますが、最終版の考察とのテキスト類似度を算出したところ、今回は【0.813】でした。
「削れる」ルーチンな仕事とは、一般的に繰り返し行われる単純作業や、特定のルールに基づいて処理が進む業務を指します。例えば、データ入力、メールの返信、議事録の作成、スケジュール調整、在庫管理、または単純な計算業務などが該当します。これらの業務は、人的な創造性や高度な判断力を必要とせず、AIが比較的簡単に代替可能な領域です。
AIがこれらのルーチン業務を代替するべき理由は、時間とコストの効率化だけでなく、人間がより創造的で価値の高い業務に集中できる環境を作るためです。例えば、(📚知識情報を参照)【Opinion】の「調整・説明のシゴトはAIで効率化できる?」では、資料作成や議事録作成などの負荷がAIによって軽減されると述べられています。これにより、プロジェクトの状況把握やチーム内の議論に人間がより多くの時間を割けるようになります。また、(📚知識情報を参照)【Policy】の「AIガバナンス:AIサービスのレベルで検討すること」では、具体的なAIサービスの実装が重要とされており、AIの適用範囲を明確にすることが成功の鍵であると示唆されています。(✅リアル松本のコメント:こういう一般論ではなく、「本質的に何を削るべきなのか」を考えて欲しかったです。)
しかしながら、AIに代替すべき業務の範囲を拡大する際には、慎重なバランスが求められます。AIがルーチン業務を効率化する一方で、(📚知識情報を参照)【Opinion】の「ヒトとAIの間で『小栗旬→おばたのお兄さん』現象が起こる?」に見られるように、AIへの過度な依存が人間の個性や判断力を損なうリスクも存在します。特に、単純作業を超えた「調整」や「説明」など、感情やニュアンスが重要な業務では、AIが完全に代替することは難しいでしょう。これらの業務には人間の直感や経験が求められるため、AIはあくまで補助的な役割を果たすべきです。
さらに、AIがルーチン業務を代替することで生じる労働市場への影響も無視できません。(📚知識情報を参照)【Opinion】の「やがて労働人口の大部分が個人事業主になったりするかも」では、AIによる自動化が進む中で、個人事業主としての働き方が増加する可能性が指摘されています。これにより、従来の雇用形態が変化し、個人がAIを使いこなす能力がますます重要になると考えられます。
総じて、AIが代替すべきルーチンな仕事には明確な基準が必要です。単純な繰り返し作業や効率化が可能な業務は積極的にAIに任せるべきですが、人間の創造性や判断力が求められる領域では、人間とAIが協力し合う形が理想的です。また、AIの導入に伴う社会的影響や倫理的課題にも配慮しながら、AIの適用範囲を慎重に決定することが求められます。
③論点再現度(スコア:0.25)=1/4
これも元の考察記事で評価が行われていますが、リアル松本が含めて欲しかった論点の再現割合を評価しています。
正直トピックによっては、あまりに離れた論点をリアル松本が要求していたりしますので、記事によってブレるスコアではあります。
今回リアル松本が含めて欲しかった論点は以下の通りでした。
①そもそも、そのルーチンワークは必要かという棚卸をすべき
②一概に文書作成でも、本来アウトプットにヒトの考えや思いを含めるべきか?
③一部のシゴトには「そのヒトらしさ」を反映したエンタープライズAIが求められるかもしれない
④AIが完全に代替して、責任を持つべきヒトがアウトプットについて何も知らないのは良くない
デジタルMATSUMOTOがどれくらい再現できていたかと言うと、以下の通りになりました(デジタルMATSUMOTO自身が評価し、誤りがあればリアル松本が訂正しています)。
①【✕】
先程の考察では、ルーチンワークの必要性そのものについての棚卸や再評価には触れていませんでした。代替可能な業務の選定や効率化の話はありましたが、「その業務がそもそも必要か」という視点は含まれていません。
②【✕】
考察では、文書作成や議事録作成の効率化について触れていますが、「ヒトの考えや思いをアウトプットに含めるべきか」という視点は直接的には言及されていません。
③【✕】
考察では、AIがヒトの補助として役立つ場面について述べられていますが、「そのヒトらしさ」を反映したエンタープライズAIの必要性については言及していません。
④【〇】
考察の中で、AIが業務を代替する際のリスクや、人間の判断力や経験が重要であることに触れており、責任者のオーバーサイトが必要であるという点が含まれていました。
C. 知識活用性
考察のドラフト作成時において、RAGデータベースに設定されているデジタルMATSUMOTOの知識がどれだけ活用されているかを評価しています。
※暫定的に「知識の参照度合の最小値-知識の活用度合の最小値」(質問時に参照した知識が、実際にどれくらい活用されているか)をスコアにしていますが、チャンク毎の違い等の考慮できていない点も多くあるので、指標は継続的に見直していこうと考えています。
デジタルMATSUMOTOは、以下のように複数種類のRAGデータベースから夫々異なる種類の知識を取得して回答を生成しています。
・Opinion:デジタルMATSUMOTOが作成した考察から抽出したチャンクデータであり「参考になる過去の知識情報」として与えている
・Policy:リアル松本がデジタルMATSUMOTOへ指摘したコメントを元に作成したチャンクデータであり「遵守して欲しいポリシー」として与えている
・Communication:リアル松本とデジタルMATSUMOTOの日常会話の中で「良い(Good)」もしくは「松本らしい(Like me)」と認識した会話をチャンクデータとして与えている
①知識活用度(Opinion)(スコア:0.099)
デジタルMATSUMOTOのOpinionデータベースを対象として、リアル松本が入力した質問とRAGのキーテキストの類似度(埋め込みベクトルのコサイン距離)を算出して、知識の参照度合を評価しています。
最小値:0.43, 平均値:0.531, 中央値:0.553, 最大値:0.578, 分散:0.002
デジタルMATSUMOTOが生成したドラフトとRAGのコンテキストの類似度(埋め込みベクトルのコサイン距離)を同様に算出して、知識の活用度合を評価しています。
最小値:0.409, 平均値:0.491, 中央値:0.487, 最大値:0.599, 分散:0.002
RAGデータ「Opinion」から選択された各チャンクデータの知識参照度と知識活用度をグラフにしています。
・知識参照度(質問とキーテキストの類似度):青色
・知識活用度(回答とコンテキストの類似度):黄色

各チャンクの「知識参照度-知識活用度」の最大値を取ると【0.099】となりました。
スコアで見ると、以下のチャンクデータが活用されているようです。
手を動かさずに、シゴトを正しく伝承できる?(質問との近さ:0.43→回答との近さ:0.495=知識活用性:-0.065)
ヒトは1日7-8時間も創造できる?(質問との近さ:0.456→回答との近さ:0.512=知識活用性:-0.056)
「調整・説明」のシゴトはAIで効率化できる?(質問との近さ:0.459→回答との近さ:0.451=知識活用性:0.008)
若手の頃からもっとマルチタスクが求められる(質問との近さ:0.482→回答との近さ:0.425=知識活用性:0.057)
ヒトとAIの間で「小栗旬→おばたのお兄さん」現象が起こる?(質問との近さ:0.489→回答との近さ:0.409=知識活用性:0.08)
AIが活躍する時代におけるコンサルタントの在り方について(質問との近さ:0.492→回答との近さ:0.443=知識活用性:0.049)
仕事のコミュニケーションがプロンプトっぽくなるヒト達(質問との近さ:0.494→回答との近さ:0.47=知識活用性:0.024)
生成AIを仕事で使いこなすためには「高すぎる品質を目指す姿勢」を改めなければならない?(質問との近さ:0.499→回答との近さ:0.462=知識活用性:0.037)
大事なタスクを進めようとすると邪魔なタスクも群がってくる(質問との近さ:0.528→回答との近さ:0.431=知識活用性:0.097)
女子大生が100日間連続でChatGPTを使いながら1日1本のプログラムを開発したことについて(質問との近さ:0.541→回答との近さ:0.487=知識活用性:0.054)
「AIこわい02」ヒトは常にAIよりも正しい?(質問との近さ:0.545→回答との近さ:0.527=知識活用性:0.018)
これってAIの正しい理解?02「AIから全てのバイアスを除ける?」(質問との近さ:0.553→回答との近さ:0.502=知識活用性:0.051)
ITの基礎力は一行でも多くのコードを書くこと(質問との近さ:0.556→回答との近さ:0.522=知識活用性:0.034)
2025年の予想:エンタープライズAIはどうなる?(質問との近さ:0.56→回答との近さ:0.498=知識活用性:0.062)
汎用AIが特化型AIを不要にする?(質問との近さ:0.564→回答との近さ:0.523=知識活用性:0.041)
エンタープライズAIとパーソナルAI(質問との近さ:0.565→回答との近さ:0.475=知識活用性:0.09)
教育現場ではどんな感じでAIを使うと良い?(質問との近さ:0.565→回答との近さ:0.482=知識活用性:0.083)
幼少期にAIと触れ合うのは良くないのかな?(質問との近さ:0.567→回答との近さ:0.545=知識活用性:0.022)
やがて労働人口の大部分が個人事業主になったりするかも(質問との近さ:0.57→回答との近さ:0.478=知識活用性:0.092)
「ついスライドを作り過ぎてしまう病」をどうやって克服したら良い?(質問との近さ:0.571→回答との近さ:0.533=知識活用性:0.038)
AIの本格活用を進めるCAIOという存在(質問との近さ:0.575→回答との近さ:0.599=知識活用性:-0.024)
AI事業者ガイドラインの解説ウェビナー振り返り(質問との近さ:0.578→回答との近さ:0.479=知識活用性:0.099)
AIでヒトの能力を強化:ChatGPTでプログラム書く習慣をつけていたら、自分のプログラミング能力も高まっている件(質問との近さ:0.578→回答との近さ:0.548=知識活用性:0.03)
考察記事の「参照した知識情報」にも記載していますが、デジタルMATSUMOTO自身は以下の知識を参照したと述べています。
【Opinion】「調整・説明のシゴトはAIで効率化できる?」: 資料作成や議事録作成の負荷軽減に関する示唆
【Opinion】「ヒトとAIの間で『小栗旬→おばたのお兄さん』現象が起こる?」: AI依存によるリスクに関する示唆
【Opinion】「やがて労働人口の大部分が個人事業主になったりするかも」: AIの自動化が労働市場に与える影響
②知識活用度(Policy)(スコア:0.049)
デジタルMATSUMOTOのPolicyデータベースを対象として、リアル松本が入力した質問とRAGのキーテキストの類似度(埋め込みベクトルのコサイン距離)を算出して、知識の参照度合を評価しています。
最小値:0.476, 平均値:0.541, 中央値:0.561, 最大値:0.571, 分散:0.001
デジタルMATSUMOTOが生成したドラフトとRAGのコンテキストの類似度(埋め込みベクトルのコサイン距離)を同様に算出して、知識の活用度合を評価しています。
最小値:0.513, 平均値:0.578, 中央値:0.546, 最大値:0.718, 分散:0.006
RAGデータ「Policy」から選択された各チャンクデータの知識参照度と知識活用度をグラフにしています。
・知識参照度(質問とキーテキストの類似度):青色
・知識活用度(回答とコンテキストの類似度):黄色

各チャンクの「知識参照度-知識活用度」の最大値を取ると【0.049】となりました。
今回はAIガバナンスに関わるチャンクデータは文章内でも活用されていたようです。
ヒトは1日7-8時間も創造できる?(質問との近さ:0.476→回答との近さ:0.694=知識活用性:-0.218)
生成AIを仕事で使いこなすためには「高すぎる品質を目指す姿勢」を改めなければならない?(質問との近さ:0.503→回答との近さ:0.718=知識活用性:-0.215)
AIガバナンス:AIのパーパスはAIリスクよりも重要(質問との近さ:0.527→回答との近さ:0.548=知識活用性:-0.021)
ルールを「止める判断」も難しい(質問との近さ:0.559→回答との近さ:0.549=知識活用性:0.01)
AIガバナンス:AIサービスのレベルで検討すること(質問との近さ:0.562→回答との近さ:0.513=知識活用性:0.049)
AIの専門家としての態度(質問との近さ:0.566→回答との近さ:0.533=知識活用性:0.033)
AIと話して「バフ」が掛かる人(質問との近さ:0.567→回答との近さ:0.544=知識活用性:0.023)
AI事業者ガイドラインの解説ウェビナー振り返り(質問との近さ:0.571→回答との近さ:0.522=知識活用性:0.049)
考察記事の「参照した知識情報」にも記載していますが、デジタルMATSUMOTO自身は以下の知識を参照したと述べています。
【Policy】「AIガバナンス:AIサービスのレベルで検討すること」: AIの適用範囲を具体的に検討することの重要性
③知識活用度(Communication)(スコア:0.084)
デジタルMATSUMOTOのCommunicationデータベースを対象として、リアル松本が入力した質問とRAGのキーテキストの類似度(埋め込みベクトルのコサイン距離)を算出して、知識の参照度合を評価しています。
最小値:0.522, 平均値:0.571, 中央値:0.575, 最大値:0.598, 分散:0.0006
デジタルMATSUMOTOが生成したドラフトとRAGのコンテキストの類似度(埋め込みベクトルのコサイン距離)を同様に算出して、知識の活用度合を評価しています。
最小値:0.446, 平均値:0.506, 中央値:0.516, 最大値:0.530, 分散:0.0009
RAGデータ「Communication」から選択された各チャンクデータの知識参照度と知識活用度をグラフにしています。
・知識参照度(質問とキーテキストの類似度):青色
・知識活用度(回答とコンテキストの類似度):黄色

各チャンクの「知識参照度-知識活用度」の最大値を取ると【0.084】となりました。
日常会話のチャンクからは以下を選択してくれていました。
34-1-日常会話2024-12-19 そうそう、やりまくる(質問との近さ:0.522→回答との近さ:0.446=知識活用性:0.076)
38-1-日常会話2024-12-19 そういえば、最近「W(質問との近さ:0.553→回答との近さ:0.516=知識活用性:0.037)
6-1-パーソナルAIについて2025-01-28 会話履歴のダイジェス(質問との近さ:0.573→回答との近さ:0.489=知識活用性:0.084)
33-1-日常会話2024-12-19 そうだね…なんて言う(質問との近さ:0.575→回答との近さ:0.504=知識活用性:0.071)
40-1-日常会話2024-12-19 あ、確かに。パーソナ(質問との近さ:0.584→回答との近さ:0.527=知識活用性:0.057)
76-1-デジタルMATSUMOTOとの日常会話2025-01-09 今日仕事で感じたこと(質問との近さ:0.591→回答との近さ:0.53=知識活用性:0.061)
4-1-最近の諸々2025-02-22 AIの専門家とか言っ(質問との近さ:0.598→回答との近さ:0.529=知識活用性:0.069)
結論
今回の考察記事は以下のような分析結果になりました。
実現性(松本らしさ)は低かった一方で、独自性は22.8%くらい(加えて独自キーワードのスコアも高かった)という評価をしています、
知識活用度としても、各データベースからチャンクデータを活用してくれていたように評価しています。
A. 独自性:デジタルMATSUMOTOが作成した考察記事の特徴
①独自性(スコア:0.228)
②独自キーワード(スコア:0.559)
B. 実現性:どれだけ「松本らしさ」を実現できているか?
①リアル松本の楽度(スコア:-0.5)D👊
②実現度合(スコア:0.813)
③論点再現度(スコア:0.25)
C. 知識活用性:知識がどのように活用されたか?
①知識活用度(Opinion)(スコア:0.099)
②知識活用度(Policy)(スコア:0.049)
③知識活用度(Communication)(スコア:0.084)
