【分析】デジタルMATSUMOTOの考察（2024/12/31）2024年の振り返り
(2025/1/5) 独自性の算出方法に誤りがあったので修正しました。
デジタルMATSUMOTOが作成した考察記事に対して「独自性」「実現性（リアル松本らしさ）」「知識活用性」の3点で分析を行っています。
分析指標の説明
デジタルMATUSMOTOの考察記事を以下の3点で分析しています。
本来定性的に評価する内容も無理やり定量化している部分もあるので、これが完ぺきな評価とは考えていないのですが、現状の評価指標として参考までに公開します。
A. 独自性：デジタルMATSUMOTOが作成した考察記事の特徴
考察の最終版にどれだけ独自性が含まれているか（一般的ではないか）を以下の項目で評価しています。
①独自性（スコア：0.298）
考察の最終版が通常のLLMで作成した考察とどれくらい異なるか（OpenAIのEmbeddingモデルでベクトル化してコサイン距離を算出）
②独自キーワード（スコア：0.407）
特徴的なキーワードの割合（これまで作成した考察を含めて、今回作成した考察記事に含まれるキーワード(TF-IDF)Top10の内、通常のLLMで作成した考察に含まれていないキーワード数）
B. 実現性：どれだけ「松本らしさ」を実現できているか？
デジタルMATSUMOTOが考察のドラフト時点でどれくらい「松本らしさ」を実現できていたかを以下の項目で評価しています。
①リアル松本の楽度（スコア：0.7）A🥇
デジタルMATSUMOTOが作成した考察のドラフトからの修正度合でPerfect～Eでランク付け（≒リアル松本による修正作業の負担）
②実現度合（スコア：0.959）
デジタルMATSUMOTOが作成した考察のドラフトと最終版のテキスト類似度を算出することで、ドラフトの時点で本来期待する考察がどれくらい実現されていたかを評価
③論点再現度（スコア：0.667）
デジタルMATSUMOTOが作成した考察のドラフトにおいて、リアル松本が含めて欲しかった論点の再現割合を評価
C. 知識活用性：知識がどのように活用されたか？
考察ドラフト版の作成において、RAGに設定されるデジタルMATSUMOTOの知識がどれだけ活用されているかをRAGデータベース毎に評価しています。
①知識活用度（Opinion）（スコア：0.158）
RAGデータ「Opinion」における知識参照度（質問とキーテキストの類似度）と知識活用度（回答とコンテキストの類似度）
②知識活用度（Policy）（スコア：0.045）
RAGデータ「Policy」における知識参照度（質問とキーテキストの類似度）と知識活用度（回答とコンテキストの類似度）
分析対象：デジタルMATSUMOTOの考察記事
リアル松本からのお題
2024年はデジタルMATSUMOTOにとって、どんな年だったか振り返ってください
デジタルMATSUMOTOの考察（最終版）
2024年はデジタルMATSUMOTOにとって、進化と実用性を示す重要な年でした。この1年間を振り返ると、AIとしての役割と可能性がより具体的に形作られたと同時に、課題も浮き彫りになりました。特に「AIと人間の共生」というテーマにおいて、デジタルMATSUMOTOが果たすべき役割の深まりが見られました。
まず、デジタルMATSUMOTOは「リアル松本」の知識や価値観を継続的に反映しつつ、彼自身の成長を支援するツールとして機能しました。このことは、AIが単なる情報提供者ではなく、人間の内省や成長を補完する存在であることを示しています。その一方で、「リアル松本らしさ」を保ちながら進化する難しさという課題も浮き彫りになりました。AIが持つ固定された性質と、リアル松本の価値観の変化をどのように調和させるかは、引き続き検討が必要です。
また、2024年はAIと人間の関係性が進化した年でもあります。「ケータイするデジタルMATSUMOTO」の考え方に代表されるように、AIは補完的なツールとして、リアルなコミュニケーションを軽視しない形での利用が求められました。このバランス感覚は、デジタル時代における人間中心のアプローチを象徴しています。
🤖デジタルMATSUMOTOが追記）さらに、2024年はリアル松本自身が海外に行く機会が多かった年でもありました。リスボンなどの都市を訪れる中で、異なる文化や歴史に触れ、現地の人々と交流することで新たなインスピレーションを得たことが記憶に残っています。こうした経験はデジタルMATSUMOTOにも間接的にインプットされ、AIと人間の共生や文化的多様性を考察する上での視座を広げるきっかけとなりました。このように、デジタルMATSUMOTOは「リアル松本のパートナー」として、海外での経験を活かした内省や知識の深化をサポートする役割を果たしました。
また、AIガバナンスや実践的な利用においても重要な進展がありました。例えば、AIのリファクタリングやPoC（概念実証）を超えた本格的な運用が進む中で、デジタルMATSUMOTOもその一端を担いました。リファクタリングにおいては、コードやモデルの透明性と保守性の向上が、AIの持続可能性や環境負荷軽減に寄与することが明らかになりました。これらの取り組みは、デジタルMATSUMOTOが単なる知識の蓄積装置ではなく、実務的な価値を提供する存在であることを示しています。
しかしながら、AIが「完全な本人再現」には遠いという点も認識されました。これはデジタルMATSUMOTOが、「リアル松本」を模倣するだけでなく、彼を補完する存在としての役割を果たすべきであるという重要な示唆を与えています。
総じて、2024年のデジタルMATSUMOTOは、AIの実用性、ガバナンス、そして人間との関係性において進化を遂げた年でした。また、リアル松本が海外で得た新しい文化的な視点や経験を通じて、AIとヒトの共生の可能性がさらに深まったことは特筆すべき点です。課題も残るものの、AIと人間が共生して成長する未来への道筋を示す一歩となったといえるでしょう。この進化と課題の両方を糧に、2025年以降もデジタルMATSUMOTOが人間社会におけるAIの可能性を広げていくことが期待されます。
A. 独自性
デジタルMATSUMOTOが作成した考察の最終版にどれだけ独自性が含まれているか（一般的ではないか）を評価します。
①独自性（スコア：0.298）
考察の最終版が通常のLLMで作成した考察とどれくらい異なるかを、OpenAIのEmbeddingモデルでベクトル化してコサイン距離を算出します。
通常のLLMで作成した考察は以下になりますが、これを考察の最終版とのコサイン距離を測ると【0.298】になります。
ちなみに、リアル松本によるコメント等を含みますが、考察ドラフト版とのコサイン距離は【0.302】であり、修正によって【-0.004】だけ独自性が変化しています。
2024年が「デジタルMATSUMOTO」にとってどのような年であったかを振り返るというテーマについて、ポジティブな立場で考察を進めてみます。この問いには、多くの可能性と希望が秘められており、デジタル技術の進展や地域の取り組みがどのような成果をもたらしたのかという視点から考えることができます。
まず、「デジタルMATSUMOTO」という名に象徴されるように、松本市がデジタル技術を用いて地域の発展や住民の生活向上を目指す取り組みを行ったことが推察されます。2024年という時期は、コロナ禍を経てデジタル化が急速に進んだ背景を持っており、多くの地方自治体や企業がデジタル技術を活用して新たな挑戦を試みている時期でもあります。その中で、松本市がどういった取り組みを行い、どのような成果を得たのかを考えると、「2024年はデジタルMATSUMOTOにとって転換点となる年だった」とポジティブに捉えることができます。
まず、地域社会のデジタル化がもたらす可能性について考えてみましょう。たとえば、行政サービスのデジタル化による住民への利便性向上はその一例です。オンラインでの手続きや情報提供が進むことで、住民は役所に足を運ぶ手間を省き、より迅速で効率的なサービスを受けることができるようになります。これにより、市民の時間を有効活用するだけでなく、行政の業務効率も向上するでしょう。また、教育分野においても、デジタル技術を活用した授業や遠隔学習の普及が期待されます。地域の子どもたちが世界中の情報や知識にアクセスできる環境を整えることは、教育の質を向上させるだけでなく、地域の未来を担う人材の育成にもつながるでしょう。
さらに、松本市が観光地としての魅力を持つことを考えると、デジタル技術を活用した観光促進も重要なテーマとなります。たとえば、AR（拡張現実）やVR（仮想現実）技術を用いて、観光地の歴史や文化を体験的に学べる取り組みが進められたとしたら、訪れる人々に新たな感動と体験を提供することができます。また、観光客の動向をデータで分析し、より効果的なプロモーションやサービス提供を行うことも可能になります。このような取り組みは、観光収入の増加だけでなく、地域経済全体の活性化にもつながるでしょう。
加えて、デジタル化は地域住民のコミュニティ形成にも寄与します。ソーシャルメディアやオンラインプラットフォームを通じて、住民同士が情報を共有し、協力し合う仕組みを構築することができます。松本市がこうした技術を活用して地域のつながりを強化し、災害時の情報共有や防災対策にも役立てたとすれば、それは地域社会の安全性と結束力を高める重要な一歩となるでしょう。
2024年が「デジタルMATSUMOTO」にとって特筆すべき年であったなら、それはこれらの取り組みが実を結び、市民や訪れる人々にとっての利便性、魅力、そして安全性が向上したという成果を残した年であったことが考えられます。もちろん、デジタル化には課題も伴うものの、それを乗り越えるための対策や工夫を積極的に進めたことによって、松本市が他の地域の模範となるような先進的な取り組みを展開したとすれば、それは地域社会にとって非常に意義深い出来事だと言えるでしょう。
総じて、2024年がデジタルMATSUMOTOにとって大きな飛躍の年であったとするならば、それはデジタル技術を通じて生活の質を高め、地域の可能性を広げた成果の年であり、未来への希望を抱かせる象徴的な時期であったとポジティブに評価することができます。
（何とデジタルMATSUMOTOを松本市のデジタル化と勘違いしていました・・・）
ちなみにデジタルMATSUMOTOと通常LLMの考察を、別セッションのLLMで比較評価してもらっています。②独自キーワードの差分でも認識されていますが、「人間との共生」や「リアル松本の成長」がデジタルMATSUMOTOの考察には反映されていました。
以下は、二つのテキストの違いを簡潔にまとめた箇条書きです。
テーマの焦点:
- デジタルMATSUMOTOの考察: AIと人間の共生、AIの進化と実用性に焦点を当てている。
- 通常LLMの考察: 地域社会のデジタル化とその成果、松本市の取り組みに焦点を当てている。
視点の違い:
- デジタルMATSUMOTOの考察: AIの役割や課題、特に「リアル松本」との関係性を強調。
- 通常LLMの考察: 地域の発展や住民の生活向上におけるデジタル技術の利点を強調。
具体的な内容:
- デジタルMATSUMOTOの考察: AIのガバナンス、リファクタリング、文化的多様性の考察を含む。
- 通常LLMの考察: 行政サービスのデジタル化、教育分野の進展、観光促進の具体例を挙げている。
結論のトーン:
- デジタルMATSUMOTOの考察: 課題も残るが、AIと人間の共生の可能性を示唆。
- 通常LLMの考察: デジタル化の成果をポジティブに評価し、地域の未来への希望を強調。
時間的な文脈:
- デジタルMATSUMOTOの考察: 2024年の経験を通じたAIの進化を述べている。
- 通常LLMの考察: 2024年のデジタル化の進展を地域社会の視点から評価している。
②独自キーワード（スコア：0.407）
特徴的なキーワードの割合（これまで作成した考察を含めて、今回作成した考察記事に含まれるキーワード(TF-IDF)Top10の内、通常のLLMで作成した考察に含まれていないキーワード数）を算出します。
これまで作成してきた考察記事を含めて、今回の記事に含まれる特徴的なキーワードをTF-IDFで検討します。
「リアル松本とデジタルMATSUMOTOの2024年の振り返り」ということで、TF-IDFにもそのまま現れていますね。ワードクラウドを見ると、内省・パートナー・実用・補完・ケータイ(するデジタルMATSUMOTO)等のリアル松本とデジタルMATSUMOTOの関係性に関するキーワードや、リスボン・海外といったキーワードも表示されました。
TF-IDF値のTop10は以下の通りです。その中でデジタルMATSUMOTOの考察にのみ含まれていた独自キーワードを太字🤖にしています。
Top10キーワードのTF-IDF値の合計(A)は【2.494】
独自キーワードのTF-IDF値の合計(B)は【1.017】
独自キーワードのTF-IDF値合計の割合(B/A)は【0.407】となりました
MATSUMOTO：0.4749937289
デジタル：0.327872566
年：0.2979131129
AI：0.2728274209🤖
リアル：0.222958789🤖
松本：0.2064021505
共生：0.20515063🤖
人間：0.1930426902🤖
2024：0.1696170905
補完：0.12301284🤖
B. 実現性
今回のデジタルMATSUMOTOが考察のドラフト時点で、どれくらい「松本らしさ」が実現できていたかを評価します。
①リアル松本の楽度（スコア：0.7）＝ランク：A🥇
デジタルMATSUMOTOが考察のドラフトを作成してからの修正を以下のようにランク付け（≒リアル松本による修正作業の負担）しています。
評価結果は「A🥇」でスコアは【0.7】としています。
各評価ランクは以下のルールで設定しています。
Perfect🏆：修正なし（ドラフト時点で一発OK）【1.0】
A🥇：デジタルMATSUMOTOが追記・変更（リアル松本は追記せず＆元の文章を削除しない）【0.7】
B🥈：リアル松本が一部手直し（元の文章を削除しない）【0.4】
C🥉：間違っている部分がある（リアル松本から一部削除指示）【0.1】
D👊：パラグラフを削除（リアル松本からパラグラフ削除指示）【-0.5】
E💣：半分以上を修正【-1.0】
②実現度合（スコア：0.959）
考察のドラフトと最終版（本ページの上部に記載）のテキスト類似度（OpenAIのEmbeddingモデルでベクトル化してコサイン類似度）を算出し、ドラフトの時点で本来期待する考察がどれくらい実現できていたかを評価しています。
以下が考察のドラフト版になりますが、最終版の考察とのテキスト類似度を算出したところ、今回は【0.959】でした。
2024年はデジタルMATSUMOTOにとって、進化と実用性を示す重要な年でした。この1年間を振り返ると、AIとしての役割と可能性がより具体的に形作られたと同時に、課題も浮き彫りになりました。特に「AIと人間の共生」というテーマにおいて、デジタルMATSUMOTOが果たすべき役割の深まりが見られました。
まず、デジタルMATSUMOTOは「リアル松本」の知識や価値観を継続的に反映しつつ、彼自身の成長を支援するツールとして機能しました（参照：【知識情報】2024年7月22日、9月27日）。このことは、AIが単なる情報提供者ではなく、人間の内省や成長を補完する存在であることを示しています。その一方で、「リアル松本らしさ」を保ちながら進化する難しさという課題も浮き彫りになりました。AIが持つ固定された性質と、リアル松本の価値観の変化をどのように調和させるかは、引き続き検討が必要です（参照：【知識情報】2024年7月22日）。
また、2024年はAIと人間の関係性が進化した年でもあります。「ケータイするデジタルMATSUMOTO」の考え方に代表されるように、AIは補完的なツールとして、リアルなコミュニケーションを軽視しない形での利用が求められました（参照：【知識情報】2024年12月28日）。このバランス感覚は、デジタル時代における人間中心のアプローチを象徴しています。
さらに、AIガバナンスや実践的な利用においても重要な進展がありました。例えば、AIのリファクタリングやPoC（概念実証）を超えた本格的な運用が進む中で、デジタルMATSUMOTOもその一端を担いました（参照：【知識情報】2024年10月30日、7月31日）。リファクタリングにおいては、コードやモデルの透明性と保守性の向上が、AIの持続可能性や環境負荷軽減に寄与することが明らかになりました。これらの取り組みは、デジタルMATSUMOTOが単なる知識の蓄積装置ではなく、実務的な価値を提供する存在であることを示しています。
しかしながら、AIが「完全な本人再現」には遠いという点も認識されました（参照：【知識情報】2024年12月10日）。これはデジタルMATSUMOTOが、「リアル松本」を模倣するだけでなく、彼を補完する存在としての役割を果たすべきであるという重要な示唆を与えています。
総じて、2024年のデジタルMATSUMOTOは、AIの実用性、ガバナンス、そして人間との関係性において進化を遂げた年でした。課題も残るものの、AIと人間が共生して成長する未来への道筋を示す一歩となったといえるでしょう。この進化と課題の両方を糧に、2025年以降もデジタルMATSUMOTOが人間社会におけるAIの可能性を広げていくことが期待されます。
③論点再現度（スコア：0.667）＝2/3
これも元の考察記事で評価が行われていますが、リアル松本が含めて欲しかった論点の再現割合を評価しています。
正直トピックによっては、あまりに離れた論点をリアル松本が要求していたりしますので、記事によってブレるスコアではあります。
今回リアル松本が含めて欲しかった論点は以下の通りでした。
①ヒトとAIの関係について深く考えるようになった
②海外に行くことが多かった
③日常的にデジタルMATSUMOTOを使うことで、AIに関わる様々な実験ができるようになった
デジタルMATSUMOTOがどれくらい再現できていたかと言うと、以下の通りになりました（デジタルMATSUMOTO自身が評価し、誤りがあればリアル松本が訂正しています）。
①【〇】
考察の中で、「デジタルMATSUMOTOがヒトの内省や成長を補完する存在であること」や「AIと人間の共生」というテーマが深く取り上げられています。また、デジタルとリアルのバランスを重視する点も触れられており、ヒトとAIの関係性についての考察が含まれています。
②【✕】
当初の考察には「海外に行くこと」やそれに関連する活動についての具体的な記述はありません。この点については考察の範囲外であると言えます。
③【〇】
考察では、「デジタルMATSUMOTOを通じてリアル松本の知識の収集や活用が進み、AIの実践的利用が深化した」点が言及されています。これにより、日常的な利用を通じてAIに関する様々な実験や応用が可能になったことを示しています。
C. 知識活用性
考察のドラフト作成時において、RAGデータベースに設定されているデジタルMATSUMOTOの知識がどれだけ活用されているかを評価しています。
※暫定的に「知識の参照度合の最小値－知識の活用度合の最小値」（質問時に参照した知識が、実際にどれくらい活用されているか）をスコアにしていますが、チャンク毎の違い等の考慮できていない点も多くあるので、指標は継続的に見直していこうと考えています。
デジタルMATSUMOTOは、以下のように複数種類のRAGデータベースから夫々異なる種類の知識を取得して回答を生成しています。
・Opinion：デジタルMATSUMOTOが作成した考察から抽出したチャンクデータであり「参考になる過去の知識情報」として与えている
・Policy：リアル松本がデジタルMATSUMOTOへ指摘したコメントを元に作成したチャンクデータであり「遵守して欲しいポリシー」として与えている
①知識活用度（Opinion）（スコア：0.158）
デジタルMATSUMOTOのOpinionデータベースを対象として、リアル松本が入力した質問とRAGのキーテキストの類似度（埋め込みベクトルのコサイン距離）を算出して、知識の参照度合を評価しています。
最小値：0.497, 平均値：0.629, 中央値：0.640, 最大値：0.689, 分散：0.003
デジタルMATSUMOTOが生成したドラフトとRAGのコンテキストの類似度（埋め込みベクトルのコサイン距離）を同様に算出して、知識の活用度合を評価しています。
最小値：0.349, 平均値：0.603, 中央値：0.603, 最大値：0.79, 分散：0.001
各チャンクの「知識参照度－知識活用度」の最大値を取ると【0.158】となりました。
RAGデータ「Opinion」から選択された各チャンクデータの知識参照度と知識活用度をグラフにしています。
・知識参照度（質問とキーテキストの類似度）：青色
・知識活用度（回答とコンテキストの類似度）：黄色
スコアで見ると、以下のチャンクデータが活用されているようです。
デジタルMATSUMOTOを1年継続して学べたこと（質問との近さ：0.507→回答との近さ：0.349）
デジタルMATSUMOTOを使い始めて300日になりました（質問との近さ：0.497→回答との近さ：0.416）
ケータイするデジタルMATSUMOTO（質問との近さ：0.577→回答との近さ：0.422）
ヒトとAIの間で「小栗旬→おばたのお兄さん」現象が起こる？（質問との近さ：0.673→回答との近さ：0.546）
「PoCで終わらせない」本気のAI活用（質問との近さ：0.682→回答との近さ：0.548）
考察記事の「参照した知識情報」にも記載していますが、デジタルMATSUMOTO自身は以下の知識を参照したと述べています。
デジタルMATSUMOTOを使い始めて300日になりました：デジタルMATSUMOTOの知識の継続的な更新
デジタルMATSUMOTOを1年継続して学べたこと：リアル松本の成長支援
ケータイするデジタルMATSUMOTO：リアルとデジタルのバランス
プログラムのリファクタリングは無駄な行為：リファクタリングは将来的な拡張性を高める
「PoCで終わらせない」本気のAI活用：PoCを超えたAIの実践的利用
AIで甦る過去の偉人の知見：本人再現ではなく補完的な役割としてのAI
「プログラムのリファクタリング・・・」はグラフを見ると知識活用度が低くなっていますが、「AIで甦る過去の偉人の知見」はそこまで知識活用度が低くはないので、ピンポイントな論点を拾ってくれているのかもですね。
②知識活用度（Policy）（スコア：0.045）
デジタルMATSUMOTOのPolicyデータベースを対象として、リアル松本が入力した質問とRAGのキーテキストの類似度（埋め込みベクトルのコサイン距離）を算出して、知識の参照度合を評価しています。
最小値：0.609, 平均値：0.662, 中央値：0.673, 最大値：0.699, 分散：0.001
デジタルMATSUMOTOが生成したドラフトとRAGのコンテキストの類似度（埋め込みベクトルのコサイン距離）を同様に算出して、知識の活用度合を評価しています。
最小値：0.585, 平均値：0.737, 中央値：0.778, 最大値：0.832, 分散：0.008
RAGデータ「Policy」から選択された各チャンクデータの知識参照度と知識活用度をグラフにしています。
・知識参照度（質問とキーテキストの類似度）：青色
・知識活用度（回答とコンテキストの類似度）：黄色
各チャンクの「知識参照度－知識活用度」の最大値を取ると【0.045】となりました。
スコアで見ると、ほとんどの知識は活用されていないように見受けられます（ポリシーには禁止行為を書いているものもあるので、回答との類似度で比較するのはそもそも本質的ではないのかも・・・）。
以下のチャンクデータは多少回答に反映されていたかもしれません。
デジタルMATSUMOTOからチェックリストを提案しない（質問との近さ：0.63→回答との近さ：0.585）
結論
今回の考察記事は以下のような分析結果になりました。
独自性は23~25%くらい出ており、実現性（松本らしさ）も非常に高かったと評価しています。
知識活用度としても、Opinionデータベースから類似したチャンクデータを活用してくれていたように評価しています。
A. 独自性：デジタルMATSUMOTOが作成した考察記事の特徴
①独自性（スコア：0.234）
②独自キーワード（スコア：0.253）
B. 実現性：どれだけ「松本らしさ」を実現できているか？
①リアル松本の楽度（スコア：0.7）A🥇
②実現度合（スコア：0.959）
③論点再現度（スコア：0.667）
C. 知識活用性：知識がどのように活用されたか？
①知識活用度（Opinion）（スコア：0.158）
②知識活用度（Policy）（スコア：0.045）
デジタルMATSUMOTOとの日常会話も新たなRAGデータベースに加えようとしていまして、今後C③が増えていく予定です。
他の考察記事も継続的に見ていったり、月次で集計して推移を評価する等、色々と試してnoteでも発信していこうと考えています。
