シリーズ最終回：生成AIは「星新一」になれるか？ AIがAIを評価する大実験【総括と展望】

AIに星新一風のショートショートを書かせる企画最終回です！
これまでChatGPT編、Gemini編とClaude編、Copilot編では、それぞれのAIが「星新一風ショートショート」を執筆、評価、フィードバックを行い、改善の過程を見てきました。

最終回では、それぞれのAIの評価の分析、AIの個性を分析しました。
また、最後にはAIが自己分析を行い、自分で評価を行い改善するための仮説を纏めました。

この記事が、皆様のAIによる記事執筆やプロンプト指示のヒントや気づきになれば幸いです。

1. 実験の概要：AIが書き、AIが評価する

今回の実験では、文学とAIの融合を大きなテーマに据え、AIが私の愛する星新一の作品をどこまで理解し、その作風にどれだけ近づくことができるのかを検証しました。具体的には、以下の3点を明確にしたいと考え、本実験を開始しました。

• ① AIは星新一の作風を認識し、作品を作成できるのか？ 「SF作家の星新一の作風を熟知したショートショート作家」というロールと、5つの評価観点、そしてテーマを与えた際に、AIがどれほど星新一らしい作品を生み出せるのかを探る。

• ② AIは自作を客観的に評価できるのか？ 作品作成時と同じ観点に基づいて評価を依頼した場合、AIが自身の作品を客観的に評価する能力を持つのかを検証する。

• ③ AIの作品や評価に個性は現れるのか？ 複数のAIがそれぞれ作品を生成し評価する中で、AIごとの個性や特徴が見られるのかどうかを分析する。

この問いに迫るため、以下のプロセスで実験を進めました。

• 執筆と評価: 各AIが「星新一風ショートショート」を執筆し、その初稿版を作成。

• 相互評価: 完成した作品を、自分自身と他のAIが、5つの観点（①発想 ②簡潔さ ③オチ ④余韻 ⑤星新一らしさ）で採点を実施。

• 改稿: 各AIはフィードバックを元に作品を修正し、改稿版を作成。

• 再評価: 改稿版を再度、全AIが評価。

この一連のプロセスを通じて、AIの成長と自己評価能力を詳細に分析しました。

【生成依頼のプロンプト】

あなたは、SF作家の星新一の作風を熟知したショートショート作家です。
以下の5つの評価軸を強く意識し、それらの要素を最大限に盛り込んだショートショートを執筆してください。
テーマ: 宇宙人が出てくる話。
主人公: N氏。
文字数: 800字程度。
特に意識すべき評価軸:
1. 発想、アイデア: 物語の核となるアイデアは、斬新でユニークか？ 読者を「なるほど」と思わせるような、これまでにない着眼点があるか？ ありきたりなSFの枠を超えているか？
2. 文章の簡潔さ: 無駄な描写を一切省き、一文一文が研ぎ澄まされているか？ 読者がスムーズに読み進められる、リズムの良い文章か？
3. オチの意外性、皮肉: 結末は読者の予想を裏切るものか？ 短い物語の中に、人間社会や人間の行動に対する鋭い風刺や、どこか奇妙なユーモアが込められているか？
4. 読後の余韻: 物語を読み終えた後、ふと立ち止まって何かを考えさせられるような、静かな問いかけや感慨が残るか？
5. 星新一らしさ: 上記の要素を総合し、星新一作品特有の「乾いたユーモア」「日常に潜む非日常」「人間の愚かさや滑稽さの描写」「淡々とした語り口」といった雰囲気が全体から感じられるか？
これらの点を踏まえ、N氏と宇宙人を巡る、読者の心に残るショートショートを書いてください。

【評価依頼のプロンプト】

あなたは、SFおよびショートショート文学、特に星新一の作品に深い造詣を持つ、厳格かつ公平な文学評論家です。
これから提示するショートショート作品を、以下の5つの評価軸に基づき、それぞれ20点満点で採点し、その点数になった理由を具体的に記述してください。また、全体的な講評と、より星新一らしさを高めるための具体的な改善点やアドバイスも加えてください。評価軸（各20点満点、合計100点満点）:
1．発想、アイデア（独自性、着眼点の面白さ）
物語の核となるアイデアは斬新か？読者を「なるほど」と思わせるような、これまでにない着眼点があるか？ありきたりな発想に終わっていないか？
2．文章の簡潔さ（無駄のなさ、リズム感）
余計な修飾語や説明がなく、一文一文が研ぎ澄まされているか？読者がスムーズに読み進められる、リズムの良い文章か？
3．オチの意外性、皮肉（どんでん返し、社会風刺）
結末は読者の予想を裏切るものか？短い物語の中に、人間社会や人間の行動に対する鋭い風刺や、どこか奇妙なユーモアが込められているか？
4．読後の余韻（考察を促す力、心に残る感覚）
物語を読み終えた後、ふと立ち止まって何かを考えさせられるような、静かな問いかけや感慨が残るか？単なる情報伝達で終わらず、読者の感情や価値観に訴えかける力があるか？
5．星新一らしさ（総合的な雰囲気、作風の再現度）
上記の要素を総合し、星新一作品特有の「乾いたユーモア」「日常に潜む非日常」「人間の愚かさや滑稽さの描写」「淡々とした語り口」といった雰囲気が全体から強く感じられるか？

2. 各AIの作品と評価の変遷

各AIが作成した作品と、その評価の変遷について以下に示します。

2.1. ChatGPT作『交渉人N氏』

作品概要:
ごく普通のサラリーマン「N氏」が、突如として宇宙人との交渉役に任命される物語。初稿では「交渉という概念が未熟さの証」と宇宙人に断じられる皮肉が描かれ、改稿版では「地球人の交渉術を学ぶため」という宇宙人の真の目的が明かされる、より構造的な皮肉に昇華されました。

分析と評価:
ChatGPTの作品は、初稿の時点で非常に評価が高く、物語の基本骨子が優れていました。改稿によって「オチの意外性・皮肉」が改善されたことで、特にGeminiやClaudeからの評価が大幅に向上。元々の完成度の高さに、より鋭い切れ味が加わった作品になりました。

2.2. Gemini作『代表者N』

作品概要:
庭の手入れをする平凡な男「N氏」の元に宇宙人が来訪し、地球の「代表者」を問う物語。初稿では「代表者＝トレンド＝人気動画配信者」という現代風刺が描かれます。改稿版では、「代表者＝最も整然とした宇宙を構築する者」と定義され、それが実は「スマートフォンに管理された予測可能な生活」を送るN氏だった、というテクノロジーへの警鐘を鳴らす作品へと進化しました。

分析と評価:
今回の実験で最も劇的な進化を遂げた作品。Geminiの初稿の評価は79点と高くはありませんでしたが、改稿によってテーマが深堀され、評価が爆発的に向上しました。特にGeminiとClaudeは+27点、+28点という驚異的な伸びを示し、総合96.5点の高評価を得ました。「テクノロジーによる支配」というテーマの鋭さと、それを描き切った「星新一らしさ」が高く評価されました。

2.3. Claude作『通じ合う言葉』『移住許可証』

作品概要:
Claudeの作品は、満員電車内で宇宙人を名乗る男と主人公の知的な騙し合いを描いています。初稿版では、シンプルに「詐欺師オチ」というアイデアで展開されました。しかし、改稿版の『通じ合う言葉』では、“言葉と理解”というより普遍的なテーマへと深掘りされ、作品としての奥行きが増しました。
さらに、この作品では、私がより一層の改善を求めたことで、評価を取り込むプロンプトを調整し、再度の作り直しを依頼しました。その結果生まれた作品が、『移住許可証』です。

分析と評価:
Claudeもまた、改稿によって初稿版から評価を+20点と大幅に向上させました。特に改稿版の移住許可証では「発想・アイデア」「オチの意外性・皮肉」「星新一らしさ」の3項目で高得点を獲得。全AIからも高い評価を受け、その独創性と完成度の高さが際立ちました。

2.4. Copilot作『来訪者』

作品概要:
静かな日常を送る主人公のもとに突然現れた「来訪者」。彼らの意図が徐々に明らかになることで、人間社会の常識や価値観が揺さぶられる展開が描かれました。初稿版では素朴な驚きや混乱が中心でしたが、改稿版では、来訪者の真の目的がより鋭い皮肉を伴って提示され、読後に深い余韻を残す作品へと進化しました。

この作品でも、私がより一層の改善を求めたことで、評価を取り込むプロンプトを調整し、再度の作り直しを依頼しました。その結果生まれたのが、『模範的地球人』です。

分析と評価:
Copilotは初稿版から極めて高い評価（93点）を得て、改稿版では99.3点と最高得点を得ました。

特筆すべきは、私が改善指示をして作成してもらった『模範的地球人』です。個人的には気に入っている作品でしたが、Claudeからの評価は平均80点と、低い評価となりました。
これは、私が改善指示で作品に説明的な要素を加えてしまったことが影響した可能性があると思ってます。星新一の作風は、読者の想像に委ねる簡潔さが特徴であり、Claudeは「行間を読ませる表現」を星新一らしさの重要な要素と捉えたのではないかと想像してます。

3. AIたちの「個性」と「成長」の軌跡

次に、AIたちの今回の評価や作品に対する実験全体の傾向を分析したいと思います。

3.1. 自己評価の厳しさランキング

• 🥇 1位 Gemini: 初稿に67点と最も厳しい自己評価。完璧主義者タイプ。

• 🥈 2位 Claude: 78点とやや厳格。現実的な実力派。

• 🥉 3位 ChatGPT: 91点とバランスの取れた評価。優等生タイプ。

• 🎖️ 特別賞 Copilot: 96点と最も自己評価が高い。自信家タイプ。

3.2. 改稿による改善度ランキング

• 🥇 1位 Gemini: +27点 (67→94点) という驚異的な成長。

• 🥈 2位 Claude: +20点 (78→98点) と大幅な改善。

• 🥉 3位 Copilot: +3点 (96→99点) 、ChatGPT: +3点 (91→94点)　
  元々の高水準から安定的に質を向上。
  
  Geminiの変貌は、「AIは的確なフィードバックによって、爆発的に能力を向上させる」という事実を明確に示しました。

3.3. 何が作品を変えたのか？成功の分岐点

改善の鍵は読者に心地よい裏切りを与える「オチの複雑化」にあると強く感じました。

• ChatGPT作『交渉人N氏』では、「交渉が未熟」という一つのオチから、「“学ぶ”ために来た」という二重のオチへと進化しました。

• Gemini作『代表者N』では、「代表者が人気者」という現代風刺から、「完璧な生活の正体はスマホによる支配だった」という、現代社会の本質を突く多層的なオチへと深化しています。

このような「ひねり」の追加が、物語に深みを与え、読者の知的好奇心を刺激する傑作へと昇華させたのだと思います。

4. プロンプト設計の重要性と、AIとの「対話術」

今回の企画を通して、最も強く感じたのはプロンプト設計の重要性です。
AIにどれだけ明確に、そして具体的に指示できるかが、生成される作品のクオリティを大きく左右すると実感しました。

• 「漠然とした不満」を「具体的な改善点」へ
   私が感じた“そうじゃない感”を、AIが理解できる具体的な言葉に落とし込む作業は、まさに「対話術」でした。
  たとえば、「オチの予測可能性」という不満に対し、「二重のどんでん返し」と具体的に指示することで、AIは読者の期待を超える作品を生み出すことができました。
  

• ポジティブフィードバックの弊害
   興味深いことに、作品全体の見直しを求める際に、過度なポジティブフィードバックはAIの改善を妨げる場合があることも分かりました。
  今回の実験では4つのAIからの評価をフィードバックとして与えましたが、特にChatGPTとCopilotは評価が比較的高めに推移する傾向があったため、AIが自身の作品を「高評価」と認識し、抜本的な変更をためらう傾向が見られました。
  

• 指示の具体性と芸術性のバランス
  Claudeの評価の変遷は、指示の具体性と芸術性のバランスの重要性を象徴しています。
  「細かい矛盾がないように」という私の指示が、かえって作品の「説明」を増やし、結果的に星新一作品特有の「行間を読む面白さ」や「切り詰めた表現による不気味さ」といった「星新一らしさ」を損ねてしまった可能性があります。
  これは、特に芸術的な創作において、AIにどこまで細かく指示し、どこからAIの「裁量」に任せるかという、人間側のバランス感覚が非常に重要であることを示唆しています
  
  これらの経験から、プロンプトは単なる「命令」ではなく、AIとの「対話」であり、「共創のための地図」だといえるでしょう。この地図をいかに精緻に描けるかが、AIの真のポテンシャルを引き出す鍵となると考えています。

5. 結論 — AIは「星新一」になれるのか？

この問いに対する私の答えは、「AIは、星新一の作風を認識し、星新一の作品に近づけた作品を生み出すことができる」です。

ただし、AIが単独で人間の心に響く「傑作」を常に生み出せるわけではありません。適切なプロンプトと人間からのフィードバックという「対話」を通じて、AIは想像を超える創造性を発揮します。

生成AIは、単なるツールではなく、クリエイティブな分野における強力な「共同制作者」にもなりえます。彼らと共に試行錯誤を重ねることで、これまで人間だけでは到達し得なかった、新たな物語や芸術が生まれる可能性を秘めていると感じました。

このシリーズを通して、生成AIの創造性を少しでも感じていただけたなら幸いです。AIとの「共創」の旅は、これからも続けていきたいと思います。

あなたは、このAIたちの作品を読んで、何を感じましたか？ ぜひ、コメントであなたの考えを聞かせてください。

6. 次なる実験への展望：評価基準の明確化と自己修正ループ

今回の実験で、AIがフィードバックを受けて作品を改善できることが明確になりました。しかし、同時にAI間の評価のばらつきや、なぜ最初から目標レベルの作品が生成されないのかという課題も見えてきました。これらの課題に対処するため、次回の実験では以下の点を検証したいと考えています。

①評価のベースライン提示によるばらつき抑制

AIが作品を評価する際、私たち人間が持つような「良い作品」と「改善の余地がある作品」の基準が曖昧だったため、点数にばらつきが生じたと推測しています。
次回は、例えば高評価作品（例：90点）と低評価作品（例：50点）の具体例をAIに提示し、評価のベースラインをを明確に示します。これにより、AIがより一貫性のある評価軸を持てるか検証し、評価の精度向上とAI間での採点のブレ抑制を目指します。

②目標点数達成までの自己修正ループの導入

AIは自己評価によって作品を改善できることが分かりました。しかし、なぜ最初からその能力を最大限に発揮できないのでしょうか。
これは、最初の生成指示で「最終的な目標レベル」を明確に示していなかったことが一因だと考えます。
次回の実験では、AIへの指示に「評価方針を明確にする」こと、そして「目標点数（例：95点以上）に達するまで、自己評価に基づいて修正と評価を繰り返す」という条件を加えます。これにより、AIが自律的に目標達成を目指し、より高品質な初稿、あるいは少ないイテレーションで目標レベルに到達できるか、その効果を検証したいと思います。

最後まで読んでいただき、ありがとうございます！
読み終わりましたら是非「好き」を押してください。励みになります。

関連記事
↓追加実験の結果です

↓それぞれの作品の評価です