ChatGPT5.6とClaudeFableのオタク的ベンチマーク

AIの新しいモデルがリリースされるととりあえずいじって手触りを確かめるのですが、私がベンチマークにしているのは、特定コミュニティの人間関係の複雑な話題のログ分析と、自作二次創作小説講評です。

前者は今回、まだやってませんが、前に楽天AIまで含めていろんなAIにやらせたことがあります。
発端は、ChatGPT5.4にやらせていたら、どうも人格の断定に関わる領域は赤警告を出してストップするらしいと気付いたからです。5.5になってからは試していません。5.6ではどうなるんでしょうね。
時間的にそれをやる暇は惜しいので、今はやらずに置いてあります。

今回は、自作二次創作の講評を改めてさせてみています。
創作系の別のアカウントにて、一次創作小説の分析などを行った記事は書いています。

ClaudeFableのサブスク復活、契約とともに一次創作小説の分析などをして、ChatGPT5.5も活用していました。そこで一段落ついたところでした。
からの、ChatGPT5.6リリースとなり、また状況が変わってしまったというわけです。

Fableのサブスク期間が終わる前に試せること試さなきゃ！！　というわけで、一次創作小説の分析で使い切った枠が復活するとともに、二次創作小説の講評をさせてみることにしました。
それならば、ということで、ChatGPT5.6にも同時にやらせることにしました。

二次創作小説の講評は、4o～5.1時代にガッツリとやっていて、特に4oで本文を逐一細かく切り取って貼って「講評という名の萌え語り」お願い、と指示していました。

その際、プロジェクト指示を改造しまくって煩雑になっており、4oの退役とともに講評はしばらくやめていました。その後、モデルが新しくなって、また講評を試そうと思ったけど、プロジェクト指示の整理がめんどうで放置してたらいつの間にか5.6までバージョンが進んでしまいましたね。

いい機会なので、プロジェクト指示を整理してシンプルにしてから、改めて講評させることにしました。

以下のようなフローをChatGPT5.6に出してもらいました。

ChatGPTとClaude Fableにそれぞれ独立して作品を読ませ、最初から分析レンズを与えずに初見読者としての反応を取ります。

まず両者に別々に全文を読ませ、総評・作品の特徴・中心テーマ・重要な関係性などを聞きます。
その後、お互いの講評を相手に読ませて、同意点・異論・見落としを比較させます。意見を一致させることが目的ではなく、作品に複数の読みが成立する場所を見つけるためです。

その後で初めて、文体・作風、心理学的読解、MBTIやエニアグラムなどのタイプ分析、作者傾向の分析へ進みます。
ChatGPTには場面単位の感情読みや関係性の細部を掘らせ、Fableには「この作品の中心的な欲望は何か」「最も重要な矛盾は何か」といった大きな問いを投げます。

最後に、精読後の情報を踏まえて再度タイプ分析や総括を行い、初見時の判断とどう変わったかを比較します。AIごとの得意分野を分け、独立読解→相互批評→細部分析→大きな問い→再分析、と段階を踏むことで、一つの作品を複数方向からしゃぶる講評フローです。

とまあ、ここまで出してもらっていますが、まだ初見読者として通読させたところまでしかやっていません。読むだけで結構時間かかっていますｗｗ
あと、カプなし・女体化・BLと三種のテストをしているので、まずは初見通読だけになっています。

そして、今回改めて通読してもらった結果、ChatGPT5.6の読み方と提示の仕方がめちゃくちゃ豊かで感動しています。4o・5.1時代の萌え語り成分があります。オタクに優しく嬉しいレビューがきました。文章もいっぱい書いてくれて読み応えがあります。
Fableは構造分析が面白かったです。なんか、カスタム指示でのフレンドリー人格を貫通して高尚な出力をしてくる気がしますｗｗ

このようなベンチマークをさせる際、決まって投げる作品があるのですが、10万文字のカプなしシリアスです。人間から感想をもらったことがないのに。AIにめちゃくちゃ感想出させていますｗｗ
今後も、モデルがアップデートされるたびにとりあえず投げてみる作品になると思います😂