7つのオープンウェイトモデルに同じ記事を書かせてみた——ばらついたのはモデルの点数だけではなかった
TL;DR: 日本国内でホストされたオープンウェイトモデル7種に、同じ技術記事を独立に書かせてみた。3つの独立したAI審査員（ChatGPT・Gemini・Perplexity）が、固定ベースライン（=100点）に対して英語版・日本語版それぞれを別々に採点し、日本語ラウンドにはClaude系4モデル（Haiku 4.5・Sonnet 4.6・Opus 4.8・Fable 5）の草稿も参考として並べた。英語ラウンドではオープンウェイト7本のスコア幅がClaude系の参照点より広く、日本語ラウンドでは両グループの内部の幅はほぼ同じだった。ただしこの7本は、提供元・規模・設計思想がバラバラな寄せ集めであって、「オープンウェイトである」こと自体を切り分けるために揃えた集合ではない。つまりこの発見は、オープンウェイトという性質そのものについてよりも、この特定の寄せ集めについて多くを語っている。もう一つ別種のばらつきも見えた——ある1本の草稿では、3人の審査員全員が同じ事実誤りを検出したのに、総合点は45点から87点まで開いた。ただしこの42点差は1本の外れ値草稿によるもので、他の草稿の審査員間の開きはずっと小さかった。さらにもう一つ——元記事の「おおむね半分」という緩やかな近似が「半分未満」というより強く・誤った主張へ硬直化する現象が、22本の草稿のうち14本で起きており、この小さなサンプルの範囲では英語版より日本語版でやや多かった。これは1回限りの、統制されていない小さな実験であり、以下のすべてはオープンウェイトモデル全般・AI審査員全般・言語全般についての一般的な結論ではなく、この実験が示したことそのものとして読んでほしい。
きっかけ
日本国内でホストされたオープンウェイト推論プラットフォームが、OpenAI・Anthropic系モデルとのコスト・品質比較を求めるキャンペーンを行っていた。手元にはちょうど都合の良い実験環境があった。以前、価格帯の異なるClaude系4モデル——Haiku 4.5・Sonnet 4.6・Opus 4.8・Fable 5——にそれぞれ独立に同じ技術記事を書かせ、3人の外部AI審査員に固定ベースラインへの相対採点で匿名採点させたことがあった。同じブリーフを、このアカウントのAPIキーでアクセスできた7モデルすべてに——差が出そうなものだけを選んだわけではなく——そのまま流用した。
対象の7モデルについて、価格（100万トークンあたりUSD、入力／出力）、提供元、実際にかかった英語・日本語の執筆コストを下の図にまとめた。
英語版7本・日本語版7本、合わせて14本の草稿にかかった合計コストは**$0.1478**——日本円にして20円ほどだった。コストは以下の3つの発見の主眼ではなく、実験全体の規模感を示すために載せている。片手落ちになりかねない点を正直に書いておく——Claude系4モデルの執筆1回あたりのコストは、これと並べて比較できる形では手元にない。Claude系はClaude Codeのエージェントセッションとして実行しており、単発API呼び出しではなかったため、この執筆パス自体のトークン使用量を当時記録していなかった。したがってこの図はオープンウェイト側のコストのみを示すものであり、両者の直接比較ではない。
以下すべての比較に関わる前提として、はっきり書いておく。この7モデルは提供元・パラメータ規模・設計思想がバラバラで、選定基準は「そのプラットフォームで使えたから」であって、差が出そうな組み合わせを狙ったものではない。一方、比較対象のClaude系4本は1つのベンダーの一貫したラインナップだ。オープンウェイト7本のスコアに幅が出るとして、それが「オープンウェイトである」という性質によるものなのか、単に性質の異なるモデルを寄せ集めたことによるものなのかを、この実験構成では切り分けられない。以下の発見は、その前提を踏まえて読んでほしい。
手法：匿名ラベル、同一ブリーフ、3人の独立審査員、2つの別ラウンド
3人の審査員はChatGPT・Gemini・Perplexityで、どのモデルの草稿かを一切開示せず独立に採点した。ここで名前を出すのは、「AI審査員」とだけ書くと避けて通れない疑問が残るからだ——審査員が、自分と同じベンダーの草稿に対して無意識に有利な採点をする可能性はないか。このデータだけでは、それを肯定も否定もできない（後述の「測っていないもの」を参照）。
各モデルには同じブリーフを渡し、他モデルの出力を一切見せずに英語草稿を独立に1本ずつ書かせた。7本の草稿は内部で匿名化し、固定ベースライン（=100点）と、以前採点済みのClaude系英語草稿4本を添えて、3人の審査員に送った。そのうえで、同じ7モデルに日本語版も書かせ、別の独立したラウンドとして2回目の採点を行った。今回は7項目目として「日本語の自然さ」を加え、Claude系4モデルの日本語版はこれまで一度も外部採点されていなかったため、それも合わせて11本を同じ日本語スケールで採点した。英語ラウンドと日本語ラウンドは評価項目数が異なり、別々の採点セッションであって、単一スコアではない——以下の比較は常にそれぞれのラウンド内で行っている。匿名で採点された順位表に入っているのはオープンウェイト7本のみで、Claude系4本は固定参照点だ。同じ審査員・同じ採点基準で採点されているため位置関係は参考になるが、別セッション間でスコアが絶対的に同一の尺度に乗っている保証まではない。
発見1：モデルごとの差は大きかった——ただし「開閉」を切り分けるための構成ではない
英語ラウンド
オープンウェイト7本の3審査員平均は次の通り。
参考として、以前の研究でのClaude系4モデルの無修正スコアは次の通り。
- Sonnet 4.6（無修正） — 90.3
- Fable 5（無修正） — 88.7
- Opus 4.8（無修正） — 85.0
- Haiku 4.5（無修正） — 82.3
もう一つ、性質の異なる参照点として付け加えておくと、Sonnet 4.6の草稿は外部レビューで3件の事実誤りを修正した後、93.0点まで到達している——これはシリーズを通じて、Claude系の草稿が記録した最高点だ（無修正・修正済みを問わず）。
Kimiの一発書き下ろしは93.67点で、この修正済み93.0点を0.67点上回り、Sonnet 4.6の無修正稿（90.3点）も上回った。一方、英語草稿11本全体を通じた最低点も、オープンウェイトのgpt-oss-120b（64.67点）で、Haiku 4.5の82.3点を下回った。オープンウェイト7本のスコア幅は29点——上に挙げたClaude系4本のスコア幅（90.3〜82.3の8点）より広かった。
日本語ラウンド
オープンウェイト7本の3審査員平均（日本語ラウンド）は次の通り。
参考として、Claude系4モデルの日本語版（無修正、今回が初めての外部採点）は次の通り。
- Sonnet 4.6（無修正） — 92.33
- Fable 5（無修正） — 91.00
- Opus 4.8（無修正） — 90.33
- Haiku 4.5（無修正） — 82.33
グループ平均：
- Claude系（4本） — 89.00
- オープンウェイト（7本） — 83.95
2グループの平均差はおよそ5点。Kimiの日本語版はFable 5と並び、Opus 4.8・Haiku 4.5を上回り、Sonnet 4.6にだけ僅差で及ばなかった。このラウンドのオープンウェイト7本のスコア幅は10点で、上のClaude系4本のスコア幅（92.33〜82.33の10点）とほぼ同じだった——このラウンドに限れば、どちらのグループが特に広いというわけではない。
まとめると、今回の実験では最良のオープンウェイト草稿がレビュー・修正済みのClaude系参照点と同等かそれを上回り、最悪の草稿は全Claude系スコアを下回った。モデルごとのスコア幅は英語で29点、日本語で10点——実在する幅だが、これは「そのプラットフォームで使えたから」という基準で集めた、均質性を狙っていない集合の中での幅だ。モデル規模・学習時期・想定用途を揃えた統制比較をすれば、まったく違う絵になる可能性もある。この実験が言えるのはもっと狭い範囲まで——この特定の、絞り込んでいない寄せ集めでは、「オープンウェイト」という一つのラベルで7本すべてをうまく言い表せなかった、ということだ。
発見2：1本の草稿で審査員の点差が42点開いたが、これは典型例ではない
gpt-oss-120bの草稿には明確な経済指標の逆転があった。「Fable 5はHaiku 4.5のおよそ2倍、確認済み指摘1件あたりのコスト効率が良い」という趣旨の主張だ。実際の数字（$0.068対$0.018）を1ドルあたりの指摘件数に直すと逆で、Haiku 4.5の方が1ドルあたり約3.8倍多く指摘を出している。3人の審査員は全員この誤りを独立に検出したが、総合点は45点・87点・62点——全員が同じ誤りに同意していながら、点数は42点も離れていた。
これは外れ値であって、典型的な結果ではない——その数字にふさわしい以上の説得力を持たせないよう、はっきり書いておく。英語ラウンドの他6本のオープンウェイト草稿では、審査員間のスコア差は2〜18点の範囲だった（Kimi: 5点、GLM-5.2: 2点、Qwen: 4点、Gemma: 8点、DeepSeek-V4-Flash: 11点、DeepSeek-V4-Pro: 18点）——目立って小さく、3人の独立したレビュアーが主観的な採点基準で評価する場合としては、むしろ普通の範囲だとも言える。日本語ラウンドでも似たパターンが同じモデルに見られた——このラウンドで審査員間の点差が最も開いた草稿（64点から97点、開き33点）も、やはりgpt-oss-120bだった。他6本の日本語草稿の開きは、それよりさらに小さかった。
つまり正直に言えば、この発見は「審査員はモデル以上にばらつく」というより狭いものだ——今回の集合の中で唯一、明確で検証可能な事実の逆転があった1本の草稿について、3人の審査員は全員その誤りを検出しながら、どれだけ減点すべきかでは一致しなかった。100点満点上で42点という開きだ。これがAI審査員に特有の現象なのか（人間のレビュアーが同じ課題に当たった場合と比較していない）、それとも単にこの1本が採点しにくい草稿だっただけなのかは、このデータからは判断できない。
発見3：緩やかな近似が硬直化する現象は、この小さなサンプルでは日本語でやや多かった
元記事のベースラインは「Fable 5はHaiku 4.5のおおむね半分のトークン数で済んだ」という、緩やかで無理のない近似表現を使っていた。実数は890,736トークン対1,775,365トークン——比率にすると約50.17%で、半分よりわずかに多い。半分未満ではない。22本の草稿すべてをこの数字と直接照合したところ、14本がこの近似を「半分未満」や「半分以下」という、実際の数字が支持しない、より強い主張へ独立に硬直化させていた。
この小さな、単発実行のサンプルの範囲では、日本語草稿（11本中9本）の方が英語草稿（11本中5本）よりこの主張をする頻度がやや高かった——これを言語による効果だと自信を持って言えるほどの規模ではなく、英語と日本語のブリーフが指示の強さやトーンの点で完全に等価だったかどうかも、この実験構成では別途確認していない。もう一つ、モデルの組み合わせ自体に潜む交絡要因がある——今回の7モデルのうち5モデル（Qwen・Kimi・GLM・DeepSeek系2種）は中国のAI研究機関発だ。これらのモデルが、英語に比べて日本語の学習データや語彙のバリエーションを単純に少なく持っている可能性は十分にあり、それは「日本語という言語」の性質ではなく、これら特定モデルの学習のされ方に起因する。このデータだけでは、この2つの説明を切り分けられない——上の枠組みはその前提込みで読んでほしい。特にKimiとQwenの2モデルは、この違いが実際にどう現れるかを示す、今回で最も具体的なデータ点だ——どちらも英語版ではこの数字を正しく（それぞれ「おおむね半分」「半分よりわずかに多い」と）書いていたのに、同じモデル・同じ元データの日本語版では、英語版が避けていたはずの「半分未満」という誤った主張に硬直化していた。少なくともこの対では、架空の数値を新しく作ったというより、近似表現をより断定的に言い換える過程で、静かに誤りへ変わっていったように見える。同一モデルの対応例が2件見つかったというのは、この2モデルの英日ペアに関する注視に値する具体的なパターンであって、「日本語だと不正確になりやすい」という一般的傾向を示すものでも、このサンプル規模ではまだ通常のばらつきと区別がつくものでもない。
この実験が測っていないもの
- 各モデル1回ずつの実行——繰り返し生成による信頼区間もなく、モデルサイズ・チューニング・推論設定の統制もない。
- 審査員も3人とも、いずれもAIシステムであり、審査員自身のベンダーによる採点バイアスの可能性は統制していない——このデータだけでは肯定も否定もできない。
- 「AI審査員特有の不安定さ」なのか「この草稿がそもそも採点しにくかっただけ」なのかも切り分けられていない——それには人間レビュアーとの比較が必要になる。
- コストは今回の記事執筆1回分のものであり、継続的な編集業務での再現性を保証するものではない。
- GLM-5.2の英語版ドラフトだけが、7モデル中唯一、生成トークンの上限（8,000）に達して自然終了ではなかった（他6モデルは1,703〜6,250トークンで自然終了）。文章自体は完結した結論として読めるが、上限がもっと高ければ内容が変わっていた可能性は排除できない。これはモデルやプラットフォーム側の問題というより、こちら側の生成スクリプトの設定に起因していそうだ。あわせて指摘しておくべき点として、AIを審査員とする評価は一般に、出力が長いほど高く評価する傾向（長さバイアス）が知られている。上限まで達したGLM-5.2は英語ラウンドで2位につけた——このデータだけでは、その順位が純粋な品質によるものか、長さバイアスによるものか、単なる偶然かを判別できない。
上の3つの発見のどれも、モデル選び・審査設計・言語のどれが一般的により重要かを決着させるものではない——それを確かめるには、それぞれを個別に測るよう設計された研究が必要であり、今回はそうした設計ではなかった。以上はすべて、この1回の、統制されていない実験から読み取れることだ。
自分の運用で確かめたいこと
今回の結果は、どのモデルを選ぶべきか、何人のレビュアーを雇うべきかまでは教えてくれない——サンプルが小さく、統制もされていないからだ。それでも、確かめる価値はあるが決め打ちすべきではないことがいくつかある。単一の草稿を、単一のモデルが書いたまま、二人目の意見を通さずに信じてしまっていないだろうか——今回の45点と87点のように。翻訳・多言語化した版が数字を言い換えているとき、「約」「未満」「以上」といった比較語を、どちらの方向にもきちんと実数と照合し直しているだろうか。そして、自分が使っている審査員・レビュアーにも、今回切り分けられなかったのと同じ種類の偏りが潜んでいないか、確かめる価値はあるはずだ。
自分の運用で、ばらつきが実際に集中しているのはどこだろうか——それは、想定していた場所だろうか。
関連記事
-【Qiita】日本のAIプラットフォームでGLM・DeepSeekなど7モデルのコードレビュー性能を検証する
