【マンガ解説】arXiv｜論文の3分の1がAI文章
論文サイトarXivの新着論文をまるごと採点したら、約3分の1が「機械が書いた文章」と判定された。分野差は極端で、コンピュータ科学は65.0%、数学は0.7%。ただし調査した本人が「この測り方は途中で壊れる」と限界を先に開示している。数字と、その数字を信じてはいけない理由を整理した。
何が調べられたのか
調査を公開したのは「unslop」というプロジェクトで、2026年7月に公開された。
arXiv（アーカイブ）は物理・数学・情報科学などの論文を、学術誌に載る前に無料公開する世界最大級のサイトだ。
調べた対象は12,750本の論文の本文で、期間は2023年1月から2026年7月まで。
比較用に、ChatGPTが登場する前の2021〜2022年の論文も対照群として使っている。
要旨（アブストラクト）ではなく本文まるごとを採点しているのが特徴で、10の分野グループから毎月25本ずつという設計だ。
結果は、直近の完全な四半期で32%、2026年前半のピークでは39%が「機械が書いた文章」と判定された。
ざっくり言えば、新着論文の3本に1本である。
分野でここまで違う
同じ「論文」でも、分野による差が桁違いだった。
直近12か月の判定率は次のとおり。
コンピュータ科学：65.0%
定量生物学：56.3%
電気工学・システム：51.3%
経済学・金融：47.0%
応用物理：34.0%
統計学：31.3%
物性物理：24.0%
高エネルギー物理：14.0%
天体物理：10.7%
数学：0.7%
コンピュータ科学と数学で、およそ90倍の開きがある。
いちばん大事なのは「測り方が壊れる」という自己申告
この調査が他のAI検出ニュースと違うのは、著者自身が測定の弱点を先に並べている点だ。
第一に、判定は著者を意味しない。
検出ツールが反応するのは文体であって、「AIが全部書いた文書」と「人間が書いてAIに整えてもらった文書」を区別できない。
つまり65%は「6割強の論文をAIが執筆した」ではない。
第二に、数学の0.7%は低すぎる可能性が高い。
数学の論文は数式と定理・証明の構造が本文の大半を占めるため、AIに大幅に手伝わせても文体スコアは低く出る。
検出の目が届かない書式だ、というだけかもしれない。
第三に、判定率は下限である。
検出器の感度は生成したAIの種類によって変わるので、拾えていない分がある。
著者は「真の割合は少なくとも測定値以上」と書いている。
第四に、誤判定の見積もり自体が心もとない。
このしきい値は、ChatGPT登場前の論文が0.4%だけ引っかかるように調整されている（同じ設定で、AIが書いた学術文章の85%を拾える）。
ただし対照群2,000本のうち実際に引っかかったのはわずか8本で、分野ごとの誤判定率を精密に出せるほどの数ではない。
AI検出の話でいちばん怪しいのは、たいてい「誤判定は何%か」を言わない記事のほうだ。
その数字を先に出して、しかも「この標本数では足りない」とまで書いているのは、めずらしく誠実な部類に入る。
日本の私たちにとって何が問題か
日本語圏でこの手の数字が引用されるとき、たいてい「AI検出ツールで〇%がAI」という一行だけが独り歩きする。
すでに大学のレポートや、企業の応募書類、ライターの納品物で「AI検出ツールにかけたら黒だった」という話が出てきている。
だがこの調査が示しているのは、検出ツールは「AIっぽい文体」を測っているのであって、「AIが書いたかどうか」は測れない、ということだ。
0.4%という優秀な誤判定率でも、1万人が提出すれば40人が無実で疑われる。
そして疑われた側には、潔白を証明する手段がない。
もうひとつ、分野別の順位が示すのは「AIが浸食した分野」ではなく「AIに手伝わせやすい文章を書く分野」の順位だ、という見方もできる。
コンピュータ科学の論文は散文が多く、数学は数式が多い。
それだけの話かもしれない。
私は、この結果を「AIで書くな」の材料ではなく、検出ツールの結果を人の評価に使うなの材料として読んだ。
文章をAIに手伝わせるかどうかは書き手の選択だが、機械の判定を根拠に誰かの成果物を否定するのは、この精度では無理がある。
まとめ
arXivの新着論文12,750本を採点し、直近で約3分の1が「機械が書いた文章」と判定された
分野差は極端（コンピュータ科学65.0%／数学0.7%）
ただし判定は著者を意味せず、数値は下限で、誤判定率の見積もりも標本が足りない
検出ツールの数字を、個人の評価や処分の根拠に使うべきではない
出典
unslop「How we measured AI writing across arXiv, and where the measurement breaks」 https://unslop.run/blog/measuring-ai-writing-on-arxiv
arXiv（一次データの取得元） https://arxiv.org/
