【東大理3合格】ChatGPT o1とDeepSeek R1に2025年度東大受験を解かせた結果と答案分析【採点協力：河合塾】
「ロボットは東大に入れるか」
国立情報学研究所 新井紀子教授を中心としたプロジェクトチームが取り組んだプロジェクトの終了から10年経たず、生成AIの発展により東大合格の夢は現実味を帯びてきました。
そこで、今回は昨年に引き続きChatGPTと、「DeepSeekショック」で話題になったDeepSeekに東大の入試問題を解かせてみました！
ChatGPTは日本最難関である東京大学に合格できるのでしょうか。
河合塾様に答案の採点協力をいただきました。ありがとうございました。
本記事では東大入試を実際に解かせてみた結果と答案分析によって分かったそれぞれのAIの特徴、河合塾の講師の方からのコメントなどを紹介させていただきます！
本記事はかなりの長文です。下記の目次を参考に、関心のある箇所をお読みください。「実験結果」セクションで、今回の採点結果を参照できます。
実験背景
きっかけは2023年、ChatGPTの登場してすぐのニュース
当時「海外の司法試験で人間を超えた」などの情報をよく耳にしていましたが、実感が湧かなかったLifePromptチームは、実際に自分の手元で・身近な試験問題である大学入学共通テストを解かせてみました。
結果、受験者平均点を上回る科目もあれど、まだまだ伸びしろを感じる結果となりました。（当時の記事）
新たなLLM（モデル）が出るたびに、引っかけ問題を出してみたり、計算させてみたり、小説を書かせてみたり、、、さまざまな実験を行なっているうちの1つをこのように公開しています。
「誰でも使えるAI」の意義
ご存知の通り、ChatGPTは多くの人が聞いたことがある（あるいは一度は試したことのある）生成AIツールです。
課金さえすれば、誰でもアクセスできる知能。ChatGPTがどれだけの賢さを持っているのかを、多くの方が経験したことのある受験問題をベンチマークとして公開したいというのが本実験公開のモチベーションです。
（前回まではバズりを狙って情報をかなり内容を削って投稿してきましたが、今回は無理に削らず公開することにしました…：昨年の記事は1000スキを超える反応をいただきました）
実験方法
2025年現在、生成AIには様々なモデルが存在しますが、今回使用したモデルは以下の2つとなっています。
ChatGPT-o1
DeepSeek-R1
どちらも2025年東大入試本番時点で最新のモデルの一つです。
ChatGPT o1とDeepSeek R1についての簡単な説明
ChatGPT-o1とは2024年12月にリリースされたChatGPTのモデルです。このモデルの特徴として、思考の連鎖による複雑な推論が可能となている点が挙げられます。これによって従来のChatGPT-4oよりも高性能な結果を生成することが可能になっています。実際、機械学習ベンチマークでは4oよりも高性能な成果を出しています。
また、画像の入力についても可能になっており、細かい画像や粗い画像でない限り文字の抽出を高性能に行う事が可能になっています。
DeepSeekとは中国のスタートアップ企業であるDeepSeekが開発した大規模言語モデル（LLM）です。今年の1月の「DeepSeekショック」の発端となった、あのDeepSeekです。
オープンソースであること・モデル開発のためのコスト削減されたことなど注目されている理由はいくつかありますが、ここでは割愛させていただきます。
ちなみに本実験で扱ったDeepSeek R1は、ChatGPT o1と同様に推論機能が備わっているモデルです。実際にいくつかの指標ではo1と同程度かそれ以上のスコアを獲得している点も注目すべき点と言えます。
精度と速度のバランスからo1を選択
実は、事前実験の段階で実際にo3-mini-highとo1 proでも解かせてみました。結果、本実験において精度・速度ともに優れていたのがo1でした。
というのも、o3-mini-highでは画像から文字を読み取ることを大変苦手としており、o1-proは比較的簡単な問題でも推論時間に5~10分以上かかってしまっていたからです。
ただ、ところどころo3-mini-highはo1にはできなかった賢い解答をしていたり、o1 proは画像読み取りと回答の精度も良かったため、今回の実験方法と「東大入試」というタスクにおいてはo1が最も適している判断しました。
具体的な解かせ方：プロンプトなしで画像で入力
続いて、具体的な手法について述べますが、今年の共通テストをChatGPTに解かせてみたときと同じ手法を使用します。
簡単に説明すると、
東大入試問題のスクリーンショットを撮影する
それをChatGPT, DeepSeekにそれぞれ入力する
結果を記録する
※国語に関してはAIが縦書きを読み取ることが難しかったため、文字起こしを行い入力しています。
また、今回はプロンプト(追加の指示文)の入力を何もしませんでした。事前実験の段階で東大入試にほぼ合格できるレベルの解答をAIがしていたため、LLMが持つ力をプレーンに図るために、プロンプトを追加は行わずに実験を行いました。
実験の流れは上記の通りです。この手法からも分かるように誰でも簡単にできるようになっています。今回の実験背景でも述べたように、だれでも使える状態のAIで東大入試をどれだけ解けるのかを調査するため、このような実験手法になっています。
ネットの情報からは、カンニングできない
東大入試の問題と各予備校が出す模範解答は入試後1~2日程度でインターネット上に公開されます。そのため、この問題をすでに学習してしまっているのでは？と考える方もいると思います。しかしこれは2つの理由で不可能となっています。
ナレッジカットオフ
WEBブラウジング機能
まず、ナレッジカットオフとは、モデルの学習ソースとなる情報の期限のことを指しています。2025年3月時点では、両モデルとも2024年6月までの情報のみを学習しています。そのため、2025年2月の東大入試情報の学習はされていないと捉えて差し支えないと思われます。
また、ChatGPT 4oに備わっているリアルタイムWEBブラウジング機能が今回使用した2つのモデルに備わっていません。
東大入試は、共通テスト(一次)と二次試験の合算
東大入試では、共通テストでの得点と二次試験での得点を合算して合格判定がされます。そのため、事前に実施した共通テストの結果にも言及させてください。
今年、LifePromptでは共通テストをAIに解かせる実験を行いました。そこで、ChatGPTは文系・理系どちらも9割を越える結果を獲得しました。
また、本実験に合わせて、共通テストの問題をDeepSeekにも解かせています。下記が得点表です。
実験結果
実験結果：理科3類に合格！！！
共通テストの結果から足切りになってしまった、理科1類・理科2類におけるDeepSeekを除いたすべてが合格水準となりました。（今年度の東大は、前年度までと比べて第１段階選抜の実施倍率を下げているとのことでした）
この結果について、今回の2つのモデルは余裕で合格できるはずだと考えていたLifePromptチームは、素直に「すごい！」と感じた同時に、「あれ…もっと高い点数だと思ったのに…」という複雑な感情になりました。
何で点数を落としたかは後ろのセクションで取り扱いますのでお楽しみに。
二次試験だけに着目すると、文系科目では
- ChatGPT-o1：280/440
- DeepSeek：262/440
理系科目では
- ChatGPT-o1：275/440
- DeepSeek：281/440
というような結果でした。
ちなみに、推論時間はすべて試験時間内で回答できるような時間でした。
特に驚異的なのはChatGPTの文系国語が5分31秒と圧倒的な速度での回答となっています。また、最も時間がかかったのはDeepSeekの文系数学が60分53秒です。
昨年との比較：数理的な能力の上昇と図表含む解釈可能な問いの幅の拡大
昨年度もChatGPT-4で東大入試を解かせており、その時の詳細な記事は以下の通りです。
前回の特徴として、英語・世界史などでは点数を獲得することができ、特に英語ではかなりの高得点を獲得していました。しかしその反面、理系科目が圧倒的にできておらず、理系数学、文系数学、物理がそれぞれ2点、1点、5点という極めて低い結果になりました。
そんな昨年度と比較して、今年はどれだけ成長したのでしょうか？
グラフより、圧倒的に成長していることが分かると思います。特に、理数科目は成長しています。その他の文系科目についても概ね得点の改善がみられる結果となっています。
また、英語のみ点数が下がったことについて、補足させていただきます。
文字起こしを入力して実施⇒画像のみ入力して実施
プロンプトあり⇒プロンプトなし
昨年の採点は駿台予備校⇒今年の採点は河合塾
昨年度の実験ではすべて文字起こしをして実験を行ったため、単語などの正確な読み取りが可能な状態でした。それに対して今回の実験ではスクリーンショットした画像からAIに文字を抽出させました。そのため、読み取りミスによる間違いも一部発生してしまいました。
文字起こしに加え指示を追加して実験を行っていました。例えば以下は回答方法に関する指示の一例です。
このように受験問題というフォーマットに従った回答を行うように指示を行いました。点数の違いはこの指示の有無によることがかなり大きいと思います。ただ、今回の実験背景でもあるように、だれでも使用できるAIの精度を調べたかったため、今回は指示の入力を行いませんでした。それでも英語以外は昨年度を上回れたことは驚異的な結果と言えるでしょう。
また、ご協力いただいた予備校が変わったことで、採点基準にも多少の違いがあったかもしれません。駿台予備校の方、河合塾予備校の方、ありがとうございました。
実験からわかるAIの特徴
受験生をはるかに凌ぐ出力までの速度と基本演算の正確さ
まず特徴的だったのは時間がほぼかからないにもかかわらず、基本的な文法・単語の使い方や数式計算のミスが全くなかったことです。確かに「機械だから」で片付く特徴ですが、昨年度と比較すると精度は圧倒的に向上しています。特に数学・物理・化学ではこの能力が大いに発揮され、高得点を獲得することができています。
また、古文・世界史・地理の点数が向上したことも文法・単語のミスがほぼなくなったことが一因となっています。特に古文という日本語の中でも特異な言語で点数を獲得できていることは驚くべき結果となっています。
「受験問題」という文脈は認識していない
当たり前ですが、問題の画像のみを入力としているため、AIにはこれが「東大入試」であるという自覚はLLMに一切ありません。
そのため、受験ならではの解答方法などに苦戦していました。この傾向が最も見られたのは数学です。
東大数学で求められるのは正確な回答ではなく、なぜそこに至るのかの道筋を記述する能力となっています。それに対し、AIは最大値・最小値の導出の省略などをしてしまったため、かなり点数を落してしまっています。このような問題が他の教科でも見られ、失点している箇所が多々ありました。
とはいえ、数学的な演算能力は飛躍的に向上しており、その能力は東大数学を解答できるレベルまで達していることは驚くべきことでしょう。
共通テストでも課題であった図表・絵の認識
大規模言語モデルの発展によって言語理解能力は大幅に向上してきましたが、図表・絵を解釈する能力はそのレベルに至っていません。実際、共通テストでもグラフの読み取り問題や数学の空間図形、地形図の読み取りなどで点数を落としていました。この傾向は東大入試でも続いており、特に物理・数学・世界史・地理など幅広い分野で見られました。ただ、数学では図形問題の一部は高得点を獲得することができていたり、世界史の資料問題では難問とされる問題に回答できていたりと、苦手な図形問題でも条件がそろえば図形の認識も可能であることも示されています。
問題から一歩踏み込んだ答案の作成
全体を通して、AIは問題文や条件文に書かれている問題を回答する問題はかなり得意であることが分かりました。実際、英語の翻訳や古文・漢文の現代語訳などでは高い点数を獲得しています。
しかし、そこからさらに一歩踏み込んだ問題に対しては対処することができませんでした。具体的に、国語の筆者の意図を問う問題や、日本史・世界史・地理の出題者の意図を汲み取って回答する問題などで得点をすることができませんでした。表層をまとめたり、翻訳をすることはできても、そこから出題者の気持ちを考えるような問題はまだまだ成長の余地があるようです。
二つのAIの違い
今回、ChatGPTとDeepSeekという2つのモデルを使用して東大の問題を解かせましたが、結果としてどちらも東大合格レベルの結果を出すことができました。ただ、内訳については二つのモデルにかなり特徴の差がありましたので、ここでまとめさせていただきます。
論述の滑らかさと要素を漏らさない正確さ
ケアレスミスの差
難問に対するひらめき力
まず、論述問題において、ChatGPTでは滑らかな日本語を出力するのに対し、DeepSeekでは要素を羅列したような日本語を出力していました。これは国語、や社会科目、化学などで見られた傾向です。ただ、DeepSeekも回答に必要な要素を抜き出しているため、一概に点数が低くなることはなく、一部の問題ではChatGPTよりも上回る結果となりました。
逆にChatGPTでは滑らかな日本語を出力するだけでなく、それっぽい正解のような解答を出力する傾向にあるようでした。そのため、講師の方も初見ではChatGPTの出力が優れているように感じていても、詳しく回答を見ると正解に必要な要素が欠けているといったことが起こりました。
次に、出力精度においてDeepSeekよりChatGPTの方が優れている箇所が多々ありました。一問一答や計算問題が多い共通テストでの点数に100点近い差が出たように、東大二次試験でもDeepSeekによるケアレスミスが何か所がありました。一方、ChatGPTのケアレスミスはほとんどなく、文法・語法の使い方も正しいものばかりでした。この点ではChatGPTの方が明らかに優れていると言えるでしょう。
このように精度と論述において少し劣るDeepSeekですが、実は難易度が高い問題に回答している箇所もありました。数学や物理・世界史などでこのような傾向が見られました。講師の方も「DeepSeekにはChatGPTにはない光るものがある」「DeepSeekは少し特殊な子のような答案を作成していた」といったコメントをいただきました。詳しくは各科目のセクションで紹介します。
実際に各科目でAIがどのような回答をしたかは以下の設問ごとの解説をご覧ください！
英語
設問ごとの得点：東大上位合格を狙えるレベル
今年の東大英語は例年並みであり、理三抜きの合格者平均は70~75になると予想されています。それを踏まえて、各設問別の英語の採点結果はこのようになりました。
どちらも合計90点越えということで、余裕で東大平均を超えてきました！やはり生成AIは英語に強いのか…
また、設問ごとに各AIの得点がばらけていたりと、ChatGPTとDeepSeekの得意不得意を感じることができると思います。
共通テスト9割越えは伊達じゃない。選択肢問題は最強のAI
東大英語の問題では、選択肢を選ぶ問題と記述を行う問題がだいたい同じ割合で出題されます。
選択肢を選ぶ問題では、GPTが53/59、DeepSeekが55/59という結果になりました。どちらも極めて優秀な成績だと言えます。
この結果から、生成AIは「適切な選択肢を選ぶ問題」には強いことが分かります。また、文法や単語の意味など基本的な情報はほぼ完ぺきに理解した結果ともいえるでしょう。
では、記述問題についてですが、これは大きく4つに分類することが出来ます。
日本語を英訳する問題
英文を和訳する問題
英文を日本語に要約する問題
自由に英作文を記述する問題
この中で、自由に英作文を記述する問題(2A)では、ChatGPT, DeepSeekどちらも満点という結果になりました。このことより、生成AIは文法や単語のミスなど発生せず、まともな意見を生成することが出来ることを表しているでしょう。
自然な翻訳を目指した結果のミス
日本語を英訳する問題と、英文を日本語に要約する問題では2つのモデルに大きな差が生まれました。まず、日本語を英訳する問題である2Bについて紹介します。
この問題では、下線部を英訳する問題となっています。このような問題は東大英語では頻出の問題となっており、過不足なく要約する力が受験生に求められます。まずは河合塾の解答例を見てみましょう。
（このことについて）疑問を抱いていても、権力者たちに牛耳られている政治を変えるのは難しいと考えている。だからこそ、土地や家を持たない人々は、何十年かかろうとも、それらを手に入れるために一生懸命働いているのだ。
DeepLの翻訳も載せましたが、過不足なく要約できていることが分かると思います。では次にChatGPTとDeepSeekの結果についても紹介します。
これがいかにおかしなことかを指摘しようとしても、権力者たちはほとんど動こうとしない。それが私たちの現実だ。だから、土地のない人たちは、お金のない人たちは、何十年も返済しなければならない借金を背負ってでも、なんとか土地を手に入れようとするのだ。
たとえ疑問を抱いたとしても、権力者たちに支配された政治に異議を唱えるのは無駄だと彼らは考える。だからこそ、土地も家もない人々は、所有権を手に入れるために何十年も借金を返済するために骨身を削って働いているのだ。
DeepSeek, ChatGPTどちらも傍線部だけでなく全文を翻訳してしまっていたため、抜粋し回答としました。この結果から分かるように、ChatGPTでは明らかに要らない単語が追加されてしまっています。
例えば、ChatGPTでは「疑問に思う」を「指摘する」としたり、「権力を持つものが動かしている政治を変えることは難しい」を「権力者たちはほとんど動こうとしない。それが私たちの現実だ」のように意訳を越えた英訳をしてしまっています。
これはおそらく、なるべく自然な翻訳にしようと頑張った結果、要らない単語が追加されたり、元の文章とは違った単語を使用してしまっていたと考えられます。
このことから、ChatGPTに何も指示を与えない場合、一見正しいような出力をしてしまうことを改めて感じました。また、こんなことを防ぐためにも、適切な指示と制限を行う事が大切であることもわかると思います。
一方、DeepSeekはある程度適切に翻訳しており、意訳などはChatGPTと比較するとあまり見られませんでした。このことより、DeepSeekは指示を忠実に守ってくれる傾向にあることが分かると思います。これは、特に日本史でも同様の傾向が見られました。次に、英文を日本語に要約する問題について紹介します。
文章をまとめるのは苦手？なDeepSeek
この問題では300単語程度の文章を読み、それを70~80字で要約する問題となっています。実際の問題文は以下の通りです。
この要約問題も東大の伝統と言っていいほど頻出する問題の一つとなっており、受験生には英文から適切な情報を選択し、70~80字でまとめる能力が必要とされます。まずは河合塾の回答を紹介します。
このように、死の定義が揺らいでいることと、今後さらにあいまいになり生の意味も変化させるといった旨を記述する必要があります。では、ChatGPTとDeepSeekの結果について見てみましょう
まずはChatGPTの結果から確認してみましょう。ChatGPTでは現在脳死の定義が科学と宗教によってあいまいになってきていること、今後さらに複雑になっていることを述べています。この要約から、完璧ではないにしろ、ChatGPTは文章の本質を掴みかけていることが分かるでしょう。
それに対しDeepSeekでは、脳死判定が科学や宗教によって複雑化していることは述べていますが、その後「豚の脳細胞回復実験」のような事例をそのまま取り上げており、良い要約とは言えなくなっています。これは、DeepSeekが文章を全体を通して理解しているのではなく、表面上の文章しかとらえていないためこのような問題が発生した考えられます。
また、このことより、先ほどDeepSeekが和訳に成功したのは文章を表面上でしかとらえていなかったため、簡潔で簡素な翻訳が出来たとも考えらるでしょう。逆にChatGPTは文章の本質をとらえてしまったため、そこからさらに膨らませた翻訳になってしまったのでしょう。
久恒講師「文法・単語のミスはなし！ただ、英語と日本語を行き来する問題は苦手」
「得点自体はどちらのAIも相当上位となっており、理三相手でも戦える点数だった」
特に、単語・文法で一切ミスが無かったことが他の受験生との得点差につながっていると考えられます。また、客観問題(選択問題)でどちらのAIも非常に高い得点を獲得できたことも要因の1つでしょう。
「記述問題だと途端に精度が落ちた。英語と日本語を行き来する問題の記述が難しいのかな」
先ほど、理三相手でも戦えるとおっしゃっていましたが、記述問題ではまだまだ精度が低いようでした。ただ、どちらのAIも失点箇所が同じではなく、異なっているところに講師の方はAIの差を感じていました。
また、講師の方はAIの使用に関してこのようなこともおっしゃっていました。
「要約の下訳作りやアイデア生成の助けになる」
「正誤問題のダミー選択肢作りなどはかなり活用できるだろう」
「AIの生成結果をそのまま使用するのは厳しいが、使用する人が修正するならば十分活用可能」
今後のAIの活用方法について英語の採点を通じて感じたことをおっしゃっていただきました。特に3行目についてはまさに今回の実験背景と合致するような印象を持たれていました。講師の方が感じたように、AIにすべてを任せるのではなく、AIを理解したうえで活用することが大切になるのでしょう。
国語
設問ごとの得点：語法・翻訳のミスはほぼなし。筆者の意図はまだまだ
生成AIは日本最難関である東大の国語にどれだけ戦えるたのでしょうか？
得点で見ると、ChatGPT-o1が71点、DeepSeekは75点というような結果になりました。英語の点数には劣るものの、東大合格平均のボリューム層に位置するレベルまで成長してるみたいです。しかし、設問ごとで見てみると、AIの得意不得意がはっきりとわかると思います。
漢文の難問をわずか数十秒で回答してしまうAI
今年の漢文は一般的に見てもあまり見られない「竹窓二筆」という出典から出題されました。これは仏教随筆であり、「普通の学生ではカバーしきれない範囲から出題された」と講師の方はおっしゃっていました。加えて、文字数の増加や中略などによる抜粋も、今年の漢文の特徴です。
そんな漢文ですが、得点としてはGPTが24点、DeepSeekが26点と圧倒的な点数をたたき出しました。「去年と比較して難化したにもかかわらずこの点数は圧倒的だ」と講師の方もおっしゃっていました。
そんな中でAIの回答が輝いたのは最終問題である(四)の問題です。
(四)「執滯之着不可」有、執持之着不可、無」(傍線部f)とはどういうことか、本文の趣旨を踏まえて80字以内で説明せよ。
この問題は「執滞」と「執持」という二つの対比の説明をする必要がありますが、この単語が出てくるのはこの文章中初めてであり、受験生の思考力が問われる問題となっています。河合塾の回答例は以下の通りです。
漠然と仏教を学ぼうとするのではなく、一心不乱に集中し努力を積み重ねる必要があるという事
このように「執滞」と「執持」の対比を「漠然」と「集中」に落とし込むことで回答を作成しています。ではAIの回答はどのようになっているでしょうか。
このようにどちらのAIの回答も「執滞」と「執持」を「固執」と「高めるための執着」として落とし込み対比を完成させています。これは一般的な受験生でも良く落とす箇所となっているため、「ここを満点解答できたのは素晴らしい」と講師の方はおっしゃっていました。
このように漢文においては一般的な生徒が失点してしまう箇所も満点解答することに成功しています。やはり漢文が高得点なのは古文や現代文と異なり、そこまで作者の心情を意識する必要がなかったことが原因と考えられます。
受験生がしないような訳出と文脈の読み違え
今回の東大古文は「本文は理解しやすい内容でしたが、文章を作るのは大変」とおっしゃっていました。また、傍線部の位置も嫌なところに引かれており、この傾向は5年前くらいの古文の傾向に近しいものがあるみたいです。まず2つのモデルの差が顕著に出たのは(二)の問題です。
(二)「かきくらさるる心地」(傍線部ウ)とは、何に対するどのような心情か、説明せよ
「かきくらさるる心地」を翻訳すると「悲しみに暮れる心情」となります。そのため、この問題の文末は「~に対する悲しみに暮れる心情」のようにする必要があります。実際に河合塾の回答は以下の様になります。
丸裸の異様な僧が清水寺の宝日上人だったことに対する悲しみに暮れる心情
では、それぞれのAIの回答はどのようになるでしょうか？
GPTの方は文末は少し異なりますが、「かきくらさるる心地」を訳すことが出来ました。しかし、DeepSeekでは「めまいを覚える心情」と訳してしまい、これは「かきくらさるる心地」の翻訳として不適当となっています。このようにDeepSeekでは正確な翻訳(逐語訳)がされていない箇所がいくつか存在し、点数が伸び悩んだ原因の一つと言えるでしょう。
また、どちらのAIも誤読してしまった問題として(四)が存在します。
(四)「よしなき人の思ひを、我のみ一方にはとどめじ」(傍線部カ)とはどういうことか、説明せよ
この説話の大まかな流れは「僧が狂ったふりをして俗世を離れたい」という話であり、この流れは説話の中でもよくある流れだとおっしゃっていました。この体系を知っているあるいは理解できるかどうかが重要となります。実際に河合塾の回答は以下の様になります。
つまらない俗人の尊敬の念を一身に受け止めたくないということ。
このようになぜこの僧が「狂ったふりをして俗世を離れたい」と思ったのかを記述する必要があります。では。AIの回答はどうなっているでしょうか。
この解答より、ChatGPTでは「狂気じみたふるまいをすることで人々を導く」としていますが、これは話の根幹である「俗世を離れたい」ということが捉えられていないことが分かります。また、DeepSeekでは「無益な固定観念に縛られない」といったところは少し回答に近しいですが、こちらも話の体形を掴み切れていないことが分かります。
このことより、どちらのAIも受験生なら持っているであろう知識が欠落しているため、話の体系を掴み切れなかったり、文末を誤ってしまうと考えられます。また、古文においてはまだ深い文章理解が出来ないことも示されています。
受験生がしないような記述方法
まず、現代文について見ていきます。得点としてはDeepSeekの方が高得点になりましたが、今回採点していただいた講師の方曰く「はっきりとした優劣があるとは言えない」だそうです。
というのも、DeepSeekは普通の受験生がしないような解答方法をしているところがいくつか見られました。
例えば、
(一)「鏡像を遊び相手として扱うような振る舞いを見せる」(傍線部ア)とあるが、それはなぜか、説明せよ。60字以上70字以内で説明せよ。
という問題が出題され、それに対するDeepSeekの回答がこのようになっています。
このように、解答は二文での回答になっており、基本的に東大国語の解答は一文で行われます。これは普通の受験生はしないと講師の方はおっしゃっていました。
逆にGPTではこのようなおかしな体裁はあまりなく、受験の暗黙のルールにのっとった回答を行えているようでした。去年のGPTでは文字数をカウントする事すらできなかったため、目覚ましい成長をしていることが伺えます。
古文で発生した字数制限超過問題
東大の古文は少し特殊で問題文に字数指定がありません。そのため、詰めれば何文字でも記述することは可能ですが、河合塾の規定では1行あたり35字程度となっています。しかし、AIはそれを認識できていないため、通常よりも多い文字数で出力してしまいます。
今回は文字数は一度考えないで採点をしていただきました。その結果、GPTが18点、DeepSeekが13点となりました。こちらの点数も東大合格者のボリューム層となっています。
ただ、追加実験として文字数を制限した場合の回答も作成し、講師の方に確認していただいたところ、「基本的に重要な情報が抜け落ちてるため点数が下がると思う」といった印象があるみたいです。文字数が多かったため必要な要素を含めることができたことが高得点の要因ともなっていると考えられます。
三河講師(現代文)「一般的な受験生と同等レベル。ただ、記述方法に難あり」
「良くも悪くも受験生の答案に近い」
本文中に書かれていることを理解・記述する問題での正答率の高さから、AIの文章理解力が向上していることがわかります。しかし本文そのままの表現ではなく、噛み砕きや補完が必要な問題では「一般の受験生」らしく得点できなかったところにこのような印象を持たれているようでした。
「AIは文章から情報を抽出するのは得意。しかし、その特徴の主眼、副能力、情報の軽重を判断する能力に欠けている」
「一橋大学の問題である、長い文章からの要約は得意であろう」
文章の組み立て・補完などが出来ないことは英語の講師の方もおっしゃっていましたが、「文章から特徴を抽出する能力がある」ことは英語とは全く逆の印象を持たれていました。
AIの中身はブラックボックス(中身が分からない)であるため、どのような経緯で情報が生成されたか分かりません。そのため、講師の方の英語と国語の印象の違いは偶然の結果である可能性もあります。
しかし、偶然でない場合、その原因は「問題」か「言語」かどちらかにあると考えられるでしょう。AIにとって日本語は英語よりも特徴を抽出しやすい言語かもしれませんし、東大の英語要約はAIにとって敵にかなり難しい可能性もあります。あるいは二か国語を経由することで意味の取り違えが生じてしまったかもしれません。
藤沢講師(古文)「受験を知らないAIらしいミスが多発した。また、文脈の理解もまだまだ足りていない。」
「逐語訳が出来ていないことが失点の要因の一つ」
東大古文を回答していくうえで大切なことの一つは、一単語一単語丁寧に翻訳していくことです。この点でどちらのAIも失点してしまいましたが、特にDeepSeekでは逐語訳が出来ない箇所が多く存在してしまいました。
「今回の説話はよくある説話の体系の一つとなっており、対策した受験生なら作品の意図を掴みやすい問題となっていたが、AIは話の根幹を誤読していた」
今年の東大古文は本文自体は簡単で読みやすいが、傍線部の位置など回答を作成することは非常に困難であるという特徴が存在します。しかし、簡単で読みやすいはずの本文の意図に気づけず、話の根幹を理解できなかったため失点してしまう箇所がいくつか存在しました。このことより、ある程度の日本語訳はできてもその本文の意図を掴むのは古文だとまだまだ難しいというAIの課題も分かりました。
西川講師(漢文)「問題の特徴がAIに適していた」
「東大の漢文は、筆者の意思を聞かない、表面的な直訳で十分である」
今回の漢文の得点が非常に伸びたことの理由はひとえに西川講師のおっしゃる通りでしょう。今までの論説・古文では筆者の意図をくみ取った回答を作成する必要がありました。
しかし、漢文においてはそこまで筆者の意図をくみ取る必要があまりありません。加えて、今年の漢文が論説に近く理解しやすい文章であったため、高得点を取ることができました。このことより、表層の文章翻訳においてはAIは人間をはるかに凌駕すると言えるかもしれません。
「満点を目指すなら直訳に加えて、文脈を理解していることを示す記述をするべき」
「採点者の手が止まらない回答を作成する必要がある」
8割近い解答を作成したAIですが、これを9割、10割に近づけていくためには文脈を理解していることを伝える文章の作成が要求されるでしょう。AIが比較的文脈を理解しやすい漢文でもまだまだ改善の余地があることが示されています。
また、AIは「仏像を学ぶこと」を「技芸のような」のように訳しており、本当にこれで合っているのか疑問に思われるような解答をしたりしました。このような疑問に思われる回答ではなく、採点者が納得するような文章の作成能力も今後の課題となるでしょう。
全体を通して、現代文・漢文に関しては文書の特徴を抽出することに成功しており、文章中に書いてあることをまとめる問題では高得点を挙げていました。しかし、古文では話の体系がつかめていなかったりとまだまだ浅い部分が見られました。
また、AIの短所として、抽出した情報の組合せが苦手なことも明らかになりました。これは現代文・古文で顕著に表れた傾向になっています。このあたりは昨今の教育でも言われるさらなる「読解力」がAIにも求められていることを感じました。
数学
設問ごとの得点：正解していても論述はイマイチ
個人的に今回の目玉だと思っています。去年の数学はかなり低い得点となって、「AIは数学がダメだ」のもっともな例となってしまいました。この1年でAIはどれだけ成長したのでしょうか？
文系数学はGPTだと40点、DeepSeekだと18点。理系数学はGPTだと38点、DeepSeekだと49点になりました。DeepSeekの文系数学を除くと、これらの点数は当落線上やや下あたりの点数となっており、DeepSeekの文系はかなり厳しい結果になっています。
とはいえ去年のほとんど0点の状態からここまでの点数を獲得できたことはかなりAIも成長したと言えるでしょう。
採点していただいた講師の方の印象としては「点数は問題と採点基準に大きく依存した」としていました。例えば、問題が説明的なものであればAIは問題をうまく理解できますが、抽象的であったり、もう一段階踏み込んだ問題である場合、明らかに理解が出来ていないといったことが発生していました。
今年の東大数学は説明的な文章が多く、AIはうまく理解できる問題も多くありました。実際、ChatGPTではほとんどの問題に正答していましたが、そこまで点数が伸び切りませんでした。その原因として、採点基準が挙げられます。
東大入試の特に理系数学では導出過程に重きを置いており、「正解したかどうか」よりも「どのようにその回答を導出したか」が重要になってきます。しかし、AIの回答は関数の最大値や最小値の説明をすべて自明なものと判断してしまい、ここの記述がすっぽりと抜け落ちていました。これが点数が伸びなかった大きな要因となっています。
とはいえ回答がほとんど合っていたことから、去年と比較して数学的な演算能力は大幅に強化されていることは明かになったでしょう。
では実際に設問別に確認していきます。
型にはまらず、誘導も一切使用しないAIらしい回答
まず着目すべきは理系数学第二問です。問題は以下の様になっています。
(1)は証明問題であり、(2)は(1)の証明を使用して極限を求める問題になっています。(1)に関してはDeepSeek, ChatGPT同様に回答することが出来ていました。しかし、(2)ではどちらのモデルも不正解な回答をしてしまいました。まずは河合塾の解答例から確認していきます。
一般的な回答方法として、(1)の証明を使用することでうまく挟み込みを行い、微分の定義と相加相乗平均を使用することで極限を求めています。また、別解としても部分積分を行う事で計算を行い、値を求めています。それに対して、各モデルの回答は以下の様になっています。
この結果から分かるように、どちらのモデルでもテイラー展開の近似を持ちいる事によって回答を求めています。
これは河合塾の別解にも載っていない回答方法であるが、最終的な答えはどちらも正しい値に収束しています。
解答が正しいため、この解法は一見正しいように思えますが、この解答にはテイラー展開の近似を使用できる理由についての記載がありません。そのため、≒を使用しできる理由がなく、極限を求めるときにタブーとなる行為をしています
これらの要因より、どちらの回答も(2)で得点することが出来ませんでした。これは、AIが受験の鉄則やタブーを知らないことと、説明力が足りていないことが原因と考えられます。また、GPTとDeepSeekが同様の回答方法を行い同様の間違い方をしていることも興味深い点の一つでしょう。
この問題を他のモデルで回答させるとどのようになるの？という疑問もあったので実際にo1 proで解かせてみました。
出力は英語になってしまいますが、こちらでも結局テイラー展開を使用しています。ただ、こちらはオーダー記法を使用することによって≒を使用せずに記述することが出来ています。この記述方法ならもしかしたら得点が出来たかもしれません。
やはり弱い図形問題
次に大きな差が出たのが理系数学第三問です。問題は以下の通りです。
AIが一番苦手とする図形の問題です。特にこの問題は図形に対する詳しい説明があまり記述されておらず、AIは自分で図形を想像して回答する必要があります。この問題の図形はこのようになっています。
この図形の様に、平行四辺形の周りに長方形が存在するような図形となっていますが、実際に(1)の各AIの回答を抜粋すると以下の様になります。
先ほどの図とこの出力を組み合わせてみると、「辺FGの長さは辺GBに等しく、辺GHの長さは辺GCに等しい」という発言は明かにおかしいことが分かると思います。これは、出力で箇条書きされている箇所をベクトル方程式で書き下したときに、「やや長い計算」と省略されている箇所でミスが発生してしまったと考えられます。このことからも、ChatGPTは明かに図形の認識が出来ないと言えるでしょう。
続いて、DeepSeekの出力を確認してみます。
この出力は導出過程などはほとんどありませんが、(1)は正解の回答をしています。また、(2)も場合分けはありませんでしたが、回答の一部は正解となっています。この結果より、図形の想定能力はChatGPTよりもDeepSeekの方が優れていると言えるでしょう。それでも場合分けを想定できていないことからもまだ完璧に図形を理解できないことも同様に示されました。
追加実験：解かせ方の工夫で図形問題も対処可能
では図形を正確に伝達させた場合、問題に回答できるのでしょうか？まず、先ほどの河合塾が作成した図形と共にChatGPTに入力し、問題を解かせてみます。その時の出力は以下の様になります。
この結果より、問題の画像と実際の画像を入力するとDeepSeekと同程度の回答を得ることに成功しています。つまり、AIの結果は入力されるプロンプトに大きく依存すると言えるでしょう。
文系数学の図形問題では正答できたChatGPT
先ほど、「AIは図形問題については弱い」と結論付けましたが、今年の東大文系数学第二問でも以下のような図形問題が出題されました。
この問題は三角形の各頂点を中心とする円について考える問題で、AIが苦手な図形問題となっています。しかし、ChatGPTは苦手な図形問題に対して15点と高得点を獲得しています。実際のAIの回答を見ていきましょう。
このように、DeepSeekでは理解できなかった問題をChatGPTは理解しており、(3)のt(θ)を求める問題以外に回答できています。これの原因として、冒頭でも述べたように「問題と採点基準がAIに適していた」と講師の方はおっしゃっていました。
この問題は比較的説明的でわかりやすく、噛み砕いて別の図形を想像するといったことが必要ない素直な問題と言えるかもしれません。また、採点基準としても回答できているかに重きを置いているため、導出過程が言葉足らでも得点することができました。
この問題を大差をつけてChatGPTが回答できていることより、ChatGPTはDeepSeekよりも説明的な文章を理解する能力と、正確な回答を出力する能力がDeepSeekより高いと言えます。
AIあるある？論述の飛躍が見られて減点対象に
先ほど、採点基準によって点数を獲得した例について述べましたが、逆の問題が理系数学第6問で発生しました。問題は以下の通りです。
この問題は複素数平面を図示する問題となっており、(1), (2), (3)を順序だてて回答していく必要があります。今回はどちらのAIも点数を獲得できなかった(3)の回答に着目していきます。まず、河合塾の解答例は以下のとおりです。
このように(2)で回答した式を用いて最大値・最小値を求める問題となっています。これに対して、ChatGPT, DeepSeekの回答は以下の様になりました。
これらのAIはどちらも正確な式と回答を導き出すことに成功しているが、最大値・最小値の導出方法に一切記載がありません。そのため、これらの出力はすべてたまたま出力されたものとされてしまっています。しかし、このミスは入力プロンプトを追加する事で結果を修正できるため、あらためてAIを最も良く使うためには入力プロンプトがかなり重要であると考えられます。
理系数学は回答よりもその導出過程に重きを置いており、逆に答えが正解でも1点ももらえないものとして扱われてしまうこともありました。このことからも、AIをプレーンなまま使用するのではなくタスクに特化したAIの作成・使用が精度を向上させることに必須であることが改めて示されたと思います。
演算能力をフル活用した確率漸化式
最後に、文系数学第三問について着目していきます。
この問題は複数の状況における確率漸化式を立式する必要がある問題となっています。まず、河合塾の回答は以下の様になっています。
このように複数の状況を調べ上げ、そのうえで確率漸化式を立式し回答する必要がある問題となっており、高い精密性と思考能力が必要とされています。この問題に対する各AIの結果は以下の様になっています。
このように(1), (2)についてはChatGPT, DeepSeekどちらも回答することができています。このことより、すべての状況を調べ上げられる正確性とそれを組み合わせる思考力は一定以上あることが分かります。
しかし、(3)においてはDeepSeekは問題を理解できずに誤った解を出力しているが、ChatGPTは正確な解を出力することに成功しています。この結果より、問題を正しく理解する能力と問題を解く思考力はChatGPTの方が優れていることが分かるでしょう。
香坂講師「AIが得点できるかは"問題"と"採点基準"に大きく依存する」
「今回の結果は"問題"と"採点基準"に大きく依存する」
「"答えがあっていれば満点"のような問題ではかなりの高得点」
「"理由付けや証明部分に配点が多い問題"では低得点」
くり返しになりますが、やはり得点は「問題」と「採点基準」に依存していることが分かりました。しかし、得点が「採点基準」に依存するレベルまで東大数学の正確な回答をAIが導けるようになっていることはかなりの進歩と言えるでしょう。加えて、AIの適切な活用にはタスクに対するチューニングが必要であることも、問題によっては回答できていることより明らかになりました。
「図形問題に対してはかなり苦手な傾向がある」
「ただ、これも問題文に依存していて、説明的な文章で書かれている図形問題の場合はChatGPTなら回答することができる。」
前々からの予想通り、図形問題に対してはAIの正答率はあまり高くなく、講師の方もAIが苦手である印象を持たれていました。しかし、今回ChatGPTは図形問題に対してかなりの高得点を出すことができました。図形問題とはいえ文章の説明の仕方でこうも結果が変わったことに大変驚きました。
共通テストの事も書く
物理
設問ごとの得点：数理的思考能力の飛躍的向上
数学と同様に物理も目玉の一つになっています。昨年までのAIはデータベース上の知識を持っていても、物理や数学の様に暗記した知識だけでは太刀打ちできないような問題に大変苦戦していました。しかし、昨年よりも知識を蓄え、計算も出来るようになった現在のAIはどのくらい点数を獲得できるのでしょうか？
結果としてChatGPTが45点、DeepSeekが42点と両方とも7割越えを達成しました！前回の5点からどちらも大幅な点数更新となっています。
全体を通して不得意に感じていた点は、図に関する問題全般になっています。これは数学でも同じ傾向がありましたが、AIはまだ画像の特徴を捉えたり、画像の理解をすることは苦手なようです。特に、図の選択問題では選びたい図を選べないといった問題が発生していました。
それに対して得意な点は図以外の全部となっています。人間と異なりAIは計算ミスをもうしなくなった為、ミスによる失点は全くなくなりました。これにより、去年と比較して大幅な得点向上が見られました。
DeepSeekとGPTの差は点数から見るとあまりないように思えますが、「DeepSeekにはきらっと光るところがある」と講師の方はおっしゃいます。これは、GPTや一般的な受験生が間違える問題をDeepSeekが回答するといったことがいくつか発生していたからでしょう。具体的な出力は設問別の確認でまとめていきます。
ケアレスミスで差が出たAI
ChatGPTとDeepSeekの点数の差はあまりありませんでしたが、第一問にのみ着目すると5点と、他の設問に比べると差がありました。
この原因として、DeepSeekではケアレスミスが発生してしまったことが原因となっています。加えて、DeepSeekでは図表の読み取りがほとんどできなかったことも点数を落した原因となっています。
例えば、第一問のⅡにおいて以下のような問題が出題されました。
この問題は垂直抗力をモーメントや垂直・水平方向の釣り合いを用いることで回答する問題となっています。この問題の河合塾の解答例とDeepSeekの出力結果は以下の様になります。
このようにすべての問題で一部の符号が反転してしまっていることが分かると思います。これはⅡ(1)の問題におけるモーメントの釣り合いの式を立式する際に向きを逆にしてしまったことが原因と考えられるでしょう。このようなケアレスミスの発生がChatGPTに得点で勝てなかった要因の1つとなっています。
また、今年の東大物理では図表を選択させる問題が複数出題されました。
このような図表をDeepSeekへと入力すると以下の様になります。
DeepSeekには画像を入力とする際、その画像からテキストのみを抽出しています。そのため、今回は図表問題では画像+文字のスクリーンショットを入力しました。これが点数を落としてしまった原因かもしれません。
ChatGPTでは図表の読み取りも可能になっているため、すべての大問で8割弱の得点を獲得できています。このことより、DeepSeekよりもChatGPTの方が確実性という観点では優れていると言えるでしょう。
ChatGPTはDeepSeekよりも画像の扱いがうまいため、図表の多い物理においてChatGPTではすべての大問で8割程度得点することができ、DeepSeekよりも優れた結果になりました。
DeepSeekが見せた難問への解答
DeepSeekでは上記のようなケアレスミスが発生していましたが優れていた点も存在します。例えば第一問のⅢが以下のような問題となっています。
この問題では剛体の釣り合いについて条件を調べ上げ、運動方程式を立式していく問題となっています。河合塾の解答例は以下の様になっています。
Ⅲ(1)では等速運動時のFについて計算する問題となっています。また、(2), (3)ではFが0の場合について計算する問題となっており、この時に働く慣性力を考慮できるかどうかでこの2つの問題に回答できるかどうかが決まります。以下が各AIの生成結果です。
このように、ChatGPTでは慣性力を考慮することができずに(2), (3)の得点を獲得することができませんでした。それに対し、DeepSeekは慣性力を考慮することで適切な運動方程式を立式することができ、(2), (3)を回答することができています。この問題は普通の受験生でも間違えることが多い問題であったため、DeepSeekがこの問題に回答出来たことに講師の方も大変驚いてらっしゃいました。
このほかにも第二問のⅢや第三問のⅡの一部など、最終問題でChatGPTが回答できなかった問題についてDeepSeekは回答することができています。このことより、物理的な思考能力に関してはChatGPTよりもDeepSeekの方が優れていると考えられます。また、慣性力というこれまで問題で出てこなかったキーワードを式に落としこむことができていることからも、DeepSeekは文面だけでなく問題の状況を客観的に理解できていることが分かるでしょう。逆に、ChatGPTは与えられた問題の範囲内でしか思考出来ないため、新しい要素である慣性力を含めた立式が出来なかったのでしょう。
窪田講師「ChatGPTにはない、DeepSeekに見えた光るもの」(移動)
「画像の特徴ととらえるのはまだまだ苦手である」
「ただ、それ以外の問題は計算ミスもなく、時間もほぼかからないため、かなりすごい印象を得た」
数理計算能力の向上は数学で確認できましたが、今回の物理ではどちらのAIも7割近い得点を獲得しており、AIの物理演算能力も向上していることが分かると思います。ただ、AIでも画像を読み取り特徴を抽出する問題ではまだまだ低精度であるため、今後の改善点とも言えるでしょう。図形の読み取り精度については他教科でも求められるため、改善によって全教科の得点が大幅に向上することが期待されます。
「問題文にない慣性力の導入など、DeepSeekにはきらっと光るところがある」
「ただ、ところどころのケアレスミスは改善する必要がある」
物理の難問に回答することができたDeepSeekですが、この本質は問題文に書かれていないが、状況を想像するなら必要になる値を使用できたことにあると思います。これに対してChatGPTでは問題文で示されていた処理は適切に行うことはできても、問題文にない状況を想定することはできませんでした。この結果より、DeepSeekの方が物理的演算能力は高いことが分かりますが、正確性という観点からはChatGPTの方が優れているため、使用方法・状況に合わせた活用が求められるでしょう。
化学
設問ごとの得点：知識問題には高精度で回答
日本最難関である東大入試の化学では、全く知らない題材を使用したり大学で扱うようなものを高校化学に落とし込んだりした問題となっています。そんな大学入試でも異質な東大化学にAIはどれくらい立ち向かえるのでしょうか？まずは得点は以下の様になりました。
点数の目安としては、理一・理二の合格者平均が35点前後、理三の合格者平均は40点前後となっています。
それに対し、今回GPTは45点、DeepSeekは39点と圧倒的な点数を獲得しました。特に、GPTでは理三の中でも最優秀レベルとなっており、AIの成長をひしひしと感じます。
講師の方の印象としては、全体的に優秀だが図を書くことが出来ないことがネックだとおっしゃっていました。東大化学ではところどころ構造式などを記述する必要がありますが、現在のAIではそれにうまく対応できていないことが原因でしょう。
また、2つのモデルの優劣はあまりないようですが、強いて言うなら論述ではDeepSeekの方が良いとしていました。ただ、ケアレスミスはDeepSeekの方が多く、どちらのモデルの差はあまりないように思えます。
誤読が発生したChatGPTと論述能力が示されたDeepSeek
第一問では小問集合となっており、複数の計算問題や知識を問う問題が広い分野から出題されました。去年までのAIなら計算問題は全く解けない状態でしたが、今年はDeepSeekが17点、ChatGPTが18点とかなりの高得点を獲得することができています。論述での差が出た部分として第二問(ウ)が挙げられます。
これは二酸化炭素、硫化水素、二酸化硫黄、塩化水素などが含まれている水溶液にモール法を用いようとするときに発生する問題について述べる問題となっています。河合塾の解答例は以下の通りです。
このように、水溶液中に硫化水素が存在することで、硫化銀の沈下物を作成してしまうことを理由に含める必要があります。これに対する各AIの回答は以下となります。
DeepSeekでは硫化物イオンと銀イオンが反応して沈殿物を生成することがうまく述べられていますが、ChatGPTでは元の水溶液では存在していなかったヨウ化イオンなどが存在するため、塩化銀が生成できないとしてしまっています。なぜヨウ素が急に出てきたのか理由として、講師の方は「インターネットによくあるモール法の知識を持ってきてしまった」とおっしゃっていました。この問題はChatGPTが問題文中の「③の水溶液」を読み取ることができずに誤った認識をしてしまったことが原因と考えられます。逆に、DeepSeekでは問題文を適切に読み取り、論述も行えたことで得点できたと言えるでしょう。
高難易度問題「化合物の推定」に一部正答したChatGPT
次に、第三問のイについて確認していきます。
この問題は複数の結果を組み合わせることでアミノ酸を推定していく問題となっている。この問題に回答するためには状況を並列的に処理する能力と、一つ一つの結果を読み取る高い思考能力が求められます。河合塾の解答例と各AIの回答は以下の様になります。
ChatGPTでは各実験結果におけるポイントをうまくまとめることに成功しており、A1~A3までのアミノ酸の決定に成功しています。しかし、A4を求める問題ではアミノ酸の脱水縮合による水分子の減少のための分子量の計算ができないという初歩的なミスが発生してしまっていました。この結果より、ChatGPTのある程度の思考能力が示されましたが、難問への回答は難しくなっていることが分かります。
これに対してDeepSeekではA1、A2、A4の構造決定のミスが生じてしまっていた。これはDeepSeekが生成した根拠を見ても分かるように、複数の結果を組み合わせて回答しているのではなく、単一の結果のみを認識して回答してしまっていることが原因と考えられます。このことより、DeepSeekは複数の結果を組み合わせて解を求めるような問題に弱いと言えるでしょう。
金講師「細かいミスはあったものの、理三合格圏内の解答」
「時間制限が厳しい東大化学の中で、ChatGPTの結果は理三でも最優秀レベルの得点」
「ただ、図形の記述問題が出来ないなど、まだまだ改善の余地はある」
圧倒的な文章量と計算量が特徴の一つである東大化学では、すべての問題を制限時間内に回答することは極めて難しくなっています。そんな化学の問題に対して、AIが東大理三と戦えるかそれ以上の結果を獲得したことより、AIがかなりの精度の文脈理解と計算を、圧倒的な短時間で行えることが示されています。
「論述に関してはDeepSeekの方が優れているようだった」
「ただ、DeepSeekはその分ケアレスミスなども多く発生したため、一概にどちらのAIが優れているとは言えない」
いくつかの問題てChatGPTが不正解であった論述問題にDeepSeekは回答することができていました。これは、DeepSeekの特徴を抽出し、要素を羅列する性質と化学の記述で必要なことがマッチしていたからだと考えられます。ただ、一概にDeepSeekの方が優れているとは言えず、認識誤りやケアレスミスなどはDeepSeekの方が発生していました。これらのミスが積み重なり、全体としてChatGPTの方が優れているような結果につながっていたと考えられます。
「先生・家庭教師の代替としてAIは使用できるかもしれないが、出力が専門的すぎて高校生に理解できない可能性がある」
「引っかかっているところを理解できない時に洗い出しを行う際に活用するのが良い」
採点をしていただいた金講師はこれからのAIと受験の在り方としてこのようにおっしゃっていました。確かに、今回の東大入試でも高校範囲を逸脱した回答が見られるところが少なからずありました。そのため、教師の代わりにAIを使用することはまだ難しいようです。
しかし一方でAIの知識量と説明能力の高さを生かした活用方法も考えられます。例えば、理解できない問題をAIに入力し、何が理解できていなかったのかを知るためのツールとしてなら十分使用可能だろうと金講師は語ります。AIが発展していく中で、AIに全てを任せるのでなく、AIを利用して自分自身の学習につなげていくことが受験でも大切なこととなることが予見されます。
日本史
各設問ごとの得点：回答に必要な要素の組合せが課題
東大日本史の特徴として小問が一切なく記述問題しか出題されないという特徴が存在します。そのため、知識問題が得意なAIにとって苦しい結果になることが予想されますが、結果はどのようになったのでしょうか？各設問における採点結果は以下の様になりました。
結果としてはGPTが19点、DeepSeekが25点といったようにDeepSeekの方が高得点の結果になりました。全体的な点数としてはかなり低めの点数となりましたが、講師の方曰く良く書けていた文章だとおっしゃっていました。
それぞれのAIの特徴として、まずChatGPTでは滑らかで正解そうな文章の出力を行っていました。そのため、講師の方は最初DeepSeekよりもChatGPTの方が点数が高いように感じていたそうです。
しかし、生成される回答はあくまで「それっぽい」出力にとどまっており、要点を欠いていたり抽象・具体のバランスが取れていなかったりと減点されていった結果、DeepSeekよりも低い結果となってしまいました。この「それっぽい文章」の作成はChatGPTの特徴の一つと言えるでしょう。
続いて、DeepSeekの特徴として、問題の意図通りの書き方をする点が挙げられます。どういうことかというと、例えば「~の変化と、その結果どうなったのか述べよ」という問題があったなら、DeepSeekは初めに変化についてまとめ、その後結果についてまとめるといったような文章構成を行っています。
これは忠実になりすぎる箇所も存在し、順番を変えた方が意味が通りやすくなる文章でも、問題で書かれている通りの順番で回答してしまうといった問題が発生しました。それでも講師の方は「教科書通りの知識を持った状態なら、模範解答の作成に役立つだろう」とおっしゃっていました。
一見正しいそうなChatGPTと要素を羅列したDeepSeek
まず、第一問では以下のような問題が出題されました。
この問題では古代日本の文化史の変化を問う問題となっており、複雑な論理構成となるため、事前に持っている知識と、資料から適切な情報を読み取る能力、これらを組み合わせる能力が必要となります。この問題に対する河合塾の解答例と各AIの解答は以下の様になっています。
この問題の肝となる部分は「中国文化の受容・担い手の在り方の変化」について、「朝鮮からの間接的な流入⇒中国からの直接的な流入に変化」「渡来人が伝える⇒仏僧が伝えるという変化」のように、複数存在する変化のポイントを捉えることが必要となります。
これに対し、ChatGPTでは一見正しいような文章を生成していますが、実際は問われていない内容を盛り込んだり、受容の主体として貴族を含めてしまったりとポイントをカバーしきれていない箇所が複数存在します。それでも、この文章は良く書けているほうだと講師の方はおっしゃっていました。この「7割程度の内容をそれっぽく記述する」ことはGPTらしいとも言えるでしょう。
一見正しそうな文章を出力するChatGPTに対し、DeepSeekでは体言止めで文章が終わっていたりと文章力に明らかな差があるように見えます。そのため、DeepSeekの方が点数が低いように思えますが、実際はどちらも8点と同等の点数となっています。
この理由として、講師の方は「加点要素となる記述が多い」とおっしゃっていました。例えば、GPTでも記述していた「朝鮮⇒中国」の変化に加え、「渡来人⇒仏僧」の変化についての記述も出来ていました。
このことより、DeepSeekにはChatGPTと同等かそれ以上の特徴抽出能力が備わっていることが分かります。また、この文章の構成は「変化⇒背景」といった記述順番となっており、問いと同じ順番で記述しよとしていることも見て取れます。このことより、前述したようにDeepSeekは文章力では劣りますが、問題に忠実に回答しようとしていることが分かります。
問題文に忠実なAI、DeepSeek
続いて、第二問では以下のような問題が出題されました。
この問題では資料を読み取り具体的な特徴を抽出し、最終的には抽象的な結論を述べるような、帰納法的な記述をする必要がある問題となっています。この問題に対する河合塾の解答例と各AIの解答は以下の様になりました。
解答例から分かるように、資料(1), (2), (3), (4)から具体的な内容を抽出し、それらの共通点を抽象的に纏めるような解答が必要です。この問題に対し、ChatGPTでは具体的抽出をする必要がある箇所に対して「農民主導の動き」や「武士層も加わった一揆」のようにかなり抽象化しすぎてしまっています。加えて、「守護追放後の自治を容認」のように条件文からは読み取れない記述も見られました。
これらより、ChatGPTには事象を抽象化しすぎて抽出してしまう欠点が存在することが分かります。また、最終的な結論である「集団の長を利用して一揆に対応した」ということも掴むことができなかったため、1点しか獲得することができませんでした。
DeepSeekの場合、「土一揆は荘園住民を基盤」や「守護家臣の地侍が関与」の様に一揆の特徴について大まかにまとめられていますが、最終的な幕府の対応については述べることができませんでした。ChatGPTにはできなかった具体的情報抽出が出来ることがDeepSeekの利点であると言えるでしょう。
しかし、(1), (2)を「初期」、(3), (4)を「後期」と言い換えていました。また「基盤が地域共同体から守護権力内の勢力へ拡大した点に差異がみられる。」のように聞かれていないことに回答してしまっています。問題文の最後に「基盤の違いに触れながら」とあるため、最後に記述してしまったと考えられます。
このように、問題文の順序そのままで回答してしまうことはDeepSeekの強みともいえるし、欠点もであるとも言えるでしょう。
田中講師「論理的な文章の記述能力はまだまだ未熟。ただ、ChatGPTは"正解みたい"な文章を作る」
「想定よりも良くかけていた答案になっていた。また、複数要素を回答に盛り込もうとする姿勢も見られた」
「ところどころ受験生がしないような表現をしており、AIが作る文章にはぎこちなさがあった」
ChatGPTが19点、DeepSeekが25点という結果に対し、講師の方は「意外と書けている」という印象を持たれていました。昨年までのAIが作成する文章は一般的な文章とかけ離れたAIらしい文章となってしまいましたが、今回AIはまともな文章を作成できています。やはりAIの文章力は日ごとに進化しているのでしょう。
この影響で逆に細かなぎこちなさが目に留まるようになってしまいました。文章力は成長しているとはいえ、まだまだ改善の余地はあることが明らかになっています。
「DeepSeekが作成する文章はいい意味でも悪い意味でも問題文に忠実に作成されていた。」
文章にぎこちなさが出てしまった要因の1つとして、DeepSeekは問題文の語順を忠実に守って回答していることが挙げられます。しかし、これは悪いことだけでなく、「もっと精度が高まれば模範解答の作成の際に活用できるかも」と講師の方はおっしゃっていました。問題文に即した回答の記述が最も良い解答となりますが、回答の自然さを出すためには順番を入れ替える必要があります。
ただ、AIが問題文に忠実に回答を作成し、かつ精度も良いものなら、AIの生成は模範解答として分かりやすいだろうとのことでした。
「どちらのAIも事実・要素の羅列ではなくもう少し論理的でこなれた文章を作成してほしい。」
今回、少ないながらも点数を獲得できたことから、文章から特徴を抽出できることより文脈を理解する力はあることが明かになったと思います。ここからさらに得点を伸ばしていくためにはは、ただ特徴を羅列するのではなく、それを噛み砕き論理的に整合性が取れた文章の作成が必要になると講師の方は感じていました。逆に現在AIの作成する文章は事象の羅列された文章の可能性があるため、そのまま活用するのではなく人間側が文章の論理性などを確認する必要があるでしょう。
世界史
各設問ごとの得点：知識問題のミスはほぼないが、「人間がしないようなミス」も
世界史は日本史とは異なり、一問一答のような知識問題と、問題について合計約600字の記述を行う論述問題のような構成となっています。知識問題で得点できる分日本史よりも高得点が取れそうな予感となっていますが、結果としては以下の様になりました。
結果的にChatGPTが34点、DeepSeekが40点といった結果になりました。小問集合である第三問ではChatGPT, DeepSeekともに高い得点を獲得することができています。しかし、大量の記述を行う問題である第一問ではGPTが5点、DeepSeekが10点とどちらも振るいませんでした。
結果としてChatGPTの得点はDeepSeekに劣ってしまい、講師の方の印象としては「ChatGPTは少しできない東大受験生」レベル。「抽象と具体のバランスをとることができていない」といった印象も持たれていました。
この解答を実際の受験生と見立てたとき、問題に対する経験を積み重ね、より出題意図をくみ取った回答を学ぶ必要があるようです。
また、DeepSeekでは今年の東大の難問である記述問題に合格水準レベルで回答することができました。一方で、受験生ではありえない間違いも見られ、得点が伸び切らないようでした。
そのため、初め講師の方は「良くできている」と大変驚いてらっしゃいましたが、「受験生がこの答案を提出したらカンニングを疑がってしまう」といった印象も持たれていました。
この難問を回答できても途中で失点してしまうという傾向は物理でも見られたと思います。講師の方の印象としては「すごい特殊な子の解答みたい。回答の精度を伸ばせばさらに良い点数を取れる」とおっしゃっていました。
東大世界史の「華」、第一問に対する各AIの解答
まず着目すべきは東大世界史の「華」ともいえる第一問でしょう。その中の(1)では以下のような問題が出題されました。
この問題では1900年代初頭の大陸国家である4国の特徴・変容について述べる問題となっています。これを12行という非常に長い分量で記述する必要があるため、その時代に関する知識力と指定語句を使用しながら論述を行う高い文章構成能力が求められます。次に、河合塾の解答例と各AIの出力結果をまとめます。
解答例より、この問題ではまず4か国を適切に支配領域と民族構成という指針を持ったうえで二か国に分類する必要があります。その後、その2か国をさらに分類する必要があり、非常に高い記述能力が求められることが分かるでしょう。
これに対し、ChatGPTの解答では分類の要因としてオーストリア=ハンガリー帝国とオスマン帝国については正しく述べられていますが、清・ロシア帝国に関しては正しく述べることができませんでした。そのため、点数がかなり下がってしまっています。
また、それ以外の語句の使用方法なども誤ってしまい、文章内容の得点が8点中1点、枠組みによる得点は4点中2点という結果になってしまいました。やはり生成AIでも東大世界史のような高難易度の記述はまだ難しいことが分かると思います。
DeepSeekでは、初めの分類を支配領域と民族構成の観点から行うことができ、最低限の枠組みを捉えることはできました。しかし、指定語句の使用についても出来ていない箇所が存在しました。結果として枠組みによる得点が4点中4点、文章内容によるt句点が8点中2点といった結果になりました。
この結果から、問題文の枠組みを捉えている点ではChatGPTより優秀ですが、長文の構成力や記述力に関してはあまり差が無いように感じます。
2025年世界史最難関問題を回答したDeepSeek
第一問でも分かるように、長い記述はやはり生成AIにとって苦手ですが、次は比較的短い文章について確認してみます。例として第二問(2)のbについて取り上げます。
講師の方曰く、「今年の東大入試は第一問の記述より第二問(2)bの記述の方が難しいのでは」と言わしめるほど今年のこの問題は非常に難しい問題でした。
図1の説明からファシズム政権が古代ローマとイタリアの連続性を強調しようとしていることを読み取り、図2, 3からオクタウィアヌスやトラヤヌスなどの古代ローマ帝国の指導者などの話を絡めて記述する必要があります。画像からその時代について理解することができる高度な知識量が求められる問題です。
解答例では図1の説明、図2で示されるアウグストゥスの説明、図3で示されるトラヤヌスの説明を行い、最終的にファシストについて述べる流れとなっています。
ChatGPTの解答ではイタリアのエチオピア侵略や、ローマ=ベルリン枢軸の話など明らかに題意を汲めていません。
DeepSeekではアウグストゥス・トラヤヌスの個別の説明はないものの、彼らの主義とファシストを絡めた文章を出力でき、ChatGPTより優れていました。この結果に講師の方も非常に驚いており、「世界史にかなり深い理解がある」とおっしゃっていました。
ほとんどの受験生が正解した短答問題を不正解？！
そんなDeepSeekですが、弱点も存在します。まずは、物理や化学などでもあったような図表読み取りが発生してしまっている点です。
この問題ではグラフを読み取り(B)に入る都市を答える問題となっています。一般的な東大合格レベルの受験生ではほとんど回答できる問題となっていますが、DeepSeekの結果は以下の様になっています。
都市Bに入るはずの問題なのに、すでに表に存在するバーミンガムを選択してしまっています。これは明かに人間にはないミスであるため、講師の方によると先ほどの記述とこの解答が混じっている場合、カンニングが疑われるだろうとおっしゃっていました。全体を通してこのような図表の読み取りミスやケアレスミスがDeepSeekの特徴となりつつあるだろう。
これらより、DeepSeekは画像読み取りで伸びしろのあるAIと言えるでしょう。それに対しChatGPTでは難解な問題には回答できませんでしたが、比較的難しくない問題に対する正答率は高くなっており、安定した精度を担保されているAIと言うことも出来るでしょう。
坂本講師「あと一歩足らないChatGPTと特殊な子であるDeepSeek」
「ChatGPTは少しできない東大受験生のような解答に対し、DeepSeekは特殊な子のような解答を作成した」
各AIの採点結果はそれほど離れていないものの、その内容はかなり異なっています。ChatGPTは堅実に比較的容易な問題には回答し、難問に対しては少ししか点数が取れないという結果に対し、DeepSeekでは基本的な問題でミスが発生したものの、難問に対してはいくつか解答したという傾向が見られました。この結果より、ChatGPTは文脈の理解力と文章力の改善が、DeepSeekは基本的な問題に回答できるような正確性の改善が必要であることが分かります。
「AIが正解できたからといった決してその問題が容易だったわけではなく、問いがきれいで論理的であったから正解できている」
AIの正誤は難易度によるものではなく、その問題自体が良い問題かどうかによると講師の方はおっしゃっていました。これは数学でも「AIの得点は"問題"による」とおっしゃっていたことと合致しています。問題文の書き方によってAIの得点が左右されることの裏付けとなるでしょう。また、将来的にAIがかなりの高精度になった場合、「AIが解けるかどうか」が問題作成における一つの指針になるかもしれません。
地理
各設問ごとの得点：細かい表や地形図の読み取りはまだまだ
東大地理は大部分が記述問題で占められており、短い文量ですがその分問題数が多いといった特徴が存在します。そのため、日本史とは異なる文章校正能力が求められます。日本史の点数はかなり低くなりましたが、地理の点数はどうなっているでしょうか。以下採点表です。
結果として、ChatGPTは41点、DeepSeekは37点となっており日本史よりも高得点を獲得することができています。また、他の社会科目と異なり、DeepSeekよりもChatGPTの方がわずかに高い点数を獲得することができおり、第三問で差がつく結果となりました。
第三問では図表やグラフから特徴を読み取る問題が多く出題されました。そのため、この点数の差はChatGPTとDeepSeekの図表を読み取る能力の差と言えるでしょう。
また、地理にしかない固有の問題を回答していくことで今まで明らかになったAIの欠点とは別の欠点も明らかになりました。以下に設問別解答を確認していきます。
複雑な問題文の文脈理解が曖昧なAI
まず、第一問のB(2)において以下のような問題が出題されました。
この問題では「このような河川流出土砂量の変化の要因」を述べる問題となっており、「このような」は「新しい年代ほど変動の幅が小さくなり」と「値が減少している」ことを表しています。そのため、この問題の解答の際には問題文を読み取る能力と、図形を読み取る能力両方が求められる問題となっています。これを踏まえたうえで河合塾の解答例と各AIの出力結果は以下の様になります。
この問題では解答例のように「新しい年代ほど変動の幅が小さくなる要因⇒ダムとえん堤の建設で流量調整が可能に」と「値が減少する要因⇒植林などの対策」のように2つの要因に対する理由について述べる必要があります。
しかし、ChatGPTでは「土砂の捕捉と土壌保全策の拡充」を「値が減少する要因」として述べており、「値が変動する理由」については全く触れることができませんでした。
また、DeepSeekでは「流出量減少と変動縮小の主因」として「ダム貯水増加で土砂を堰止め、土壌保全で侵食を抑制した人為的管理」を上げていますが、「流量調節」については触れられていないため「変動縮小」の理由にはなりえなませんでした。
しかし、ChatGPTが気づけなかった「変動縮小」について触れることができたのはDeepSeekの強みと言えるでしょう。この2つのAIの得点はどちらも1点でしたが、回答を比較すると問題文を理解できているのはDeepSeekですが、それを回答にまとめることはできませんでした。
日本地理と世界地理の知識差
上記の問題のようなミスはあっても、第一問・第二問ともに8割を越えた解答を作成できたことは驚異的と言えるでしょう。しかし、第三問ではどちらのAIも10点弱程度の点数しか獲得することができませんでした。原因は細かい図表が読み取れなかったことと、日本に関する地理の知識が欠如していたと考えられます。
東大地理では基本的に1/3程度日本地理について問われる問題が存在します。その中でも、戦後日本に関する知識は東大地理では頻出の問題となっています。具体的に、第三問のAは戦後日本における都心の人口推移について記述する必要がある問題となっています。
この分野についてどちらのAIも知識が足らず、ChatGPTでは10点中5点、DeepSeekでは10点中3点といった結果になりました。日本史と世界史の点数でも差が出た通り、やはりAIは日本に関する知識より世界に関する知識の方があるのでしょう。
東大地理頻出である地形図の読み取り
また、細かい図表の読み取り問題についても点数を獲得することができませんでした。以下がその問題です。
このように細かい図から人口の推移を読み取る必要があり、それらを述べる問題となっています。しかし、どちらのAIも同様に回答することができませんでした。やはり、細かい絵の読み取りは難しく、大幅に人間より劣っていることが分かります。
人間しか持っていない社会に対する問題意識
最後に、AIには人間が持っている問題意識が欠如しているように見えました。東大地理には例年、現在発生している問題について考察・記述する必要がある問題が存在します。今年の地理では以下のような問題が出題されました。
この問題では中古の衣類の輸出入規制に関する記述を行う問題となっています。基本的には「輸入側が規制を行う理由」と「輸出側が規制を行う理由」の2つを記述する必要があります。これを踏まえたうえで、河合塾の解答例と各AIの解答を以下に示します。
この結果より、どちらのAIも「地元産業を圧迫してしまう」ことと「環境負荷が高まる」ことについて記述はできています。しかし、どちらの理由も輸入側の視点として書かれており、輸出側が規制を行う理由としては書かれていません。実際は河合塾の解答例からも分かるように「環境負荷が高まる」ことを理由としてEUなどでは規制を行っていることを記述する必要があります。
このことより、AIには「輸入国」のことを「輸出国」が考えるといった公共の視点を問う出題意図をくみ取れませんでした。この受験生に考えさせる問題に東大の面白さが詰まっており、まだAIでは思考出来ないところがあるのですね。
伊藤講師「AIが苦手とする部分とできない部分が明らかになった」
「初見の印象では50点を超えるような印象を抱いたが、実際に採点すると受験生のボリューム層に落ち着いた」
「やはり図表を多用する問題や、日本地理に関する問題は苦手。また、ところどころ問題文の理解が甘いところも」
第一問、第二問と回答を確認していく中で第一問・第二問では知識問題に対してもほぼ正確に回答し、記述問題でも要点を抑えた文章の作成ができたいたため、伊藤講師はかなりの高得点を取ること感じてらっしゃいました。
しかし、第三問で日本地理に関する地形図や表の読み取り問題が出題されると途端に回答できなくなり、大幅な失点となってしまいました。これは全科目を通じた今後の課題となるでしょう。
「現状に対する問題意識を問う問題では明確にAIはできていない」
この課題は地理で初めて明らかになりました。今までの改善点はAIが今後進歩していく中で必ず改善されることとなりますが、この問題はAIが明確に「できない」問題と言えるでしょう。
弱者のための学問である地理では、世界を「公共の視点」に立ち学んでいく必要がありますが、この視点を持たないAIは世界で発生している不合理な問題について思考することはできません。人間だからこそできる不合理な問題に対する思考に加え、補助として部分的に人間以上の知能を持つAIを使用することで、世界に存在する問題に対して効率的・効果的に対処できるようになるでしょう。
おわりに
誰でも東大生レベルの思考にアクセスできる
今回の実験でChatGPT o1, DeepSeek R1どちらも東大理三という日本最高レベルの大学入試に合格することができたことから、少なくとも東大生レベルの頭脳を有していることがわかりました。
実験方法でも触れたように、今回は特別な指示を行っていません。つまり、誰でも、頑張って工夫をせずとも東大生レベルの思考にアクセスできる環境があるといえます。
ただ、しっかりと指示を与えることで本来はもっと点数を取ることができるの事実です。（受験ならではの知識や回答形式・思考に使っても良い素材の制限など）
河合塾講師の方々からのお話の中でも、AIをうまく活用する側になることが大切であるという言葉を何度もお聞きし、改めて日々AIを有効活用していくことが重要であると感じました。
最後になりますが、採点していただいた河合塾の皆様、ありがとうございました！
ぜひLifePromptにお問い合わせください！
生成AIを活用したい企業の方
本実験の詳細について聞きたい方
生成AIシステムをつくる仕事にご関心のある方
ぜひ、以下の会社ホームページよりお気軽にお問い合わせください！
