数学・推論ベンチの「満点」の意味（対象指標: AIME・GPQA Diamond）
最終確認日 2026-07-27 確認済み
「難関数学コンテストでほぼ満点」「大学院レベルの問題で高い正答率」。
こうした記載は分かりやすく、強い印象を残します。
ところが満点に近づいた指標は、そこから先を測る力を失っていきます。
この記事は、満点に近い成績の記載を、能力の証明としてどこまで受け取ってよいかを
判断するためのものです。2つの指標（数学コンテストの問題と、大学院レベルの選択式問題）を
並べて扱います。単位も出題形式も違いますが、「満点に近い」という同じ現象が
起きているためです。
一言でいうと
AIME は、米国の数学協会が高校生向けに実施している数学コンテストの問題です。
1回15問・3時間・答えは0から999までの整数のみ・電卓は使えません。
GPQA は、生物・物理・化学の大学院レベルの4択問題を集めたもので、
研究者チームが作りました。どちらも「AI を測るために作られたもの」ではありません。
何を測るか
AIME は本来、上位の生徒をさらに上の選抜へ送るための試験です。
公式の説明に AI 評価という用途は出てきません。AI の評価に使われているのは、
第三者が問題を取り出してデータセット化したものであって、
主催団体が AI 向けの一覧を運営しているわけではありません。
GPQA は、専門家と、検索を自由に使える非専門家の双方に解かせて難易度を確かめる
作り方をしています。「Google-proof」という呼び名はここから来ています。
評価は選択肢から正解を選べたかで自動採点されます。
どちらにも、統一された公式の一覧（リーダーボード）は存在しません。
流通している値の多くは、開発元が自社の資料で公表したものです。
よくある誤解
Raside の整理
満点に近い＝その分野が得意になった
満点に近づいた指標は、そこから先の差を測れなくなっています。
実際に、ある評価が飽和したことを理由に、より難しい後継が作られる動きが
複数の組織で独立に起きています。後継を作った側自身が、
既存の評価では最先端のモデルを測る情報量が乏しくなったと述べています。
満点付近の値は「能力の証明」ではなく「この物差しでは測れなくなった」という
合図です。これを能力の証明として読むと、実際には差がある2つのモデルを
同じだと判断してしまいます。
残った不正解は、モデルが解けなかった難問だ
必ずしもそうではありません。別の著名な評価を人手で検査し直した研究は、
問題側のラベル誤りや設問の曖昧さが一定の割合で存在することを見つけています。
正しく答えたのに不正解と採点される場合がある、ということです。
満点に近いほど、残った少数の誤答に問題側の不備が占める割合が上がります。
最後の数問の差でモデルを比べる読み方は、ここで成り立たなくなります。
わずかでも上回っているなら、その分だけ優れている
評価には試行ごとのばらつきがあります。ばらつきを定量化した研究は、
モデル間の差が意味のある差か、自然な変動の範囲内かを見分けるには
分散を考える必要があると述べています。
AIME は1回15問と規模が小さく、1問の正誤が全体に与える影響が相対的に大きくなります。
小さな差を実力差として読むと、測定の揺れを読んでいることになります。
新しい年度の問題を使っているから、学習データに入っていない
毎年新しい問題が作られること自体は事実ですが、それだけでは汚染を防げません。
ある研究チームは、直近の年度についても一部の設問が競技の前後に
別の場所へ類似の形で存在していたことを見つけたと報告しています。
「新しい年度＝無汚染」という直感は、この事業で最も頻繁に使われる近道です。
近道が成り立たない実例が一次の研究として存在することを、知っているかどうかで
評価の読み方が変わります。
Google-proof とは、検索を禁止して解かせたという意味だ
違います。検索を自由に使える非専門家に解かせても正解しにくかったことをもって
そう呼んでいます。検索行為を禁じたのではなく、
検索では届かない問題であることを確かめたという意味です。
この取り違えは「では検索を許せば簡単になるはずだ」という誤った推論を生みます。
設計の意図は逆で、検索で埋められない差を作ることにありました。
条件で変わる点
この指標の値が変わりうる条件（RunConditionの主要軸）です。
- AIME: どの年度・どちらの回か
AIME は毎年新しい問題で実施され、同じ年に I と II の2回があります
（受験できるのはどちらか一方です）。「AIME」とだけ書かれていても、
どの問題セットかは特定できません。 - 集計方法（1回で解けたか、複数回の多数決か）
1回試して解けたかを見る方法と、複数回試して答えの多数決を取る方法があります。
推論を長く行うモデルでは、試行数を増やすことで到達点が変わることが
開発元の技術報告自身に示されています。集計方法の書かれていない値は
別の集計方法の値と並べられません。 - ツール利用と思考量の指定
計算のためのプログラム実行を許すかどうか、どれだけ長く考えさせるかを
条件として指定している例があります。開発元自身が、
ツール利用の有無が異なる値は比べるべきでないと注記している場合もあります。 - GPQA: どのサブセットか
GPQA には複数の部分集合があり、よく使われる Diamond は198問です。
専門家が正解し、かつ非専門家の多くが不正解だった問題という基準で
絞り込まれた、最も難しい部分集合にあたります。サブセット名がなければ
条件は特定できません。 - 配布元とライセンス（AIME で特に問題になる）
AIME を AI 評価用に配布しているのは複数の第三者で、
配布元ごとにライセンスが揃っていません。商用利用ができないものも含まれます。
「同じ AIME」でも、どこから取ってきたかで扱える範囲が変わります。
Raside の整理（条件をまたいだ比較）
この2つを1本の記事で扱うのは、性質が同じだからではありません。
「満点に近づいたときに起きること」という一点だけが共通しています。
それ以外はかなり違います。
| — | AIME | GPQA (Diamond) |
|---|---|---|
| もともとの用途 | 高校生向けの数学コンテスト | 研究のために作られた問題集 |
| 出題形式 | 0〜999 の整数を答える | 4択から選ぶ |
| 作った主体 | 数学協会（AI 企業と無関係） | 大学の研究者チーム（一部は AI 企業にも所属） |
| 問題の更新 | 毎年新規に作られる | 固定 |
| 公式の一覧 | 無い | 無い |
| 配布ライセンス | 配布元ごとに不統一 | CC BY 4.0 ＋ 公開しないでほしいという要請 |
飽和の語られ方も対称ではありません。AIME については複数の組織が
独立に「もう測れない」と判断して指標を入れ替える動きを見せている一方、
GPQA についてはそうした明示的な宣言が同じ密度では見当たりません。
「飽和」という言葉が使われる頻度は、指標の性質（自動採点の数学か、選択式の知識か）に
よって偏っている可能性があります［当方の仮説。裏づけとなる一次の記述は見つけていません］。
なお GPQA には「データセットの例をオンラインに公開しないでほしい」という要請が
あり、これはライセンス条項そのものではなく上乗せの依頼です。
当サイトが問題文の実例を載せていないのはこの要請によるものです。
比較対象: AIME・GPQA Diamond
読み方
スコアを見たときに確認すべきチェックリストです。
Raside の整理
AIME なら、どの年度・どちらの回か
毎年別の問題セットで、同じ年にも2回あります。名前だけでは特定できません。
GPQA なら、どのサブセットか（Diamond か否か）
Diamond は最も難しい198問に絞ったものです。他のサブセットとは母集団が違います。
集計方法は何か（1回か、複数回の多数決か）
推論を長く行うモデルでは、試行数の違いが到達点を変えることが技術報告に示されています。
ツール利用や思考量の指定はあるか
条件が違えば比べるべきでないと、開発元自身が注記している例があります。
その値は満点付近か。付近なら、差を読むのをやめる
飽和した領域では、差は実力ではなく測定の揺れや問題側の不備を反映しえます。
最小例
Raside の整理（この辞典の読み方の当てはめ）
あるモデルの発表資料に「難関数学コンテストの問題でほぼ満点」と書かれていた、
という場面を考えます。値そのものは当サイトでは扱いません。
何を確認し、どこで読むのをやめるかだけを見ます。
まず年度と回を探します。書かれていなければ、その時点で
他社の値と並べることはできません。問題セットが違う可能性があるためです。次に集計方法を探します。1回で解けたのか、複数回の多数決なのかで
別の量になります。「満点に近い」という表現は、多数決を取れば
近づきやすくなるという関係にもあります。次に実施主体を見ます。統一の公式一覧が存在しないため、
流通する値の大半は開発元の自己申告です。当サイトではこれを「主張」として扱い、
独立した検証と同じ扱いにはしません。最後に、その値が満点付近かどうかを見ます。付近であれば、
他社との差を読むのをやめます。残った誤答に問題側の不備が混じる余地があり、
試行ごとのばらつきもあるためです。当サイトが扱う19版では、中国発の公開ウェイト系の多くが開発元発表として
これらの値を公表している一方、国産10版については公表を確認できませんでした。
これは「測られていない」であって「及ばなかった」ではありません。
満点に近いという情報は、モデルについてではなく、物差しについての情報である。
その物差しがもう使えなくなったことを意味していて、
モデルの実力がそこで頭打ちになったことを意味してはいません。
運営主体・独立性（詳細）
| 対象指標 | 運営主体 | 独立性 | 公式サイト |
|---|---|---|---|
| AIME | 原題著作権はMAA（Mathematical Association of America）。LLM評価用データセット化は複数第三者（HuggingFaceH4/aime_2024等） | 学術 | 公式サイト |
| GPQA Diamond | David Rein他（学術研究者チーム） | 学術 | 公式サイト |
AIME の主催は米国の数学協会（非営利団体）で、AI 企業とは無関係の教育団体です。
ただし AI 評価用データセットを作っているのは主催団体ではなく複数の第三者なので、
「AIME のスコア」の実施主体は、値ごとに確かめる必要があります。
GPQA は大学の研究者チームが作ったものですが、
著者の一部は AI 企業にも所属を併記しています。
純粋に独立した第三者と言い切れるかは、読者が知っておいてよい事実です［当方の整理］。
どちらも公式の一覧を持たないため、流通する値の多くは開発元の自己申告です。
当サイトの区分では、それらは「開発元」にあたり、証拠水準は機械的に「主張」になります。
一次ソース
- MAA公式サイト（AIME主催団体）
- GPQA原論文（GPQA: A Graduate-Level Google-Proof Q&A Benchmark）
- DeepSeek-R1論文（Incentivizing Reasoning Capability in LLMs via Reinforcement Learning）
- MathArena/aime_2025（AIME 2025年度分データセット）
- Humanity's Last Exam論文
- Epoch AI ベンチマーク選定方針・データライセンスFAQ
- Are We Done with MMLU?（ラベル誤り指摘論文）
- 評価ベンチマークの分散の定量化論文（Quantifying Variance in Evaluation Benchmarks）
- MathArena論文（Evaluating LLMs on Uncontaminated Math Competitions）
- GPQA (Diamond)
関連する比較・モデルへの導線
この指標を評価サマリに表示しているモデルのページです（値が確認できる版・欠損理由が示されている版の両方を含みます）。
当サイトはこれらの評価の数値を転載していません。論文中の数値・図表は
再利用が認められた条件で公開されているものがありますが、
AIME は配布元ごとにライセンスが揃っておらず、GPQA には
データセットの例をオンラインに公開しないでほしいという上乗せの要請があります。
値そのものは一次リンク先でご確認ください。
評価が飽和すること自体は、失敗ではありません。むしろ、
ある物差しで測れる範囲を測り終えたということです。
問題は、飽和した物差しを使い続けて差を読み取ろうとすることのほうです。