AIモデルの評価に使われる指標（ベンチマーク）を解説します。数値そのものの転載はせず、 誤解しやすい点・条件によって変わる点・読み方のチェックリストと、一次ソースへのリンクを添えます。
どちらの答えが好ましいかを人が投票し、その勝ち負けを積み上げてモデルどうしの相対的な位置を推定するものです。正しさを judge しているのではなく、選ばれやすさを集計しています。
人間の専門家がその作業に何分・何時間かけるかを難易度の物差しにして、「モデルがどのくらいの難しさまで届くか」を時間で言い表した指標です。モデルが動き続けられる時間を測ったものではあ…
実在するソフトウェアの不具合報告を、モデルに実際のコードを直させて解決させ、もとから用意されているテストが通るかどうかで合否を判定する評価です。人間が書いた模範解答と見比べるのでは…
評価の実施主体は、大きく4つに分かれます。 開発元 — そのモデルを作った組織自身が測ったベンチマーク運営元 — その評価を運営する、開発元とは別の法人が測った独立第三者 — 開発…
AIME は、米国の数学協会が高校生向けに実施している数学コンテストの問題です。1回15問・3時間・答えは0から999までの整数のみ・電卓は使えません。 GPQA は、生物・物理・…
日本語 LLM 評価の中心にあるのは2つです。 Nejumi リーダーボード — Weights & Biases の日本法人が運営する、 日本語モデルを横断して継続的に評価してい…