SWE-bench 等のコーディング評価とは（対象指標: SWE-bench Verified）
最終確認日 2026-07-27 確認済み
「SWE-bench で高い成績」という表現は、いまや発表資料の定番です。
ところが SWE-bench という名前が指すものは一つではありません。
母集団も、対象言語も、採点の範囲も違う複数の変種が、同じ名前で流通しています。
この記事は、発表資料に出てくるコーディング評価の記載を、そのまま受け取ってよいか判断する
ためのものです。開発支援ツールの導入を検討している方、
複数のモデルを同じ表に並べようとしている方に関係します。
一言でいうと
実在するソフトウェアの不具合報告を、モデルに実際のコードを直させて解決させ、
もとから用意されているテストが通るかどうかで合否を判定する評価です。
人間が書いた模範解答と見比べるのではなく、機械的にテストを走らせて決めます。
何を測るか
判定は2種類のテストの両方を満たしたときだけ「解決」とされます。
- 直ったら通るはずのテストが、実際に通ること
- もともと通っていたテストが、壊れずに通り続けること
後者があるため、「そのテストだけを無理に通す」書き換えでは合格になりません。
入力は不具合報告の文章とリポジトリで、モデルはシェルを叩き、ファイルを読み書きし、
テストを走らせながら修正案を作ります。
よくある誤解
Raside の整理
公式リーダーボードに載っている以上、運営が検証した数字だ
運営による独立検証は任意で、多くの提出は自己申告のまま掲載されます。
学術研究（2025年）も、提出手順が詳細な文書化を求めていないため
多くの手法の設計や出所が不明確なままである、と指摘しています。
「第三者のサイトに載っている」ことと「第三者が検証した」ことは別です。
当サイトは評価の実施主体を4区分（開発元／独立第三者／ベンチマーク運営元／引用転記）で
持ちますが、掲載場所ではなく誰が測ったかで区分します。
SWE-bench の成績はモデルの性能を表す
測っているのはモデルと、その外側の実行環境を合わせたものです。
ファイルの探索・編集・テスト実行をどう設計するかで結果が大きく変わることは、
この分野の代表的な研究がまさに主題として扱っています。
同じモデルでも実行環境が違えば別の値になります。
モデル単体の指標と同じ表に並べると、比べているものが揃いません。
実在の不具合を使っているのだから、実務能力そのものを測っている
母集団は Python の12リポジトリに集中しており、正解となるテストは
あらかじめ用意されています。テストを設計する力、大規模な設計変更、
コードの読みやすさや保守性は採点の対象に入っていません。
導入判断のために見るなら、自分の現場の作業がこの母集団に似ているかが要点です。
似ていなければ、この数字は自分の用途を代表していません。
公開されている課題なのだから、条件は誰にとっても同じだ
課題が公開されているということは、学習データに入りうるということでもあります。
2025年の研究は、収録リポジトリに対する成績が同種の収録外リポジトリより
明確に高いという結果を示し、推論ではなく学習時の記憶を呼び出している可能性を
指摘しています。
この論点は研究上まだ決着していません。決着していないこと自体を書かずに
数字だけを載せると、確定した実力として読まれます。
条件で変わる点
この指標の値が変わりうる条件（RunConditionの主要軸）です。
- どの変種か（最も重要）
Full / Lite / Verified / Multimodal / Multilingual といった変種があり、
さらに別法人が運営する派生（Pro）や、継続更新型の派生（Live）も存在します。
母集団も採点対象も違うため、変種名の書かれていない記載は条件が特定できません。 - Verified の絞り込み経緯
Verified は、多数の候補から人手で問題の明瞭さとテストの妥当性を確かめて
500件に絞ったものです。「検証済み」という語は課題の品質を検証したという意味で、
提出された結果を第三者が検証したという意味ではありません。 - スキャフォールド（モデルの外側の仕組み）
公式の一覧は、運営が用意した統一の実行環境による結果と、
各社が独自に組んだ実行環境による結果を、同じ画面上で切り替えて表示します。
どちらの結果を見ているかで意味が変わります。 - 提出と検証の手順
提出時に予測ファイル等の添付は必須ですが、運営による独立検証は任意です。
さらに2025年11月以降、Verified と Multilingual への新規提出は学術機関所属者に
限定される一方、Multimodal は従来どおり開発元も直接提出できる、という
変種ごとに異なる運用になっています。 - 対象言語とリポジトリ
Full と Verified は Python のみで、12のリポジトリから作られています。
Multilingual は9言語・42リポジトリ・300タスクという別構成です。
「コードが書ける」の範囲は、この母集団の外までは保証されません。 - 試行回数
1回で解けたかを見るのか、複数回試して1回でも解ければよしとするのかで
結果は変わります。記載がなければ特定できません。
Raside の整理（条件をまたいだ比較）
同じ「SWE-bench」でも、変種が違えば別の評価です。公式サイトの各変種のページ・
リポジトリ・複数の論文を突き合わせて整理すると、次のように分かれます。
| 変種 | 運営 | 母集団の性質 | 対象言語 |
|---|---|---|---|
| Full | SWE-bench チーム | 12リポジトリ由来 | Python のみ |
| Lite | 同上 | Full からの軽量サブセット | Python のみ |
| Verified | 同上（OpenAI と協働） | 人手で絞った500件 | Python のみ |
| Multimodal | 同上 | 画面画像など視覚要素を含む | — |
| Multilingual | 同上 | 42リポジトリ・300タスク | 9言語 |
| Pro | 別法人（Scale AI） | 別構成 | — |
| Live | 別プロジェクト | 継続更新・汚染回避を目的 | — |
加えて Bash-Only はデータの変種ではなく実行手順の名前です。
同じ列に並べると「もう一つのデータセット」だと誤解されます。
したがって、変種名の書かれていない2つの数字を横に並べることはできません。
当サイトでは、条件が異なる項目を横並びにせず「条件が異なるため比較できません」と明示します。
比較対象: METR Time Horizon
読み方
スコアを見たときに確認すべきチェックリストです。
Raside の整理
どの変種か（Full / Lite / Verified / Multimodal / Multilingual / Pro / Live）
母集団も採点対象も違います。変種名がなければ、それだけで比較の条件が成立しません。
運営の統一実行環境による結果か、各社独自の実行環境による結果か
公式の一覧は両方を同じ画面で切り替え表示します。どちらを見ているかで意味が変わります。
運営による独立検証を受けた提出か
検証は任意です。「リーダーボードに載っている」は「検証された」ではありません。
試行回数はいくつか
1回で解けたかと、複数回のうち1回でも解けたかは別の量です。
自分が任せたい作業は Python の12リポジトリに似ているか
母集団の外の作業について、この数字は何も保証していません。
最小例
Raside の整理（この辞典の読み方の当てはめ）
あるモデルの発表資料に「SWE-bench Verified で高い結果を達成」と書かれていた、
という場面を考えます。数字そのものは当サイトでは扱いません。何を確かめるかだけを見ます。
まず変種名が書かれているので、母集団は500件・Python のみと特定できます。
ここまでは条件が揃っています。次に、その値の実施主体を見ます。開発元の発表資料に載っている値は、
当サイトの区分では「開発元」にあたり、証拠水準は機械的に「主張」になります。
公式一覧に同じ値があっても、運営が検証したとは限りません。続いて実行環境を探します。運営の統一環境か独自環境かの記載がなければ、
その時点で他社の値とは並べられません。最後に試行回数を探します。ここまで4つのうち一つでも欠けていれば、
当サイトは「条件が特定できない」として横並びの表には載せません。なお当サイトが扱う国産10版については、この評価への言及を確認できませんでした。
「値が無い」ことは「能力が無い」ではなく、「この母集団で測られていない」という意味です。
変種名・実施主体・実行環境・試行回数の4つが揃って、はじめて1つの数字になる。
どれか一つでも欠けたら、それは比較に使える値ではありません。
運営主体・独立性（詳細）
| 対象指標 | 運営主体 | 独立性 | 公式サイト |
|---|---|---|---|
| SWE-bench Verified | Princeton/Stanford（Verified版はOpenAI共同） | 学術 | 公式サイト |
原論文はプリンストン大学とスタンフォード大学の研究者によるもので、
Verified は OpenAI との協働で作られました。公式の一覧は同じ研究チーム側が運営しており、
評価されるモデルの開発元とは別法人です。当サイトの区分では
「ベンチマーク運営元（開発元とは別法人）」にあたります。
ただし一覧に並ぶ個々の値の実施主体は、運営元とは限りません。
多くは開発元による自己申告がそのまま掲載されたものです（下の「よくある誤解」を参照）。
派生の Pro は別法人（Scale AI）の運営で、これも同じ「SWE-bench」ではありません。
一次ソース
関連する比較・モデルへの導線
この指標を評価サマリに表示しているモデルのページです（値が確認できる版・欠損理由が示されている版の両方を含みます）。
当サイトはこの評価の数値そのものを転載していません。原論文中の数値・図表は
再利用が認められた条件で公開されていますが、継続的に更新される一覧の表示値については
再利用の条件が確認できていないためです。値そのものは一次リンク先でご確認ください。
この評価は、実在するソフトウェアの不具合を使うという点で、机上の問題より現場に近い設計です。
だからこそどの現場を切り取ったのかが効いてきます。