開発元評価と第三者評価の違い
特定の指標に紐づかない横断記事です。
最終確認日 2026-07-27 確認済み
同じベンチマーク名でも、誰が測ったかによって、その数字の意味は変わります。
開発元が自社で測った値、ベンチマークの運営元が測った値、
まったく無関係な第三者が測った値、そして他人の値を自分の資料に書き写しただけの値。
これらは見た目には区別が付きません。
この記事は、目の前の数字が誰の手によるものかを見分けるためのものです。
この記事だけは特定のベンチマークの解説ではなく、すべての評価に共通する読み方を扱います。
一言でいうと
評価の実施主体は、大きく4つに分かれます。
- 開発元 — そのモデルを作った組織自身が測った
- ベンチマーク運営元 — その評価を運営する、開発元とは別の法人が測った
- 独立第三者 — 開発元とも運営元とも無関係な組織が測った
- 引用転記 — 誰かが測った値を、別の資料に書き写しただけ
4は「評価」ではありません。測り直していないので、
元の値の条件をそのまま引き継いでいます。
何を測るか
この4区分は、見た目からは判別できないことがあります。実例を挙げます。
開発元の技術報告に、他社モデルの値が並んでいることがあります。
ある開発元の技術報告は、比較表の注記で
自社モデルだけでなく比較対象の他社モデルも自社の評価環境で測った旨を
明記しています。これは「開発元が他社を測った」という状態で、
単純な「開発元＝自社のみ評価」という理解では説明できません。
逆に、引用転記であることを自ら明示する運用もあります。
ある評価スイートは、各社の技術報告から書き写した結果に記号を付けて、
自分たちで測った値と区別しています。書き写しであることを表示する側と、
しない側があるということです。
よくある誤解
Raside の整理
第三者のサイトに載っている数字だから、第三者が確かめた数字だ
掲載場所と実施主体は別です。運営による検証が任意で、
多くが自己申告のまま掲載される一覧が実在します。
これは4区分のうち最も混同されやすい境界です。
当サイトが「掲載場所」ではなく「実施主体」を持つのは、この混同を避けるためです。
開発元の技術報告に他社の値が載っているのだから、公平な比較だ
他社モデルを自社の評価環境で測り直している場合があります。
測り方の選択権が一方にある比較は、対称ではありません。
書き写しただけの場合もあり、その場合は元の条件をそのまま引き継いでいます。
比較表は「並んでいる＝同じ条件」という印象を与えます。
並べたのが誰かを見ないと、その印象が正しいか分かりません。
測る側が中立なら、結果は中立だ
測る側が中立でも、何を測ってもらうかを提出側が選べる場合があります。
未公開の変種を先行テストし、結果を見てから公開を決められる仕組みが実在します。
中立性は「測定の手続き」だけでなく「測定対象の選ばれ方」にも依存します。
前者だけを見て後者を見落とすと、選抜済みの結果を母集団の結果として読みます。
開発元が『◯◯という評価と同じ方式で測った』と書いていれば、その評価に載ったのと同じだ
違います。「同じ方式で測った」は自己申告であり、その評価の運営元が
測ったことを意味しません。当サイトの対象モデルで、まさにこの状態にあるものがあります
（下の「最小例」で扱います）。
「◯◯と同じ方式」という書き方は、読み手にその評価の一覧に載っているという
印象を与えます。印象と事実がずれる典型的な言い回しです。
条件で変わる点
この指標の値が変わりうる条件（RunConditionの主要軸）です。
- 掲載場所と実施主体は別物である
第三者が運営する一覧に載っていても、その値を運営元が測ったとは限りません。
あるコーディング評価では、運営による独立検証は任意で、
多くの提出が自己申告のまま掲載されると学術研究が指摘しています。 - 提出側にどこまで裁量があるか
ある人間選好投票型の評価では、開発元が未公開の変種を匿名で先行テストし、
結果を見てから公開するかを選べる仕組みが制度としてあります。
測る側が中立でも、何を測ってもらうかを選べるなら、結果は選ばれたものになります。 - 同じ名前でも実装が違えば結果が変わる
評価ツールの開発者らによる論文は、評価設定への感度、実務知識の分散、
透明性と再現性の不足を課題として挙げています。
「同じベンチマークを使った」は「同じ条件で測った」ではありません。 - 課題が学習データに入っていないか
公開された課題は学習データに入りうるため、
測っているものが推論なのか記憶なのかが問題になります。
評価環境の作り方の不備で、モデルが正解を読み取れてしまった事例も報告されています。 - 開示の規範が存在する
評価をどう開示すべきかを定めた文書は複数あります。
モデルカードという枠組み、公的機関のリスク管理枠組み、
そして汎用モデルの提供者に技術文書の作成・維持を義務づける法規制などです。
「開示しないのが普通」ではありません。
Raside の整理（条件をまたいだ比較）
4区分を「どこまで自分に都合よくできるか」で並べ替えると、
それぞれの区分が持つ弱点が見えてきます。この整理は、
個々の評価の説明を読んでいるだけでは出てきません。
| 実施主体 | 測り方を選べるか | 測る対象を選べるか | 結果を出さない選択ができるか |
|---|---|---|---|
| 開発元 | 選べる | 選べる | できる |
| 引用転記 | 元の値のまま | 何を載せるかは選べる | できる |
| ベンチマーク運営元（自己申告を掲載） | 提出側が選べる | 提出側が選べる | 制度により、できる場合がある |
| ベンチマーク運営元（運営が実行） | 運営が定める | 提出側が選べる場合がある | 場合による |
| 独立第三者 | 第三者が定める | 第三者が選ぶ | 第三者次第 |
注意すべきは「独立第三者なら安心」ではないことです。
独立第三者は誰を測るかを自分で選びます。その結果、
測られていないモデルが構造的に生まれます。
当サイトが扱う国産モデル群が主要な国際的評価にほとんど登場しないのは、
能力の問題ではなくこの選択の結果です。
どの区分にも固有の弱点があり、上下関係はありません。
当サイトが4区分を持つのは、序列を付けるためではなく、
どの弱点を抱えた値なのかを読者が知るためです。
読み方
スコアを見たときに確認すべきチェックリストです。
Raside の整理
この値は誰が測ったか（開発元／運営元／独立第三者／書き写し）
4区分は見た目では判別できません。出典をたどって確かめる必要があります。
掲載場所と実施主体を取り違えていないか
第三者の一覧に載っていても、第三者が測ったとは限りません。
提出側に、何を測ってもらうかの選択権があったか
先行テストして結果を見てから公開を決められる仕組みが実在します。
評価条件（実装・設定・試行回数）が書かれているか
同じベンチマーク名でも実装差で結果が変わることが、評価ツール開発者自身の論文に指摘されています。
独立した検証が存在するか。無いなら「無い」と書かれているか
独立検証が無いこと自体は問題ではありません。無いのに有るように読めることが問題です。
最小例
Raside の整理（この辞典の読み方の当てはめ）
当サイトが公開している Fugaku-LLM-13B-instruct のページで、
実際にこの区別が問題になりました。数値は一切扱いません。
「誰が測ったか」だけを追いかけます。
このモデルの配布ページと開発元のプレスリリースに、
「ある日本語評価リーダーボードと同じ方式で評価した」という記述と、
自己評価の表が載っています［主張］。当方は、そのリーダーボードの実データを直接検査しました。
運営元が公開している仕組みを通じて、蓄積されている評価記録を全件取得し、
このモデルの名前を照合しました。見当たりませんでした［事実］。つまり、開発元が「同じ方式で測った」と
述べているのは正確な自己申告である一方、その一覧の運営元が測ったわけではありません。この2つは、区分で言えば「開発元」と「ベンチマーク運営元」の違いです。
文章としては誠実に書かれていても、読み手が後者だと受け取る余地があります。当サイトはこの値を評価結果として登録していません。理由は3つあります。
使われている評価がフォークの分裂により単一の最新版を特定できないこと、
転載してよいかが確認できていないこと、そして
開発元の自己評価を、運営元の評価と同じ欄に置かないためです。
「◯◯と同じ方式で測った」は、◯◯が測ったという意味ではない。
この2つを分けて表示できるかどうかが、
評価情報を扱うサイトの誠実さの分かれ目になります。
運営主体・独立性（詳細）
当サイトは、すべての評価結果に実施主体の区分を必ず持たせています。
そして 開発元 が測った値の証拠水準は、機械的に「主張」に固定しています。
これは開発元を疑っているからではありません。
自分の製品を自分で測った結果は、独立した検証を経ていないという、
構造上の事実を表示に反映しているだけです。
優れた実装であっても、この区分は変わりません。
逆に「第三者が運営する一覧に載っている」という理由だけで
証拠水準を上げることもしません。掲載場所ではなく、誰が測ったかで判断します。
一次ソース
- Model Cards for Model Reporting
- DeepSeek-V3 Technical Report
- Dissecting the SWE-Bench Leaderboards（自己申告分析論文）
- Arena Leaderboard Policy（掲載・削除基準）
- 評価の再現性に関する論文（Lessons from the Trenches on Reproducible Evaluation of Language Models）
- The SWE-Bench Illusion（記憶疑義論文）
- EU AI Act 第53条 解説（民間サイト、GPAI提供者の義務）
- Hugging Face（国産org: pfnet/tokyotech-llm/llm-jp/Rakuten/sbintuitions等）
- Nejumi LLMリーダーボード（コードリポジトリ）
関連する比較・モデルへの導線
この記事は特定の指標に紐づかない横断記事です。個別の指標の読み方は辞典トップから探せます。
この記事は特定のベンチマークの解説ではないため、
個別の指標のページからは独立しています。どの指標を読むときにも同じ問いが要る、
というのがこの記事の趣旨です。
当サイトは、開発元が測った値を排除しません。
多くの場合、開発元の発表が唯一の情報源だからです。
するのは、それが開発元の発表であることを隠さないことだけです。