LMArena 等の人間選好投票とは（対象指標: LMArena Text）
最終確認日 2026-07-27 確認済み
同じ質問を2つのモデルに投げ、どちらの答えが good かを人が選ぶ。
この投票を大量に集めて並べたものが、人間選好投票型の評価です。
試験のように正解が決まっていないぶん親しみやすく、引用されやすい指標でもあります。
この記事は、この種の一覧をモデル選定の根拠にしてよいかを判断するためのものです。
社内で使うモデルを選ぼうとしている方、他社の「上位に入りました」という発表を
どう受け取るか迷っている方に関係します。
なお当サイトは、この指標のレーティング値も順位も掲載していません。
運営の利用規約が再利用を明確に禁じているためです（末尾に詳述）。
一言でいうと
どちらの答えが好ましいかを人が投票し、その勝ち負けを積み上げて
モデルどうしの相対的な位置を推定するものです。
正しさを judge しているのではなく、選ばれやすさを集計しています。
何を測るか
- 利用者が質問を入力する
- 名前を伏せた2つのモデルが答える
- 利用者がどちらが好ましいか選ぶ（投票後にモデル名が明かされる）
- 集まった対戦結果から、統計モデルで各モデルの強さを推定する
集計に使われているのは Bradley-Terry と呼ばれる、対戦結果から強さを推定する手法です。
運営自身が「かつて Elo と呼んでいた」と説明しており、
Elo という名前は旧称であって、現在の推定手法そのものではありません。
重要な運用上の決まりが一つあります。正式な集計に入るのは、
名前が伏せられている間になされた投票だけです。名前が明かされた後の投票は算入されません。
よくある誤解
Raside の整理
上に来ているモデルほど賢い
測っているのは選ばれやすさです。答えの長さ、見出しや太字の使い方といった
文体が結果に影響しうることは、運営自身が実験で示し、
文体の影響を差し引く仕組みを別途用意しています。
「好ましさ」と「正しさ」は別の量です。運営が文体調整の仕組みを
わざわざ用意したという事実そのものが、素の集計では文体が混ざることの裏づけです。
素のモデル性能を比べている
提供元がシステムプロンプトを選べる旨が運営の方針文書に書かれています。
またエージェント向けの場やコード向けの場は、ツール利用を含む
複数手順の構成を評価対象にしています。
当サイトはモデル・製品・API・エージェント・実行設定を区別します。
同じ「アリーナの値」でも、どの場の値かによって、
評価している対象の性質そのものが変わります。
全モデルが同じ条件で戦っている
開発元は未公開の変種を匿名で先行テストでき、結果を見てから公開するかを選べます。
2025年の学術研究は、この仕組みが都合のよい結果だけを表に出せる状態を
生んでいると指摘し、対戦数の配分が提供元によって大きく偏っていることも
報告しています。
一覧に並んだ値は、同じ機会を与えられた者どうしの結果とは限りません。
この指摘は運営側からの反論もある係争中の論点なので、
当サイトは「そう指摘されている」という事実として扱います。
名簿に載っていないモデルは、載っているモデルより劣る
掲載には、公開されているという形式的な条件のほかに、
実際に名簿へ登録され投票が集まるかという別の関門があります。
条件を満たしていても載っていないモデルは存在します。
当サイトが扱う国産10版は、確認した範囲でいずれもこの名簿に見当たりませんでした。
これを「性能が低い」と読むのは誤りです（下の「最小例」で扱います）。
条件で変わる点
この指標の値が変わりうる条件（RunConditionの主要軸）です。
- どのアリーナか（最も重要）
テキスト・画像・コード・エージェントなど、測定の対象そのものが異なる複数の場が
並立しています。とくにエージェント向けの場は、2択の投票ではなく
実際の利用時の行動記録（タスクの完了確認、利用者の訂正への追従など）を集計する
別の測定原理です。「アリーナのスコア」と一括りにはできません。 - どのカテゴリ・どの調整か
テキストの場だけでも多数のカテゴリ（総合・数学・指示追従・創作・コーディング等）があり、
さらに文体の影響を差し引く調整の有無を切り替えられます。
同じモデルでもカテゴリと調整の組み合わせが違えば別の値です。 - 投票者が誰か
運営の説明によれば、投票者は研究者・開発者から一般の利用者まで幅広く、
専門性を担保する審査はありません。運営自身も
「専門家の意見だけではない」と明言しています。 - どのモデルが名簿に載るか
重みが公開されている、条件が明示された API がある、一般公開サービスとして使える、
などの条件があります。加えて、開発元が未公開のモデルを匿名で先行テストできる
仕組みが制度としてあり、複数の変種を並行して試すことも許容されています。 - システムプロンプト等の設定
運営の方針文書に、モデルの提供元が設定のためのシステムプロンプトを選べる旨が
書かれています。素の重みの出力がそのまま対戦しているとは限りません。
Raside の整理（条件をまたいだ比較）
同じ運営の中でも、場によって測っているものが違います。この違いは
「カテゴリ違い」ではなく方法論そのものの違いで、公式サイトの各ページを
突き合わせて初めて見えるものです。
| — | テキスト・画像の場 | エージェントの場 |
|---|---|---|
| 集める材料 | 匿名2択の投票 | 実際の利用時の行動記録 |
| 集計 | 対戦結果からの強さの推定 | 完了確認・訂正への追従などの集計 |
| 匿名性 | あり（正式集計は匿名時の投票のみ） | 性質が異なる |
| 評価対象 | モデル＋提供元が選んだ設定 | ツール利用を含む構成 |
試験型の評価との違いもはっきりさせておきます。試験型（コーディング評価や
数学の問題集）は正解が決まっており、条件を揃えれば再現できます。
選好投票は正解を置かない代わりに、投票者の構成と質問の分布に結果が依存します。
どちらが優れているかではなく、答えられる問いが違います。
比較対象: SWE-bench Verified・GPQA Diamond
読み方
スコアを見たときに確認すべきチェックリストです。
Raside の整理
どの場（テキスト／画像／コード／エージェント）の値か
エージェント向けの場は投票ではなく行動記録の集計で、測定原理そのものが違います。
どのカテゴリか。文体調整はかかっているか
同じモデルでも組み合わせが違えば別の値です。
いつ時点の値か
投票は継続的に集まり続けるため、値は時間とともに動きます。参照した日付が要ります。
そのモデルは正式集計か、暫定表示か
投票が十分に集まるまでは暫定として扱われます。
自分が知りたいのは「好まれやすさ」か「正しさ」か
この指標が答えられるのは前者です。後者を知りたい場合、この一覧は適した道具ではありません。
最小例
Raside の整理（この辞典の読み方の当てはめ）
当サイトが扱う19版について、この名簿への掲載の有無を実際に確認しました
（2026-07-27、公開されている一覧をモデル名で照合）。値も順位も見ていません。
名前が載っているかどうかだけを見ています。
中国発の公開ウェイト系については、多くの版で掲載を確認できました。
ただし指定した版そのものが無く、近い別の版だけがあるケースが複数ありました。
版番号が一つ違えば別のモデルです。ある版は、テキストの場には見当たらない一方、コード向けの場には掲載がありました。
「載っていない」と言うときは、どの場を見たのかまで言わなければ不正確になります。国産10版は、確認した範囲でいずれも見当たりませんでした。
これらの多くは重みが公開されており、形式的な掲載条件は満たしうるものです。つまりこの空白は、能力の差ではなく、名簿に載るかどうかという別の関門によって
生じています。当サイトはこの欄を空白のまま放置せず、
「該当なし」として、調べた結果として掲載が無いことを示します。
一覧に無いことは、評価の結果ではありません。
「測られていない」と「測って及ばなかった」は別のことで、
前者を後者のように見せる表を作らないことが、この指標を扱う上での最低条件です。
運営主体・独立性（詳細）
| 対象指標 | 運営主体 | 独立性 | 公式サイト |
|---|---|---|---|
| LMArena Text | Arena Intelligence Inc.（旧LMSYS、2026-01営利法人化） | 企業運営(自社製品と利害あり) | 公式サイト |
運営は Arena Intelligence, Inc.（利用規約に明記）で、
カリフォルニア大学バークレー校の研究者が立ち上げた研究プロジェクトを起点に、
のちに営利法人として独立したものです。評価対象のモデル開発元とは別法人であり、
当サイトの区分では「ベンチマーク運営元（開発元とは別法人）」にあたります。
ただし、この運営元は同時に、企業やモデル開発元向けの有償の評価サービスも
販売していると自ら説明しています。公開の一覧を運営する立場と、
評価対象と同じ層に有償サービスを提供する立場を兼ねている、ということです。
これは規約違反でも不正でもありませんが、「独立した審判」という言葉が
含みうる中立性が、どこまで成り立つかは読者が判断すべき論点です［当方の整理］。
一次ソース
関連する比較・モデルへの導線
この指標を評価サマリに表示しているモデルのページです（値が確認できる版・欠損理由が示されている版の両方を含みます）。
当サイトがこの指標の数値を載せていない理由を明記しておきます。
運営の利用規約には、自動的な収集を禁じる条項に加えて、
手作業であってもサービスや出力を複製・配布・商用利用することを禁じる条項があります。
当サイトは事業として運営しているため、この規約のもとで表示値を転載できません。
値そのものは一次リンク先でご確認ください。
一方で、過去に公開された投票データセットには、別途 open なライセンスが
付されているものがあります。同じ運営元のものでも、
「生きている一覧の表示値」と「公開されたデータセット」では扱いが違う、ということです。
当サイトが権利を資産の種類ごとに判定しているのは、こうした差があるためです。