日本語 LLM 評価の読み方（対象指標: Nejumiリーダーボード・llm-jp-eval）
最終確認日 2026-07-27 確認済み
国際的に知られたベンチマークの多くは英語圏の課題で作られています。
日本語で使うモデルを選ぶなら、日本語で測った結果を見たくなるのが自然です。
この記事は、日本語 LLM 評価の結果をどう読めばよいかを判断するためのものです。
国産モデルの導入を検討している方、社内文書や日本語の業務にモデルを使おうとしている方に
関係します。
先に一つ申し上げておきます。この分野は、同じ名前のベンチマークでも
版によって中身が変わることが多く、版を書かずに比べることが特に危険です。
一言でいうと
日本語 LLM 評価の中心にあるのは2つです。
- Nejumi リーダーボード — Weights & Biases の日本法人が運営する、 日本語モデルを横断して継続的に評価している一覧
- llm-jp-eval — 国内の産学官連携プロジェクトが公開している評価ツール。 一覧ではなく、自分で走らせるものです
この2つは性質が違います。前者は「結果の一覧」、後者は「測る道具」です。
何を測るか
Nejumi は複数の評価軸を束ねています。大きく「汎用的な言語性能」と
「アラインメント」の2つのカテゴリがあり、それぞれの下にさらに細かい軸が並びます。
総合値はこれらを重み付けして合成したもので、
その重みはリポジトリ上で公開されています。
llm-jp-eval は複数のデータセットを束ねて実行する評価ツールです。
公式の常設一覧を持たないため、各開発元やプロジェクトが自分で走らせ、
自社のブログ等で結果を公表する形が中心になります。
当サイトは総合順位や合成スコアを自分では作りません。
ただし、既存の指標が合成であること自体は説明します。
合成の存在を隠すと、読者は単一の測定値だと受け取ってしまうためです。
よくある誤解
Raside の整理
同じ llm-jp-eval で測った値なら比べられる
バージョンが違えば比べられません。公式のリリースノートが、
評価データセットの破壊的変更、例示の有無の既定変更、採点方式の変更を
それぞれ明記しており、既存の結果と互換性がないと自ら述べています。
この分野で最も頻繁に起きる誤りです。ツール名は変わらないので、
利用者から見ると条件が変わったことに気づく手がかりがありません。
当サイトが版の記載を必須にしているのは、これが理由です。
Nejumi の総合値が高い＝日本語が得意
総合値は複数の軸を重み付けして合成した値です。
重みは公開されていますが、その重みがあなたの用途に合っている保証はありません。
当サイトは合成スコアを自分では作りません。既存の合成値を見るときも、
どの軸をどう重み付けした結果なのかを確かめないと、
自分の用途とは無関係な配合の値を見ていることになります。
llm-jp-eval は中立なツールだから、出てくる値も中立だ
ツールは中立でも、走らせたのが誰かで実施主体は変わります。
公式の常設一覧が無いため、流通している値の多くは
各開発元が自ら走らせて公表したものです。
「第三者製のツールを使った」ことは「第三者が測った」ことではありません。
道具の出自と、測定の実施主体を取り違えないようにします。
日本語のベンチマークに載っていない国産モデルは、日本語が弱い
当方が実際に確認したところ、国産モデルであっても
主要な日本語評価の一覧に載っていないものがあります（下の「最小例」で扱います）。
載るかどうかは、運営側または開発元が登録するかという別の関門を経ます。
国際的な評価に載らず、国内の評価にも載らないモデルが実在します。
その空白を「実力が低い」と読むと、二重に誤ります。
当サイトはこの欄を空白にせず、なぜ値が無いのかを型で示します。
条件で変わる点
この指標の値が変わりうる条件（RunConditionの主要軸）です。
- llm-jp-eval のバージョン（この分野で最も重要）
公式のリリースノートに、後方互換性を失う変更が繰り返し明記されています。
評価データセットの破壊的変更、多くの課題で例示の有無の既定が変わったこと、
採点方式が文字列の照合から別方式へ変わったこと、などです。
リリースノート自身が「既存の結果と互換性がない」と述べています。
バージョンの書かれていない値は、他の値と比べられません。 - Nejumi の世代
Nejumi は世代を重ねており、世代ごとに評価軸の構成が変わっています。
世代をまたいだ比較はできません。 - 総合値か、個別の軸か
Nejumi の総合値は複数の軸の合成です。
総合値が近い2つのモデルでも、内訳はまったく違うことがあります。
用途が決まっているなら、総合値ではなく該当する軸を見るほうが役に立ちます。 - 採点役に何を使ったか
日本語評価では、生成された文章の良し悪しを別のモデルに採点させる方式が
よく使われます。採点役のモデルが変われば、採点基準も変わります。
これは同じベンチマーク名の中で静かに起きる条件変更です。 - 取得のしやすさ（更新の追いやすさに効く）
Nejumi の結果は対話的なダッシュボード上で提供されており、
機械的な取得が難しい形になっています。
当サイトはこの指標を月次の手動確認の対象に分類しています。
Raside の整理（条件をまたいだ比較）
当サイトが評価指標として登録したのは Nejumi と llm-jp-eval の2つだけです。
日本語評価には他にもよく知られたものがありますが、
条件が特定できるかという基準で見ると、扱いを分ける必要があります。
その理由をここに開示します。
| — | 登録 | 理由 |
|---|---|---|
| Nejumi | する | 日本語モデルを横断して継続的に評価しており、重み付けも公開されている |
| llm-jp-eval | する | タスク構成とプロンプトが公開されており、条件が特定できる |
| JGLUE | しない | 公開から時間が経ち、汚染の検証も確認できていない。ただし原著者らは周辺タスクの拡張を続けている |
| ELYZA-tasks-100 | しない | 規模が小さく、採点者による揺れが大きいと指摘されている |
| Japanese MT-Bench | しない | フォークが分かれ、単一の公式最新版が定まらない |
最後の1件は特に注意が要ります。あるフォークでは、
採点役のモデルが世代交代を重ねています。
同じ「Japanese MT-Bench」という名前でも、
いつ・どのフォークで・どの採点役で測ったかによって別物になります。
もう一つ、突き合わせて初めて見えることがあります。
JGLUE の原著者らは新しい課題を追加する拡張を続けている一方、
llm-jp-eval は内蔵する JGLUE の版を固定しています。
つまり llm-jp-eval 経由で見る JGLUE の結果は、
JGLUE 側の最新の成果を反映していない可能性があります［当方の整理］。
束ねる側と束ねられる側の更新の速さが違う、という構造です。
比較対象: Nejumiリーダーボード・llm-jp-eval
読み方
スコアを見たときに確認すべきチェックリストです。
Raside の整理
llm-jp-eval なら、どのバージョンか
後方互換性を失う変更が繰り返されており、版が違えば比較できません。
Nejumi なら、どの世代か
世代ごとに評価軸の構成が変わっています。
総合値を見ているのか、個別の軸を見ているのか
総合値は合成です。用途が決まっているなら該当する軸を見るほうが役に立ちます。
採点役に何を使ったか
生成文の採点を別のモデルに任せる方式では、採点役が変わると基準も変わります。
誰が走らせた結果か
評価ツールは中立でも、走らせたのが開発元自身なら、その値は開発元の主張です。
最小例
Raside の整理（この辞典の読み方の当てはめ）
当サイトが公開している Fugaku-LLM-13B-instruct の評価欄が、
なぜ空欄ではなく「該当なし」になっているのか。その経緯をそのまま示します。
数値は一切扱いません。
このモデルの配布ページには、ある日本語評価リーダーボードと
同じ方式で評価したという記述と、自己評価の表があります［主張］。
これを見た人の多くは、そのリーダーボードに載っていると受け取るはずです。当方はそのリーダーボードの実データを直接検査しました。
運営元が公開している仕組みを通じて蓄積された評価記録を全件取得し、
このモデルの名前を照合したところ、見当たりませんでした［事実］。続いて llm-jp-eval を基盤とする公開一覧についても、
申請の記録と結果のデータを直接取得して照合しました。
こちらも見当たりませんでした［事実］。したがって当サイトはこの2つの欄を「該当なし」と表示しています。
これは「まだ調べていない（未確認）」とは違います。
調べた結果として、掲載が無いことを確認したという意味です。同じページの他の指標のうち4つは「未確認」のままです。
こちらは一次の登録一覧そのものにまだ到達していないためで、
「無いことを確認した」とは言えません。この2つを同じ表示にはしません。なお、開発元が「同じ方式で測った」と述べている評価は、
上の表で登録しないと判断した Japanese MT-Bench にあたります。
転載してよいかも確認できていないため、当サイトは値を保持していません。
「値が無い」には少なくとも2種類ある。調べて無かったのか、まだ調べていないのか。
この2つを同じ空欄にしてしまうと、読者は前者を後者と、
あるいは後者を前者と取り違えます。空欄を作らず、理由を型で示すというのは、
このためにあります。
運営主体・独立性（詳細）
| 対象指標 | 運営主体 | 独立性 | 公式サイト |
|---|---|---|---|
| Nejumiリーダーボード | Weights & Biases Japan株式会社（運営）。評価スクリプトはコミュニティ有志 | 不明 | 公式サイト |
| llm-jp-eval | LLM-jp（NIIを中心とする国内産学官連携コンソーシアム。管理主体自体が未確認） | コンソーシアム | 公式サイト |
Nejumi の運営は Weights & Biases の日本法人で、
評価対象のモデル開発元とは別法人です。当サイトの区分では
「ベンチマーク運営元（開発元とは別法人）」にあたります。
llm-jp-eval は国内の産学官連携プロジェクトによるもので、
国立情報学研究所が関わっています。ただしこれは評価ツールなので、
「llm-jp-eval のスコア」の実施主体は、それを走らせた人です。
開発元が自社で走らせた結果なら実施主体は「開発元」であり、
証拠水準は「主張」になります。
道具が中立であることと、その道具で出た値が中立であることは別です。
一次ソース
関連する比較・モデルへの導線
この指標を評価サマリに表示しているモデルのページです（値が確認できる版・欠損理由が示されている版の両方を含みます）。
当サイトはこれらの評価の数値を転載していません。
llm-jp-eval はツール本体と収録データセットでライセンスが分かれており、
収録データセットには商用利用ができないものが混在しています（そのため
評価ツール側から除外されているものもあります）。
Nejumi の表示値についても再利用の条件を確認できていません。
値そのものは一次リンク先でご確認ください。
日本語評価は、英語圏の評価より歴史が浅く、いまも作り替えられている最中です。
作り替えられていること自体は健全ですが、
それは「去年の数字と今年の数字を並べられない」ということでもあります。
版を確かめる習慣が、この分野では特に効きます。