AI モデルの情報は、出所によって条件も確度も違います。同じ名前のベンチマークでも、実行条件が違えば別物です。このサイトは、その違いを潰さないことを最優先にしています。そのために、次の決まりを置いています。
評価結果の数値には、多くの場合、再掲についての権利上の扱いが定まっていません。このサイトは、権利上取り込めることが確認できた数値だけを保持します。それ以外は、値を持たずに「どの条件で・誰が・何と述べたか」と、一次資料へのリンク、そして当サイトの解釈を載せます。
数値欄に「権利上の理由により当サイトでは保持しない」と出ているのは、この扱いによるものです。値が存在しないという意味ではありません。リンク先の一次資料で確認できます。
開発元が自ら公表した評価結果は、[主張] として表示します。独立した第三者やベンチマーク運営元による評価とは、同じ表に並べても別の水準のものとして区別します。
各項目には、当サイトが確認した水準(事実/主張/仮説/未確認)を示すラベルが付いています。
情報が無いとき、このサイトは空欄にせず、理由を4つのいずれかで示します。
| 区分 | 意味 |
|---|---|
| 未確認 | まだ確認できていない |
| 非開示 | 提供者が公表していないと確認できた |
| 該当なし | その項目自体が当てはまらない |
| 取得不能 | 確認しようとしたが到達できなかった(リンク切れ・要ログイン等) |
「まだ調べていない」と「調べたが分からなかった」は別のことです。この区別を残すために、4つに分けています。
このサイトは、複数の評価をまとめた総合点や、モデルの順位表を作りません。順位の言い換え(「上位」「中位」といった位置づけの表現)も使いません。
理由は、順位を作るには重み付けが要り、その重みは読み手の用途によって変わるからです。当サイトが重みを決めてしまうと、読み手の判断を代行することになります。このサイトが提供するのは、条件を揃えた比較材料までです。
モデルの優劣を断定する語や、強さの序列を含意する語を使いません。これは方針として書いているだけでなく、公開前の自動検査で、該当する語が生成後のページに含まれていないかを機械的に確認しています。含まれていた場合、そのビルドは失敗し、サイトは更新されません。
この検査は、いま読んでいるこのページ自身にも適用されています。
事実として書いていることには、一次資料への URL と、当サイトが確認した日を付けています。仕様・価格・ライセンスは変わるため、確認日が無い数字は判断に使えないと考えています。
項目の種類ごとに再確認の間隔を決めており、期限を過ぎたものはビルド時に検出されます。
同じ名前のベンチマークでも、データセットの版・採点方法・エージェント構成・試行回数が違えば、結果は直接比較できません。このサイトは、条件が違うことが分かっている場合と、条件が確認できていない場合を、別のものとして表示します。
両方とも条件が不明な場合に「条件が同じ」とは扱いません。
「モデルそのもの」「そのモデルを提供する API」「モデルを組み込んだエージェント構成」は別のものです。エージェント構成を使って測った結果を、モデル単体の結果として載せることはしません。どちらであるかが確認できない場合は、そのように表示します。
誤りが分かった場合は訂正し、何をなぜ変えたかを記録として残します。訂正の記録は、通常の更新(新しい情報の追加・再確認)とは別に数えています。
誤りにお気づきの場合は、ページ下部の連絡先へお知らせください。