METR のタスク遂行時間とは（対象指標: METR Time Horizon）
最終確認日 2026-07-27 確認済み
「このモデルは○時間のタスクをこなせる」という言い方を見かけたら、その出どころはたいてい
METR という組織が公表している指標です。単位が「時間」なので直感的に読めてしまう一方、
何の時間なのかを取り違えたまま引用されることが多い指標でもあります。
この記事は、モデルを選ぶときにこの指標をどう扱えばよいかを判断するためのものです。
自社の業務をどこまで任せられるかを見積もりたい方、他社の発表資料に出てくる「時間」の
記載を評価したい方に関係します。
一言でいうと
人間の専門家がその作業に何分・何時間かけるかを難易度の物差しにして、
「モデルがどのくらいの難しさまで届くか」を時間で言い表した指標です。
モデルが動き続けられる時間を測ったものではありません。
何を測るか
測り方はおおよそ次の順です。
- ソフトウェア開発や機械学習の研究に近い作業を集めたタスク群を用意する
- あらかじめ人間の専門家が各タスクに要した時間を計測しておく（これが横軸になる）
- モデルに、決められた実行環境（後述のスキャフォールド）を通して各タスクを解かせる。 1タスクにつき複数回試行し、使えるトークン量と時間には上限を設ける
- 自動採点に加え、抜け道を使っていないかを自動と人手の両方で確認する
- 「人間の所要時間」と「モデルの成功率」の関係に曲線をあてはめ、 決めた確率で成功すると見込まれる人間換算の作業時間を読み取る
つまりこの指標の「時間」は、横軸に置いた人間の作業時間のことです。
モデルの応答時間でも、連続稼働できる長さでもありません。
よくある誤解
Raside の整理
このモデルは4時間ぶっ通しで作業できる、という意味だ
違います。「人間の専門家が4時間かける難しさの作業に、決めた確率で成功する見込みがある」
という意味です。時間はモデルの稼働時間ではなく、難易度を測るための物差しです。
この取り違えは、そのまま「では4時間分の仕事を任せられる」という運用判断につながります。
METR 自身が限界の整理ノートで、ホライズンが2倍になっても任せられる作業の範囲が
2倍になるとは限らないと述べています。失敗したときに人が介入する手間が
かえって増えることがあるためです。
モデルそのものの能力を測った数字だ
測っているのはモデルと、その外側に付けた実行の仕組みを合わせたものです。
評価基盤を入れ替えただけで一部のモデルの結果が有意に動いた、と METR 自身が
報告しています。
当サイトはモデル・製品・API・エージェント・実行設定を区別して扱います。
この指標を「モデルの性能」として他のモデル単体の指標と横並びにすると、
比べているものが揃っていない表ができあがります。
点として出ている以上、細かい差にも意味がある
METR 自身が、この値には各方向に倍・半分ほどの幅があると述べています。
また、現在のタスク群では非常に高い信頼度水準はそもそも測定できないとも明記しています。
幅を無視して2つのモデルの値を並べると、測定の揺れを実力差として読んでしまいます。
安全性に関わる判断の根拠には使えない、と運営側自身が断っている点も重要です。
所要時間が長い作業ほど、AI にとって難しい
分野によっては成り立ちません。METR 自身が、動画理解の分野では作業の長さが
難易度をほとんど左右しなかったと述べています。
この指標の土台は「人間の所要時間＝難易度」という前提です。前提が崩れる分野では、
指標そのものが意味を持ちません。ソフトウェア開発の文脈で得られた数字を
他分野へ持ち出すときに効いてきます。
条件で変わる点
この指標の値が変わりうる条件（RunConditionの主要軸）です。
- 信頼度水準（何%で成功するか）
同じモデルでも「50%の確率で成功する難しさ」と「80%の確率で成功する難しさ」では
別の値になります。METR 自身が、80%水準のほうが曲線のあてはめ方の選び方に対して
敏感で振れやすいと述べています。水準の書かれていない数字は条件が特定できません。 - 評価基盤（どの実行環境で走らせたか）
2026年1月、METR は評価基盤を自前のものから外部機関が開発したものへ移しました。
このとき一部のモデルで統計的に意味のある差が出たと METR 自身が述べています。
測り方の土台を替えただけで結果が動くということは、この指標が
モデルだけを見ているのではないことを示します。 - スキャフォールド（モデルに何をさせる仕組みか）
モデルは単体では作業を進められないため、ツールを呼び、結果を読み、次の手を決める
仕組みを外側に付けます。これをスキャフォールドと呼びます。METR はこれを固定した
うえで測っていますが、固定されているというのは「存在しない」という意味ではありません。 - タスク母集団（何を解かせたか）
中心はソフトウェア開発と機械学習の研究に近い作業です。版が上がる際に
タスク数が 14 から 31 へ拡張されています。主要な職種の大半はこの母集団に
入っていないと METR 自身が限界として明記しています。 - 試行回数と上限
1タスクにつき複数回試行し、トークン量と時間に上限を置いています。
上限の置き方が変われば、同じモデルでも到達できる難しさは変わりえます。
Raside の整理（条件をまたいだ比較）
この指標と並べてはいけないものを、性質の違いから整理します。
| — | METR のタスク遂行時間 | コーディング評価（SWE-bench 等） |
|---|---|---|
| 出てくる量 | 人間換算の作業時間 | 課題を解けた割合 |
| 何が横軸か | 人間の所要時間 | 課題そのもの（1件ずつの合否） |
| 一つの数に含まれる条件 | 信頼度水準・評価基盤・タスク母集団 | 変種・スキャフォールド・試行回数 |
| モデル単体で成立するか | しない | しない |
単位が違うので直接の換算はできません。両方とも「モデル＋実行の仕組み」を
測っているという点だけが共通しています。
同じ METR の中でも、信頼度水準が違う2つの値は別の条件の値です。
同じ名前・同じ単位でも、条件が違えば横に並べられません。
比較対象: SWE-bench Verified
読み方
スコアを見たときに確認すべきチェックリストです。
Raside の整理
信頼度水準はいくつか（50%か、80%か、書かれていないか）
水準が違えば同じモデルでも別の値になります。書かれていなければ条件が特定できません。
いつ時点の版か。評価基盤はどちらか
2026年1月に評価基盤が替わっており、その前後の値は同じ条件で並べられません。
どのスキャフォールドを使った結果か
モデル単体の値ではないため、外側の仕組みが特定できないと再現も比較もできません。
自分が任せたい作業は、この指標のタスク母集団に含まれているか
中心はソフトウェア開発と機械学習研究です。主要な職種の大半は入っていないと運営自身が述べています。
その数字は METR 自身の公表か、METR 方式を名乗る別の誰かの計測か
METR の評価対象は限られています。METR 公式に見当たらない値が第三者記事に出ていることがあります。
最小例
Raside の整理（この辞典の読み方の当てはめ）
「METR が評価した」と書かれた2つのモデルを見かけた、という場面を考えます。
片方は主要な開発元の旗艦モデル、もう片方は公開ウェイトのモデルだとします。
METR 自身の公表資料によれば、評価の密度は同じではありません。
公開ウェイトのモデルに対する予備的な評価は、1営業日程度・公開 API 経由・
簡易なスキャフォールドで行われたと明記されています。一方、主要な開発元のモデルに対する配備前の評価は、開発元の直接の協力を伴います。
「同じ組織が評価した」ことは「同じ手間をかけて評価した」ことを意味しません。したがって、両者の値を同じ表の同じ列に置くと、読者は条件の差を見落とします。
当サイトでは条件が違う値を横並びにせず、条件が異なる旨を明示します。なお当サイトが扱う19版のうち、METR 公式で評価の公表を確認できたのは
DeepSeek-R1 のみです。残りは「未確認」であって「評価に値しない」ではありません。
「誰が評価したか」だけでなく「どれだけの手間で評価したか」まで見る。
実施主体が同じでも、条件が違えば別の値です。
運営主体・独立性（詳細）
| 対象指標 | 運営主体 | 独立性 | 公式サイト |
|---|---|---|---|
| METR Time Horizon | METR（非営利研究機関） | 学術 | 公式サイト |
METR（Model Evaluation and Threat Research）は、AI の危険性を科学的に測ることを掲げる
非営利の研究機関で、評価対象となるモデルの開発元とは別の法人です。
当サイトの区分では「独立第三者」にあたります。
ただし「独立第三者による評価」と一括りにすると見落とすことがあります。
METR 自身の公表資料によれば、評価の密度は対象によって同じではありません
（この点は下の「最小例」で扱います）。
一次ソース
関連する比較・モデルへの導線
この指標を評価サマリに表示しているモデルのページです（値が確認できる版・欠損理由が示されている版の両方を含みます）。
当サイトはこの指標の数値そのものを転載していません。METR の公表資料のうち、
論文中の数値・図表は再利用が認められた条件で公開されていますが、
継続的に更新される一覧の表示値については再利用の条件が確認できていないためです。
値そのものは一次リンク先でご確認ください。
この記事が扱っているのは「その数字をどう読むか」です。
条件を確かめないまま数字だけを持ち出すと、単位が同じでも別のものを比べることになります。