一言でいうと
提案書には「◯◯TOPS の高性能計算機を搭載」という記述がよく現れる。TOPS は1秒あたり何兆回の演算ができるかを表す数値である。
この数値には測定条件が必要である。条件を書かないTOPSは、他社と比較することができない。同じ1個のチップが、書き方次第で4倍以上違う数字になる。
何を解決するために生まれたか
自動運転では、カメラやLiDARから入ってくるデータを、決められた時間内に処理し終えなければならない。前の車が急に止まったとき、それを見てから止まるまでの時間には物理的な限界がある。処理が間に合わなければ、どれほど賢いモデルでも役に立たない。
そこで「どれだけ計算できるか」を1つの数字で表したいという需要が生まれた。TOPS はその数字である。Tera Operations Per Second、1秒あたり1兆回の演算を1TOPSとする。
ただしこの数字は、演算器がすべて100%動き続けたと仮定したときの理論上の上限である。実際にモデルを動かしたときにどれだけ出るかは、まったく別の話になる。
この乖離が大きいため、業界には別の測り方を作る動きがある。MLCommons の MLPerf Automotive は、その一つである。
仕組み
条件1:演算の細かさ(精度)で数字が変わる
計算機は数を扱うとき、何ビットで表すかを選べる。粗く扱うほど速く、細かく扱うほど遅い。同じチップでも、この選択で数値が大きく動く。
チップメーカー自身の公表値で確認できる。
| チップ | 条件 | 公表値 | 倍率 |
|---|---|---|---|
| Jetson Thor T5000 | FP4(粗い) | 2,070 TFLOPS | 約4倍 |
| FP16(細かい) | 517 TFLOPS | ||
| Jetson Thor T5000 | FP4・疎行列 | 2,070 TFLOPS | 2倍 |
| FP4・密行列 | 1,035 TFLOPS | ||
| DRIVE AGX Orin | INT8 | 254 TOPS | 約49倍 |
| FP32 | 5.2 TOPS |
同じメーカーの中で、開発者向けと製品紹介で書き方が変わる例もある。NVIDIAの開発者向けページは、Orinを「254 INT8 TOPS/5.2 FP32 TOPS」と精度つきで併記している。一方、製品紹介ページは精度表記なしで「254 TOPS」と記載している。
疎行列(スパース)を前提とした値も広く使われる。Horizon Robotics の Journey 6 系の「560 TOPS」は、1/2疎行列の条件つきの値である。
条件2:理論上の上限と、実際に出る性能は違う
ピーク性能は演算器が100%稼働したときの値である。実際にはそこまで出ない。
ICFPT 2020 の査読論文は、GPUで実測した演算器の稼働率を報告している。batch-6 の条件で、T4 が1.5%、V100 が3% の幾何平均稼働率だった。公称値の数%しか使えていないことになる。この数字はデータセンター向けGPUの特定条件での測定であり、車載チップにそのまま当てはまるものではない。ただしピーク値と実効性能が別物であることは示している。
TOPSが小さいほうが速い、という実例
この乖離が最もはっきり見えるのは、チップメーカー自身が公表している比較である。
Mobileye は自社ページで、34 TOPS の EyeQ6H と 275 TOPS の Jetson AGX Orin を比較している。
| モデル | EyeQ6H(34 TOPS) | Jetson AGX Orin(275 TOPS) |
|---|---|---|
| ResNet-50 の遅延 | 0.5 ms | 1.64 ms |
| EfficientViT-B1 の遅延 | 0.564 ms | 1.48 ms |
TOPS が約8分の1のチップが、遅延では上回っている。これは競合他社の主張ではなく、チップメーカー自身が自社ページに載せている比較である。
ただしこれはMobileyeが自社に有利な条件で行った自社比較であることに留意する。第三者による同一条件の検証ではない。TOPSで性能が決まらないことの実例としては使えるが、どちらのチップが優れているかの判断材料にはならない。
できること/できないこと
できること
- 同じ設計系統のチップの間で、規模のおおよその見当をつける
- 電力あたりの効率(TOPS/W)を、条件をそろえたうえで比べる
- 必要な計算量に対して桁が足りているかどうかの粗い確認をする
できないこと
- 条件の異なるTOPSどうしを比較すること(精度・疎密が違えば意味が違う)
- そのモデルがその車で時間内に動くかどうかを判断すること
- 認識の精度を推し量ること(TOPSは速さの指標であって正しさの指標ではない)
- 実際の消費電力や発熱を推定すること
- 異なるメーカーのチップ間で性能を順位づけすること
トレードオフ
比較できるのは「実機で1コマ何ミリ秒か」だけである
買う側が本当に知りたいのは「このシステムは、この車で、この条件で、時間内に判断できるか」である。TOPSはこの問いに答えない。
答えるのは次の3つの組み合わせである。実際に使うモデルを、実機で、実際の入力レートで動かしたときの処理時間。そのときの認識精度。そしてその測定条件。
しかも見るべきは平均ではなく最悪値である。100回に99回間に合っても、1回間に合わなければそれが事故になる。
MLPerf Automotive が測っているもの
MLCommons は車載向けのベンチマーク MLPerf Automotive を策定している。同作業部会は、RFI・RFQ(調達の情報提供依頼・見積依頼)で使える業界標準ベンチマークの整備を目的として掲げている。自治体の調達仕様書に直接関係する動きである。
- v0.5 の結果は2025年8月27日に公開された
- 種目は2D物体検出・2Dセマンティックセグメンテーション・3D物体検出の3種
- モデルは SSD、DeepLabv3+、BEVFormer-tiny が指定されている
- データセットは Cognata と nuScenes を使う
- 主指標は99.9パーセンタイル遅延であり、TOPS ではない
- 精度目標は FP32 基準の99.9%(3Dは99%)と規定されている。つまり「精度を保ったまま何ミリ秒か」を測る枠組みである
ただし現時点では調達にそのまま使えない
v0.5 の提出はGateOverflowとNVIDIAの2者のみである。比較できる相手がまだほとんどいない。「MLPerf Automotive のスコアを出してください」と要求しても、現時点では多くのベンダーが出せない。仕様書に書くなら、将来の提出を求める形にするか、同等の測定条件を自前で指定する必要がある。
実際に使われている例
消費電力・発熱・航続距離
計算機は電気を食い、熱を出す。電気自動車では、これがそのまま航続距離に効く。
- ASPLOS 2018 の査読論文は、CPU1個+GPU3個の構成で約1,000Wと報告している。この構成では計算機だけで航続距離が6%減り、冷却まで含めると11.5%減るとされる。冷却負荷が実質的な消費電力をほぼ倍増させることになる
- IEEE Micro 2023 の査読論文は、車載計算機を1.2kW未満に抑える必要を指摘している。あわせて、ハードウェア効率が1.1年ごとに倍増しなければ排出が悪化すると試算している
- NVIDIA の DRIVE AGX Thor 開発プラットフォームは、システム電力350Wと公表されている。入力電圧は定常9〜16V・過渡7〜32V。Jetson Thor モジュールの電力枠は40W〜130Wとされる
- Horizon Robotics は Journey 2 を4 TOPS/2W、Journey 3 を5 TOPS/2.5W と公表している
いずれも構成と条件が違うため、そのまま横に並べて比べることはできない。発注の際に必要なのは、その車両に載る構成での実測値である。
遅延の要求水準
ASPLOS 2018 の論文は、交通状況の処理遅延を100ms以内とすべきとし、その根拠を人間の最速反応が100〜150msである点に置いている。同論文はフレーム処理を100msに1回以上と規定する。
Huawei は自社の MDC について、エンドツーエンド遅延200ms、カーネルスケジューリング遅延10μs未満と記載している。
車載品質と機能安全の表示
提案書では「ASIL D 対応」「ISO 26262 準拠」という表現が頻出する。この表現には範囲がある。
- AEC-Q100 の Grade 0 は周囲温度−40〜150℃、Grade 1 は−40〜125℃とされる
- NVIDIA は DriveOS を「ISO 26262 safety certifiable(認証取得が可能)」と記載する。DRIVE AGX Thor は安全用MCUとして Renesas U2A16 を搭載するとされる
- Qualcomm は Snapdragon Ride の統合MCUを「ASIL D MCU」と記載する
- Huawei は MDC が ISO 26262 ASIL D に適合とし、動作周囲温度を−40〜85℃と記載する
「ASIL D 対応」は、SoC全体を指すとは限らない
複数のチップメーカーの公式資料では、ASIL D はSoC全体ではなく内蔵の安全用MCUについて述べられている場合がある。また「certifiable(認証取得が可能)」と「certified(認証取得済み)」は別の意味である。
確認すべきは3点である。ASIL は何レベルか。その範囲はどこまでか。誰が発行した認証か。この3つが揃わない主張は、範囲が不明のまま受け取ることになる。
確認できなかったこと
調べたが一次資料で確認できず、推測では書かない方針のためそのまま記す。よく引用される数値であっても、メーカー自身の現行の公式資料で確認できないものは載せていない。
- Qualcomm Snapdragon Ride の TOPS 値と消費電力。公式白書・発表に TOPS 値の記載自体が見当たらない
- Tesla の車載計算機の TOPS・チップ数・冗長構成。公式サポートページは定量スペックを一切公開していない。よく引用される数値は現行の公式ページでは確認できない
- NVIDIA の Orin・Thor のSoC単体のTDP。開発プラットフォームのシステム電力350Wは確認できたが、SoC単体は非公開
- NVIDIA の ASIL-D の主張について、認証機関名と認証書番号
- Mobileye EyeQ 各世代の消費電力の絶対値。相対表現のみが公表されている
- Mobileye EyeQ6H の「34 DL TOPS (int8)」が疎行列か密行列か
- Horizon Journey 6 の派生機種別の値と演算精度
- Huawei MDC 810 単体の TOPS と消費電力
- AEC-Q100 の Grade 2・Grade 3 の温度範囲、および同規格の正式表題と最新改訂記号。発行機関 AEC 自身の文書に到達できなかった。Grade 0・1 のみ半導体メーカーの公式アプリケーションノートで確認している
- MLPerf Automotive v0.5 の「Constant Stream」の具体的な遅延制約値。「Benchmark specific」とのみ記載されている
この一覧そのものが、発注の材料になる。公開されていない項目は、契約前に書面で求めなければ最後まで分からない。
安全保証の観点
計算基盤は、安全論証の中では「性能要求を満たす根拠」として現れる。ここで求められるのは平均性能ではない。
最悪の場合に間に合うかである。安全論証は「この条件でこの時間内に判断できる」という主張を含むから、その裏づけには最悪値の測定が要る。平均処理時間は、この主張を支えない。
MLPerf Automotive が主指標に99.9パーセンタイル遅延を選んでいるのは、この理由による。
あわせて確認すべきなのが温度である。チップは熱くなると性能を落として自分を守る。真夏の車内や、直射日光下の駐車後に、公称性能が出るとは限らない。AEC-Q100 のグレードは動作保証温度を示すが、「壊れない温度」と「性能が落ちない温度」は別である。
そして計算基盤にも冗長の問題がある。主計算機が停止したとき何が引き継ぐかは、冗長設計のページで扱う。Waymo は主計算機の予備を搭載するとしつつ、その役割は安全な停止に限られると公表している。予備計算機は本番と同等とは限らない。
発注・検討するときの確認点
「その TOPS は、どの演算精度で、疎行列を使った値か使わない値か、書面で明記してください」
- なぜこれを聞くのか
- 「INT8・密行列で◯◯TOPS」のように条件が一意に定まるのが正常である。同じチップでも粗い精度と細かい精度で4倍以上違う実例がメーカー自身の公表値にある。「最大◯◯TOPSです」としか答えない、条件を口頭でしか言わない場合、その数字は比較に使えない。
「弊社が実際に使うモデルを実機で走らせたときの1コマあたりの処理時間と、そのときの認識精度を、測定条件つきで出してください。99.9パーセンタイル値でお願いします」
- なぜこれを聞くのか
- 実測のミリ秒値と精度が、モデル名・解像度・入力レート・温度条件とセットで出てくるのが正常である。TOPSの話に戻す、「十分な余裕があります」と定性的に答える、平均値だけ出して最悪値を出さない場合は要注意である。安全に効くのは最悪値のほうである。
「その計算機の消費電力と最大発熱、必要な冷却方式、そして車両の航続距離が何%減るかを教えてください」
- なぜこれを聞くのか
- 定格と最大の電力、冷却方式、車両の電力収支への影響が数字で出てくるのが正常である。査読論文では計算機単体で航続6%減、冷却込みで11.5%減という報告がある。電気自動車では運行費用に直結するため、「効率的です」で済ませてよい項目ではない。
「ASIL は何レベルを、どの範囲に対して取得していますか。SoC全体ですか、内蔵MCUだけですか。どの機関が発行した認証か番号とあわせてください」
- なぜこれを聞くのか
- レベル・範囲・認証機関の3つが揃うのが正常である。複数のチップメーカーの公式資料では、ASIL D が内蔵MCUについて述べられている場合がある。「certifiable(取得可能)」という表現に留まっている場合もある。「対応」と「認証取得済み」は別物である。
「真夏の車内で、公称の処理速度が出ますか。温度による性能低下の実測データはありますか」
- なぜこれを聞くのか
- 熱による性能低下(サーマルスロットリング)の実測データが出てくるのが正常である。AEC-Q100 のグレードだけを答える場合は、質問の意味が伝わっていない。動作保証温度は「壊れない温度」であって「性能が落ちない温度」ではない。日本の夏の運用条件で測ったデータがあるかを確認する。
混同されやすい用語
| この語 | 別のこの語 | 違い |
|---|---|---|
| TOPS | 実効性能 | 前者は演算器が100%動いたと仮定した理論上の上限。後者は実際にモデルを動かしたときに出る性能。査読論文では公称の数%という測定例もある |
| TOPS | TFLOPS | 前者は主に整数演算、後者は浮動小数点演算の指標。同じチップでも別の数値になるため、単位をそろえずに比べられない |
| 疎行列(スパース)値 | 密行列(デンス)値 | 計算を間引く前提で出した値と、間引かない値。メーカーの公表値では2倍の差がある例がある。条件表記がなければどちらか分からない |
| ASIL D 対応 | ASIL D 認証取得済み | 前者は設計上その水準を狙ったという主張を含みうる。後者は第三者機関の認証を受けたという事実。範囲(SoC全体か内蔵MCUのみか)も別に確認する |
| AEC-Q100 のグレード | 性能が落ちない温度 | 前者は壊れずに動作することを保証する温度範囲。高温では性能を落として自分を守る動作が入るため、両者は一致しない |
| 遅延の平均値 | 99.9パーセンタイル遅延 | 前者は普段の速さ。後者は1000回に1回の最悪に近い値。安全に効くのは後者であり、MLPerf Automotive も後者を主指標にしている |
出典
一次情報を優先している。「区分」は、その資料が発行機関自身の公表物(一次)か、第三者による索引・複製(ミラー)か、解説(二次)かを示す。リンク切れに備え、発行者・文書名・日付を本文でも残している。
- NVIDIA(企業公式・開発者向け)DRIVE AGX Autonomous Vehicle Development Platform(Thor を「1,000 INT8 TOPS/2,000 FP4 TFLOPS」、Orin を「254 INT8 TOPS/5.2 FP32 TOPS」と精度つきで併記する)https://developer.nvidia.com/drive/agx
- NVIDIA(企業公式)In-Vehicle Computing for Autonomous Vehicles(製品紹介ページ。開発者向けページが「254 INT8 TOPS」と精度を明記するのに対し、こちらは精度表記なしで「254 TOPS」と記載する)https://www.nvidia.com/en-us/solutions/autonomous-vehicles/in-vehicle-computing/
- NVIDIA(企業公式)NVIDIA DRIVE AGX Thor Development Platform(開発者向け資料。システム電力350W、入力電圧は定常9〜16V・過渡7〜32V、安全用MCUとして Renesas U2A16 を搭載、DriveOS を「ISO 26262 safety certifiable」と記載。SoC単体のTDPは公開されていない)https://developer.download.nvidia.com/drive/docs/nvidia-drive-agx-thor-platform-for-developers.pdf
- NVIDIA Developer Blog(企業公式)Introducing NVIDIA Jetson Thor, the Ultimate Platform for Physical AI(同一チップ T5000 を FP4 で2,070 TFLOPS、FP16 で517 TFLOPS と記載。FP4 でも疎行列2,070/密行列1,035 と2倍の差がある。モジュール電力枠は40W〜130W)https://developer.nvidia.com/blog/introducing-nvidia-jetson-thor-the-ultimate-platform-for-physical-ai/
- Mobileye(企業公式)The Evolution of EyeQ(EyeQ6H を「34 DL TOPS (int8)」7nm、EyeQ6L を「5 DL TOPS (int8)」7nm と公表。消費電力の絶対値は公開されていない)https://www.mobileye.com/technology/eyeq-chip/
- Mobileye(企業公式)Benchmark results|Mobileye EyeQ6H and Jetson AGX Orin(34 TOPS の EyeQ6H と275 TOPS の Orin を自社比較。ResNet-50 の遅延は 0.5ms 対 1.64ms、EfficientViT-B1 は 0.564ms 対 1.48ms と記載)https://www.mobileye.com/technology/eyeq-chip/benchmark/
- Horizon Robotics 地平線(企業公式)Horizon Journey — Smart Driving Chip / Smart Driving Platform(Journey 6 系の「560 TOPS」は1/2疎行列条件つきの値。Journey 2 は4 TOPS/2W、Journey 3 は5 TOPS/2.5W。派生別の値と演算精度は公開されていない)https://www.horizon.auto/en/solutions/horizon-journey
- Qualcomm(企業公式)Snapdragon Ride: A foundational platform for automakers to scale with the ADAS market(白書。統合MCUを「ASIL D MCU」と記載する一方、TOPS値と消費電力は記載されていない)https://www.qualcomm.com/content/dam/qcomm-martech/dm-assets/documents/Snapdragon-Ride-GLOBAL-whitepaper.pdf
- Tesla(企業公式)AI Computer Installations|Tesla Support(TOPS値・チップ数・冗長構成のいずれも記載されていない)https://www.tesla.com/support/ai-computer
- Huawei(企業公式・HuaweiTech 第86号)Putting the brain in driverless vehicles with MDC(最大352 TOPS、1 TOPS/W の電力効率、ISO 26262 ASIL D 適合、動作周囲温度−40〜85℃、E2E遅延200ms、カーネルスケジューリング遅延10μs未満と記載)https://www.huawei.com/en/huaweitech/publication/86/driverless-vehicles-with-MDC
- MLCommonsBenchmark MLPerf Automotive(v0.5。2D物体検出・2Dセマンティックセグメンテーション・3D物体検出の3種、モデルは SSD/DeepLabv3+/BEVFormer-tiny、データセットは Cognata と nuScenes。主指標は99.9パーセンタイル遅延であり TOPS ではない。精度目標は FP32 基準の99.9%、3D は99%)https://mlcommons.org/benchmarks/mlperf-automotive/
- MLCommonsAVCC and MLCommons Release New MLPerf Automotive v0.5 Benchmark Results(提出は GateOverflow と NVIDIA の2者のみ)https://mlcommons.org/2025/08/mlperf-auto-v0-5-results/
- MLCommonsMLPerf Automotive(作業部会ページ。RFI・RFQ で使える業界標準ベンチマークの整備を目的として掲げる)https://mlcommons.org/working-groups/benchmarks/automotive/
- Boutros ほか/IEEE ICFPT 2020(査読会議)Beyond Peak Performance: Comparing the Real Performance of AI-Optimized FPGAs and GPUs(batch-6 で T4 が1.5%、V100 が3% の幾何平均演算器稼働率と報告)https://users.ece.cmu.edu/~jhoe/distribution/2020/fpt2020.pdf
- Lin ほか/ACM ASPLOS'18(査読会議)The Architectural Implications of Autonomous Driving: Constraints and Acceleration(CPU1+GPU3構成で約1,000W、計算機だけで航続距離6%減、冷却込みで11.5%減。交通状況の処理遅延は100ms以内とすべきとし、根拠を人間の最速反応100〜150msに置く)https://dl.acm.org/doi/10.1145/3173162.3173191
- Sudhakar, Sze, Karaman/IEEE Micro(査読誌)Data Centers on Wheels: Emissions From Computing Onboard Autonomous Vehicles(車載計算機を1.2kW未満に抑える必要を指摘し、ハードウェア効率が1.1年ごとに倍増しなければ排出が悪化すると試算)https://ieeexplore.ieee.org/document/9942310/
- 国際標準化機構(ISO)ISO 26262-1:2018 Road vehicles — Functional safety(第2版。第3版が改訂作業中)https://www.iso.org/standard/68383.html
- 国際標準化機構(ISO)ISO 26262-9:2018 Road vehicles — Functional safety — Part 9: ASIL-oriented and safety-oriented analyseshttps://www.iso.org/standard/68391.html
- Freescale Semiconductor(現 NXP Semiconductors)AN3835: MC9S08SG32 Series High-Temperature Devices Design Considerations(AEC-Q100 の Grade 0 は周囲温度−40〜150℃、Grade 1 は−40〜125℃と記載)https://www.nxp.com/docs/en/application-note/AN3835.pdf
- Waymo LLC(企業公式)Building in layers of safety in a self-driving car(主計算機が停止した稀な場合に備えた予備計算機を搭載し、その役割は安全な路肩停車や停止に限られると記載)https://waymo.com/blog/2016/12/building-in-layers-of-safety-in-self/
最終更新日:2026年7月30日。このページの記述は同日時点で確認したものである。
