一言でいうと
車は1種類の目だけでは足りない。距離を測るのが得意なもの、色や文字が読めるもの、雨や霧に強いもの。性質の違う複数の目の情報を突き合わせて1つの理解にする作業である。
突き合わせ方によって、何に強く何に弱いかが変わる。
何を解決するために生まれたか
センサはそれぞれ物理的に別のものを測っている。LiDARは、自ら出したレーザーが戻る時間から距離を測る。カメラは周囲の光の反射から色と形を捉える。ミリ波レーダーは、電波の往復時間とドップラー効果から距離と相対速度を測る。
どれも単独では足りない。カメラは距離を直接測れない。LiDARは色と文字が読めない。レーダーは細かい形が分からない。そこで突き合わせる。
ただし突き合わせる目的は1つではない。ここが実務上の要点になる。
仕組み
融合の段階は、査読サーベイで3つに分類されている。入力の段階で融合する方式、特徴の段階で融合する方式、そして各センサが独立に物体のリストを出してから統合する方式である。
| 段階 | 利点 | 弱点 |
|---|---|---|
| 前段（入力・特徴レベル） | センサ間の相関を学習段階で使える。単一センサでは取れない情報を統合できる | 空間的・時間的な位置合わせの精度に強く依存する。一方が壊れたときに全体が壊れうる |
| 後段（物体レベル） | 各処理系が独立しているため、片方が故障・劣化しても他方が生き残る | 各処理系が捨てた情報（信頼度の低い検出、生データの微細な手がかり）は復元できない |
CVPR 2020 で発表された研究は、悪天候の種類を明示的に分類しない設計を提案している。測定のエントロピーで融合の重みを制御し、劣化しているセンサの寄与を自動的に抑える方式である。未知の悪天候への一般化を狙ったものと説明されている。
できること／できないこと
できること
- 性質の違うセンサの情報を統合して、単独では取れない理解を得る
- 片方のセンサが劣化した条件で、他方が補う
- 距離・速度・色や文字といった、別の物理量を組み合わせる
- 悪条件を明示的に分類せずに、信号の品質から重みを変える設計もある
できないこと
- 共通の原因で同時に壊れることを防ぐこと（共通の電源、共通のクロック、共通の学習データ、共通のソフトウェア）
- 位置合わせや時刻同期がずれたことを、自動で検知すること（設計に含めていなければ）
- 性能向上と冗長性確保を、同じ設計で同時に最大化すること
- 融合の平均精度を上げることで、冗長性を証明すること
トレードオフ
前段で深く融合するほど相補的な情報を使えるが、一方の異常が全体に波及しやすい。後段で統合するほど故障を隔離しやすいが、情報の損失は避けられない。
性能向上のための融合と、冗長性のための融合は別物である
性能向上のための融合は、平均的な精度指標を上げることが目的である。前段融合が有利になりやすい。ただし共通原因の故障（位置合わせのずれ、同期のずれ、共通の学習データの偏り）に弱い。
冗長性のための融合は、1つのセンサや1つの処理系が失われても最低限の安全機能が残ることが目的である。この目的では、センサの物理原理が異なることと、処理系が独立していることが本質になる。平均精度が最良である必要はない。
この2つは評価する指標が違う。平均精度の向上は冗長性を証明せず、冗長性の確保は平均精度を最大化しない。「センサを増やしたので安全です」という説明は、どちらの話をしているのかを確認する必要がある。
実際に使われている例
悪条件での性能は、査読論文で測定されている。ただしいずれも特定の機種・特定の条件下の値であり、一般化はできない。
- 人工の霧と雨のチャンバー試験で、LiDARの検知性能が約50%低下したという報告（IEEE ITSC 2018）。
- 北欧1万kmの実走行と霧チャンバーによるデータセットで、濃霧においてLiDAR単体の検出性能が大きく低下したという報告（CVPR 2020）。同論文は、パルス式LiDARが後方散乱により有効距離が20m未満に制限されると記述している。
- 同一車両に4Dレーダー・LiDAR・カメラを搭載し、晴天から大雪まで収集したベンチマークがある。みぞれと大雪ではLiDARベース手法の低下が大きく、4Dレーダーベース手法の低下が相対的に小さかったという報告（NeurIPS 2022）。
4Dレーダーは、従来の距離・方位・ドップラー速度に仰角を加えた4次元を測る。これにより高さ方向の弁別が原理的に可能になる。
確認できなかったこと
次の3つについて、今回の調査では査読論文を特定できなかった。砂塵・砂嵐の条件での車載センサ性能の定量評価。逆光や低い太陽高度による検出性能の低下の定量化。超音波センサの車載条件下での性能限界。
これは「問題がない」という意味ではない。公表された定量データが見つからなかったという意味である。
安全保証の観点
故障していないのに性能が足りない状態を扱う規格が ISO 21448（SOTIF） である。2022年発行の第1版で、センサや認識アルゴリズムの性能不足・仕様不足によって危険が生じうることを対象とする。故障による危険を扱う ISO 26262 とは適用範囲が異なる。
センサフュージョンの安全論証で問われるのは、共通原因の故障をどこまで分析したかである。共通の電源、共通のクロック、共通の学習データ、共通のソフトウェアスタック。これらは冗長化したつもりの系統を同時に失わせる。
発注・検討するときの確認点
「この融合は性能向上が目的ですか、冗長性の確保が目的ですか。冗長性が目的なら、センサAが完全に失われた状態での性能を単独で測った結果を示してください」
- なぜこれを聞くのか
- 2つは評価する指標が違う。平均精度の数値は冗長性の証明にならない。
「位置合わせや時刻同期がずれたとき、システムはそれを検知できますか。検知できない場合、どの程度のずれまで性能が保証されますか」
- なぜこれを聞くのか
- 経年変化、振動、修理後の再調整は必ず起きる。検知できなければ、ずれたまま走り続ける。
「融合の構成の中に、共通原因で同時に失われる部分はどこにありますか。それをどう分析しましたか」
- なぜこれを聞くのか
- 共通の電源・クロック・学習データ・ソフトウェアが該当する。分析していなければ、冗長化は見かけだけになる。
混同されやすい用語
| この語 | 別のこの語 | 違い |
|---|---|---|
| センサフュージョン | 冗長化 | 融合は複数の情報を1つにすること。冗長化は同じ機能を二重以上に持つこと。目的が違う |
| 前段融合 | 後段融合 | 前段は相補的な情報を使えるが異常が波及しやすい。後段は故障を隔離できるが情報が失われる |
| 検知できる | 検知し続けられる | 1回の試験での検知と、汚れ・着雪・経年変化を伴う運用での検知は別である |
出典
一次情報を優先している。「区分」は、その資料が発行機関自身の公表物（一次）か、第三者による索引・複製（ミラー）か、解説（二次）かを示す。リンク切れに備え、発行者・文書名・日付を本文でも残している。
- Bijelic, M. ほか／CVPR 2020（査読会議）Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather（濃霧でLiDAR単体の検出APが大きく低下。パルス式LiDARは後方散乱により有効距離が20m未満に制限されると記載）https://openaccess.thecvf.com/content_CVPR_2020/papers/Bijelic_Seeing_Through_Fog_Without_Seeing_Fog_Deep_Multimodal_Sensor_Fusion_CVPR_2020_paper.pdf
- Kutila, M. ほか／IEEE ITSC 2018（査読会議）Automotive LiDAR performance verification in fog and rain（人工霧・雨のチャンバー試験で検知性能の約50%低下を観測）https://cris.vtt.fi/ws/files/33650663/Automotive_LiDAR_performance.pdf
- Paek, D.-H. ほか／NeurIPS 2022 Datasets & Benchmarks（査読会議）K-Radar: 4D Radar Object Detection for Autonomous Driving in Various Weather Conditions（みぞれ・大雪でLiDARベース手法の低下が大きく、4Dレーダーベース手法の低下が相対的に小さい）https://proceedings.neurips.cc/paper_files/paper/2022/file/185fdf627eaae2abab36205dcd19b817-Paper-Datasets_and_Benchmarks.pdf
- 国際標準化機構（ISO）ISO 21448:2022 Road vehicles — Safety of the intended functionality（SOTIF）https://www.iso.org/standard/77490.html
- 国際標準化機構（ISO）ISO 26262-1:2018 Road vehicles — Functional safety（第2版。第3版が改訂作業中）https://www.iso.org/standard/68383.html
- Li, H. ほか／IEEE TPAMI（査読誌）Delving Into the Devils of Bird's-Eye-View Perception: A Review, Evaluation and Recipehttps://arxiv.org/abs/2209.05324
最終更新日：2026年7月30日。このページの記述は同日時点で確認したものである。