一言でいうと
切り分けた仕事の一つ一つに、学習する仕組みを入れた世代である。とくに「見る」の部分で、複数のカメラの映像を上から見た1枚の図にまとめて扱う手法が広く使われるようになった。
分割は保ったまま、中身を学習に置き換えている。
何を解決するために生まれたか
前の世代の弱点は、認識の性能だった。人が書いた特徴量の設計では、多様な見え方に対応しきれない。そこで各段の中身を深層学習に置き換えた。
そのうえで、この世代を特徴づける2つの表現が生まれた。俯瞰表現（BEV）と占有表現（Occupancy）である。どちらも、複数のカメラが別々に見ている映像を、そのまま扱うことの難しさを解こうとしたものである。
仕組み：俯瞰表現（BEV）
複数のカメラは、それぞれ別の視点の座標系で映像を撮る。しかも透視投影のため、画像上の位置と実際の距離は素直に対応しない。そこで全センサの出力を車を中心とした1枚の俯瞰図に写像してから扱う。
系譜として確認できる主な手法は次のとおりである。
| 手法 | 考え方 | 発表 |
|---|---|---|
| LSS Lift, Splat, Shoot | 各画素について深度を1つに決めず、離散的な確率分布として持つ。その分布に従って特徴を3D空間にばらまき、俯瞰の格子にまとめる | ECCV 2020（査読会議） |
| PETR | 俯瞰の格子を明示的に作らず、3Dの位置情報を画像特徴に埋め込む。設計思想がLSS系と異なる | ECCV 2022（査読会議） |
| BEVFormer | 俯瞰の格子上の学習可能なクエリが、空間方向には複数カメラを、時間方向には過去の俯瞰特徴を参照する | ECCV 2022（査読会議） |
| BEVDet | LSS型の視点変換を、検出のパイプラインとしてモジュール化した | プレプリントのみ。査読状況は確認できない |
「深度を1つに決めず確率分布として持つ」という考え方が、以降の基礎になった。
仕組み：占有表現（Occupancy）
物体検出には構造的な弱点がある。あらかじめ定義したクラスに当てはまるものしか出力できないことである。落下物、変形した物、工事資材、動物。学習していないものは「検出されない」＝存在しないものとして扱われうる。
占有表現は、空間を細かい立体の格子に区切り、それぞれが埋まっているか空いているかを出力する。種類が分からなくても、そこを通れるかどうかは判断できる。
代表的な研究を2つ挙げる。3つの直交平面で3D空間を表現して計算量を抑える手法（CVPR 2023）。そして公開ベンチマークを構築した研究（NeurIPS 2023）である。後者は遮蔽されて観測できない格子を評価から除く仕組みを導入している。見えていない領域をどう扱うかが、評価設計にまで及ぶことを示している。
占有だけでは「ぶつかるか」は決まらない
静止した紙袋と静止した子どもは、占有としては同じである。ぶつかるかどうかは将来の位置に依存するため、占有に加えて時間発展が必要になる。各格子の占有確率と流れを同時に予測する手法が査読誌で提案されている。
もうひとつの問題は誤検知が過剰な制動につながることである。水しぶき、排気、雪煙、路面の反射を占有と判定すれば、車は理由なく止まる。クラスの分類を捨てることは、この誤検知を見分ける手がかりも一部捨てることを意味する。
できること／できないこと
この世代でできること
- 複数カメラの映像を統一した座標系で扱う
- 学習していない種類の障害物を、占有として扱う
- 段の分割を保ったまま、認識性能を上げる
- 時系列を取り込み、遮蔽や速度推定に強くする
この世代でできないこと
- カメラの取り付け位置がずれたときに、俯瞰への変換を正しく保つこと
- 格子の解像度を上げること。計算量とメモリは解像度の3乗で増える
- 遮蔽領域の扱いを一意に決めること。空きとみなせば危険、占有とみなせば動けない
- 無視してよい占有（蒸気、落ち葉、雪煙）を確実に見分けること
トレードオフ
占有表現は、種類に依存しない安全性を得る代わりに、無視してよいものを見分ける手がかりを減らす。俯瞰表現は、後段が扱いやすい形を得る代わりに、カメラの取り付けパラメータの正確さと、地面が概ね平面であるという仮定に依存する。
この世代を選ぶ合理的な理由が今でもあるか
ある。現在稼働しているロボタクシーの多くがこの系統である
この世代は、分割による検証可能性と、学習による認識性能を両立させようとした設計である。段の境界が人の読める形式で残っているため、既存の安全論証の枠組みが使える。同時に、認識の性能は人手の特徴量設計を大きく超える。
2026年7月時点で公道の商用運行を継続している事業者の多くが、この系統の設計を採っていると考えられる。ただし各社の実装の詳細は公表されておらず、公表資料から断定することはできない。
| レイヤー | この世代での実装 |
|---|---|
| L01 センシング | 特徴量レベルでの融合が入る。センサ間の相補的な情報を学習段階で使う |
| L02 測位・地図 | 高精度地図への依存を減らす方向に動く。地図の更新コストが設計上の論点になる |
| L03 認識・予測 | この世代の中核。俯瞰表現と占有表現。検出・追跡・予測に深層学習を入れる |
| L04 判断・計画 | 計画にも学習を入れる。模倣学習と強化学習。ルールとの併用が多い |
| L05 制御・車両 | 冗長化の要求が上がる。学習系の出力を監視する独立した層を持つ設計もある |
| L06 計算基盤 | 演算量が大きく増える。電力と熱が設計の制約になる |
| L07 通信・インフラ協調 | 路側センサとの協調。車載側の認識を補う |
| L08 HMI・対人 | 遠隔監視者への状況提示に、認識結果の可視化が使われる |
| L09 ODDと運用 | ODDの範囲が広がる。同時に、範囲の外に出たことの判定が難しくなる |
| L10 安全保証・規格 | 学習を含むシステムの安全保証が論点になる。ISO/PAS 8800:2024 が枠組みを与える |
| L11 検証・評価 | シナリオベース検証とシミュレーションの比重が上がる |
| L12 社会実装 | ロボタクシーの商用運行がこの世代で始まっている |
安全保証の観点
学習を含むシステムの安全保証について、2024年12月13日に ISO/PAS 8800 が発行された。車両内のAI要素の「出力の不十分性」、系統的な誤り、ランダムなハードウェア故障に起因するリスクを扱う。
ただしこれは PAS（公開仕様書）であって完全な国際規格ではない。「AIの安全規格ができた」と単純化するのは不正確である。
認識性能の偏りも論点である。査読誌に掲載された研究が、8つの歩行者検出器を評価している。報告されているのは、子どもの未検出率が成人より平均20.14ポイント高いことである。加えて、夜間では女性の未検出率が男性より有意に高いとしている。一方で肌の色による差は0.44ポイントと小さかった。この論点は研究が少なく、結果も一致していない。
発注・検討するときの確認点
「占有表現のボクセル解像度とカバー範囲、更新周期はいくつですか。その解像度で検知できる最小の障害物は、距離ごとに何cmですか」
- なぜこれを聞くのか
- 解像度の3乗で計算量が増えるため、必ずどこかで妥協している。その妥協点を聞く。
「歩行者検出の性能を、年齢層別・体格別に分けて評価していますか。全体のmAPではなく、部分集団ごとの見逃し率を示せますか」
- なぜこれを聞くのか
- 全体の指標だけを見ると偏りは見えない。査読研究が子どもの未検出率の差を報告している。
「学習・評価データの地理的構成を開示できますか。日本国内のデータは何%で、軽自動車と自転車はどの程度含まれますか」
- なぜこれを聞くのか
- ドイツで学習した検出器を米国で評価すると性能が大きく落ち、主因は車体サイズの分布の違いだった、という査読研究がある。
出典
一次情報を優先している。「区分」は、その資料が発行機関自身の公表物（一次）か、第三者による索引・複製（ミラー）か、解説（二次）かを示す。リンク切れに備え、発行者・文書名・日付を本文でも残している。
- Philion, J. & Fidler, S.／ECCV 2020（査読会議）Lift, Splat, Shoot: Encoding Images from Arbitrary Camera Rigs by Implicitly Unprojecting to 3D（深度を離散確率分布として持ち、BEVへ写像する）https://link.springer.com/chapter/10.1007/978-3-030-58568-6_12
- Li, Z. ほか／ECCV 2022（査読会議）BEVFormer: Learning Bird's-Eye-View Representation from Multi-camera Images via Spatiotemporal Transformers（空間方向は複数カメラ、時間方向は過去のBEV特徴を参照）https://www.ecva.net/papers/eccv_2022/papers_ECCV/papers/136690001.pdf
- Li, H. ほか／IEEE TPAMI（査読誌）Delving Into the Devils of Bird's-Eye-View Perception: A Review, Evaluation and Recipehttps://arxiv.org/abs/2209.05324
- Huang, Y. ほか／CVPR 2023（査読会議）Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction（3つの直交平面で3D空間を表現し、フルボクセルより計算量を抑える）https://openaccess.thecvf.com/content/CVPR2023/html/Huang_Tri-Perspective_View_for_Vision-Based_3D_Semantic_Occupancy_Prediction_CVPR_2023_paper.html
- Tian, X. ほか／NeurIPS 2023 Datasets & Benchmarks（査読会議）Occ3D: A Large-Scale 3D Occupancy Prediction Benchmark for Autonomous Driving（遮蔽で観測できない格子を評価から除くvisibility maskを導入）https://proceedings.neurips.cc/paper_files/paper/2023/file/cabfaeecaae7d6540ee797a66f0130b0-Paper-Datasets_and_Benchmarks.pdf
- Mahjourian, R. ほか／IEEE RA-L（査読誌）Occupancy Flow Fields for Motion Forecasting in Autonomous Driving（各格子の占有確率と流れを同時に予測する）https://arxiv.org/abs/2203.03875
- 国際標準化機構（ISO）ISO/PAS 8800:2024 Road vehicles — Safety and artificial intelligence（車両内AI要素の出力の不十分性を扱う。PAS＝公開仕様書であり完全な国際規格ではない）https://www.iso.org/standard/83303.html
- Li, X. ほか／ACM Transactions on Software Engineering and Methodology 34(3) Article 82（査読誌）Bias Behind the Wheel: Fairness Testing of Autonomous Driving Systems（8つの歩行者検出器を評価。子どもの未検出率が成人より平均20.14ポイント高い。夜間では女性の未検出率が男性より有意に高い）https://dl.acm.org/doi/10.1145/3702989
- Wang, Y. ほか／CVPR 2020（査読会議）Train in Germany, Test in the USA: Making 3D Object Detectors Generalize（ドイツで学習した3D物体検出器を米国データで評価すると性能が大きく低下。主因は国ごとの車体サイズの違い）https://openaccess.thecvf.com/content_CVPR_2020/papers/Wang_Train_in_Germany_Test_in_the_USA_Making_3D_Object_CVPR_2020_paper.pdf
- Bijelic, M. ほか／CVPR 2020（査読会議）Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather（濃霧でLiDAR単体の検出APが大きく低下。パルス式LiDARは後方散乱により有効距離が20m未満に制限されると記載）https://openaccess.thecvf.com/content_CVPR_2020/papers/Bijelic_Seeing_Through_Fog_Without_Seeing_Fog_Deep_Multimodal_Sensor_Fusion_CVPR_2020_paper.pdf
最終更新日：2026年7月30日。このページの記述は同日時点で確認したものである。