01

60 秒回答模板

我会按四步讲前融合。第一，目标是在早期让相机语义纹理和 LiDAR 三维几何互补，而不是只在最后融合检测框。第二，先解决内外参、时间戳、坐标系和视场重叠，把点云投到图像，或把图像特征提升到 3D/BEV。第三，选一种融合粒度并说明取舍：point-level 简单直观，voxel/pillar 贴近点云编码，BEV/cross-attention 更适合多相机和下游规划但计算更重。第四，用标定扰动、sensor dropout、雨夜遮挡、点云稀疏、延迟和单传感器降级验证，证明闭环收益超过计算和部署成本。

考点 时空对齐
难度 真实面经题
回答目标 提出可落地的 Camera/LiDAR 前融合架构，并说明对齐、鲁棒性、训练和闭环验证。
02

深入解析

01

前融合先对齐时空

Camera 和 LiDAR 前融合的前提是内参、外参、时间戳和坐标系可靠。点云投影到图像或图像特征提升到 3D/BEV 时，任何外参偏差和同步误差都会直接造成特征错配。

02

选择统一表示空间

可以在点级融合，把图像语义采样到每个点；可以在 voxel/pillar 特征上融合；也可以把相机特征通过深度估计或几何变换提升到 BEV，再与 LiDAR BEV 特征融合。统一表示要兼顾精度、计算量和部署延迟。

03

融合模块要处理互补

LiDAR 提供准确几何和距离，相机提供纹理、颜色和语义。融合可以用拼接、加权、attention、cross-attention 或门控机制，但核心是让模型学会在不同距离、遮挡和光照下动态信任不同传感器。

04

误差鲁棒性是重点

前融合对标定和同步很敏感。训练和验证中要加入外参扰动、时间偏移、传感器 dropout、点云稀疏、相机曝光变化、雨雾夜间和遮挡，避免模型只在理想对齐数据上表现好。

05

监督和任务要匹配

如果目标是 3D 检测，监督包括 3D box、类别和速度；如果目标是 occupancy 或语义地图，需要空间占据或分割标签。融合设计要服务下游任务，不能只追求中间特征看起来丰富。

06

部署要看闭环收益

前融合通常计算和数据搬运更复杂，部署时要关注多相机特征提取、点云编码、BEV 构建、显存、延迟和失效降级。验收要证明相比单传感器或后融合，在关键场景召回、误检、稳定性和规划安全上有收益。

03

易错点

  • 只说把图像和点云特征 concat，没有说明坐标、时间和视场如何对齐。
  • 忽略前融合对外参误差和时间不同步的敏感性。
  • 不区分点级、体素级、BEV 级融合的工程取舍。
  • 训练只用理想数据，不做传感器 dropout、标定扰动和恶劣天气增强。
  • 只看检测 mAP，不验证延迟、失效降级和下游规划收益。
04

面试官追问

前融合相比后融合的优势和风险是什么？

前融合能更早利用图像语义和点云几何互补，潜在精度更高；风险是对标定同步更敏感，算力和工程复杂度更高，传感器异常更容易污染特征。

相机特征怎么提升到 BEV？

常见做法是用深度分布或几何投影把图像特征 lift 到 3D frustum，再 splat 到 BEV；也可以用 transformer 在相机视图和 BEV query 间做交互。

外参有小偏差时模型怎么更鲁棒？

训练时做外参扰动增强，融合模块使用局部邻域采样或 deformable attention，线上监控投影残差并在偏差过大时降级。