主题
BEV 空间表示与跨视角时序特征融合:从 LSS 深度提升到 Sparse Query 范式
多传感器感知系统的输出最终要服务于路径规划与轨迹预测,而规划与控制天然工作在以自车为中心的二维或三维物理地面坐标系下。鸟瞰图表示(Bird's-Eye-View, BEV) 通过将不同安装方位、不同成像机理的传感器特征统一映射至同一物理网格空间,成为多视角视觉、4D 毫米波雷达与激光雷达跨模态融合的核心枢纽。
1. 前向深度提升(LSS)与后向几何查询(BEVFormer)
将透视图像(Perspective View)转换为 BEV 特征图本质上是一个缺省深度信息的病态逆投影问题,工程上主要衍生出两条范式:
- 前向提升投影(Lift-Splat-Shoot, LSS):先在图像特征每个像素位置预测离散深度分布 αd,将 2D 特征沿着视锥射线外积“提升”到 3D 视锥空间,再通过体素池化(Voxel Pooling)“拍扁”累积到 BEV 网格中。
- 后向几何查询(Backward Query / Spatial Cross-Attention):先在 3D BEV 空间预设稀疏或稠密的物理网格查询向量 Qbev,利用相机内外参直接把 3D 采样点反向投影至各个相机特征平面 (u, v),通过可变形注意力(Deformable Attention)按需提取跨视角语义。
Temporal Ego-Motion Feature Warping in BEV Plane
pt−1 = Tego, t−1←t · pt, F̃t−1→t(x, y) = BilinearSample( Ft−1, π(pt−1) )(1) 自车运动对齐
Fbev, t = Fusion( F̃t−1→t, Fcam, t, Fradar, t )(2) 时序与跨模态融合
2. 跨帧时序特征对齐流水线
单帧视觉深度估计在面对远距离目标与遮挡区域时存在显著模糊性。通过保留过去数帧历史 BEV 特征张量并依据里程计(IMU + 轮速计 / VIO)提供的刚体变换矩阵 Tt−1←t 进行空间双线性重采样,静态背景目标将在时序维度形成一致的多视角三角化约束,动态目标则在通道维度自然暴露运动速度线索:
3. PyTorch 历史 BEV 特征自车运动翘曲实现
以下示例展示如何利用 affine_grid 与 grid_sample 将上一帧 BEV 特征精确对齐至当前自车坐标系下,供后续时序门控或交叉注意力模块使用:
python
import torch
import torch.nn.functional as F
def warp_history_bev(
prev_bev: torch.Tensor,
ego_motion_2d: torch.Tensor,
bev_range_m: tuple[float, float] = (102.4, 102.4),
) -> torch.Tensor:
"""Warp [B, C, H, W] BEV grid from t-1 to current frame t via ego transform."""
b, _, h, w = prev_bev.shape
device = prev_bev.device
# Build normalized [-1, 1] physical coordinate meshgrid
xs = torch.linspace(-1.0, 1.0, w, device=device) * (bev_range_m[0] / 2.0)
ys = torch.linspace(-1.0, 1.0, h, device=device) * (bev_range_m[1] / 2.0)
grid_y, grid_x = torch.meshgrid(ys, xs, indexing="ij")
ones = torch.ones_like(grid_x)
pts_curr = torch.stack([grid_x, grid_y, ones], dim=-1).view(1, h * w, 3)
# ego_motion_2d: [B, 3, 3] mapping current ego coords -> prev ego coords
pts_prev = torch.bmm(pts_curr.expand(b, -1, -1), ego_motion_2d.transpose(1, 2))
norm_x = pts_prev[..., 0] / (bev_range_m[0] / 2.0)
norm_y = pts_prev[..., 1] / (bev_range_m[1] / 2.0)
sample_grid = torch.stack([norm_x, norm_y], dim=-1).view(b, h, w, 2)
return F.grid_sample(prev_bev, sample_grid, mode="bilinear", align_corners=True)4. 三种主流 BEV 映射范式工程选型对比
| 架构范式 | 映射方向与核心算子 | 内存与延迟特征 | 适用场景 |
|---|---|---|---|
| LSS (Lift-Splat) | 前向提升:显式深度分布 × Voxel Pooling | 需要优化 CUDA Radix/BEVPool 算子,网格显存固定 | 稠密语义占据预测(Occupancy)、多模态特征前融合 |
| BEVFormer | 后向查询:Deformable Cross-Attention | 无定制体素核依赖,部署友好但稠密 Query 计算量较大 | 中近距离高精度 3D 目标检测与地图拓扑构建 |
| Sparse Query (PETR / Sparse4D) | 实例稀疏查询:仅在 3D 候选框/关键点处采样 | 彻底省去 200×200 稠密网格计算,远距离扩展极佳 | 高吞吐、长距高速跟踪与低算力端侧平台 |