Skip to content
机器人系统与感知阅读约 9 分钟
BEV PerceptionTransformerTemporal FusionRobotics

解析多视角相机与 4D 毫米波雷达在统一鸟瞰图(BEV)空间的投影建图机理、前向与后向特征映射差异以及基于自车运动的时序特征对齐方法。

BEV 空间表示与跨视角时序特征融合:从 LSS 深度提升到 Sparse Query 范式 ​

多传感器感知系统的输出最终要服务于路径规划与轨迹预测,而规划与控制天然工作在以自车为中心的二维或三维物理地面坐标系下。鸟瞰图表示(Bird's-Eye-View, BEV) 通过将不同安装方位、不同成像机理的传感器特征统一映射至同一物理网格空间,成为多视角视觉、4D 毫米波雷达与激光雷达跨模态融合的核心枢纽。


1. 前向深度提升(LSS)与后向几何查询(BEVFormer) ​

将透视图像(Perspective View)转换为 BEV 特征图本质上是一个缺省深度信息的病态逆投影问题,工程上主要衍生出两条范式:

  1. 前向提升投影(Lift-Splat-Shoot, LSS):先在图像特征每个像素位置预测离散深度分布 αd,将 2D 特征沿着视锥射线外积“提升”到 3D 视锥空间,再通过体素池化(Voxel Pooling)“拍扁”累积到 BEV 网格中。
  2. 后向几何查询(Backward Query / Spatial Cross-Attention):先在 3D BEV 空间预设稀疏或稠密的物理网格查询向量 Qbev,利用相机内外参直接把 3D 采样点反向投影至各个相机特征平面 (u, v),通过可变形注意力(Deformable Attention)按需提取跨视角语义。
Temporal Ego-Motion Feature Warping in BEV Plane
pt−1 = Tego, t−1←t · pt,   F̃t−1→t(x, y) = BilinearSample( Ft−1, π(pt−1) )(1) 自车运动对齐
Fbev, t = Fusion( F̃t−1→t, Fcam, t, Fradar, t )(2) 时序与跨模态融合

2. 跨帧时序特征对齐流水线 ​

单帧视觉深度估计在面对远距离目标与遮挡区域时存在显著模糊性。通过保留过去数帧历史 BEV 特征张量并依据里程计(IMU + 轮速计 / VIO)提供的刚体变换矩阵 Tt−1←t 进行空间双线性重采样,静态背景目标将在时序维度形成一致的多视角三角化约束,动态目标则在通道维度自然暴露运动速度线索:

环视图像特征Backbone + FPN历史 BEV 缓存F_t-1 + 自车位姿 ΔT3D→2D 空间交叉注意力Deformable Sampling运动补偿 Grid Sample历史特征对齐当前坐标跨模态 / 时序融合融合 4D 雷达速度特征Temporal Self-Attention多任务感知头3D 检测 / 占据栅格矢量地图 / 轨迹

3. PyTorch 历史 BEV 特征自车运动翘曲实现 ​

以下示例展示如何利用 affine_grid 与 grid_sample 将上一帧 BEV 特征精确对齐至当前自车坐标系下,供后续时序门控或交叉注意力模块使用:

python
import torch
import torch.nn.functional as F


def warp_history_bev(
    prev_bev: torch.Tensor,
    ego_motion_2d: torch.Tensor,
    bev_range_m: tuple[float, float] = (102.4, 102.4),
) -> torch.Tensor:
    """Warp [B, C, H, W] BEV grid from t-1 to current frame t via ego transform."""
    b, _, h, w = prev_bev.shape
    device = prev_bev.device

    # Build normalized [-1, 1] physical coordinate meshgrid
    xs = torch.linspace(-1.0, 1.0, w, device=device) * (bev_range_m[0] / 2.0)
    ys = torch.linspace(-1.0, 1.0, h, device=device) * (bev_range_m[1] / 2.0)
    grid_y, grid_x = torch.meshgrid(ys, xs, indexing="ij")
    ones = torch.ones_like(grid_x)
    pts_curr = torch.stack([grid_x, grid_y, ones], dim=-1).view(1, h * w, 3)

    # ego_motion_2d: [B, 3, 3] mapping current ego coords -> prev ego coords
    pts_prev = torch.bmm(pts_curr.expand(b, -1, -1), ego_motion_2d.transpose(1, 2))
    norm_x = pts_prev[..., 0] / (bev_range_m[0] / 2.0)
    norm_y = pts_prev[..., 1] / (bev_range_m[1] / 2.0)
    sample_grid = torch.stack([norm_x, norm_y], dim=-1).view(b, h, w, 2)

    return F.grid_sample(prev_bev, sample_grid, mode="bilinear", align_corners=True)

4. 三种主流 BEV 映射范式工程选型对比 ​

架构范式映射方向与核心算子内存与延迟特征适用场景
LSS (Lift-Splat)前向提升:显式深度分布 × Voxel Pooling需要优化 CUDA Radix/BEVPool 算子,网格显存固定稠密语义占据预测(Occupancy)、多模态特征前融合
BEVFormer后向查询:Deformable Cross-Attention无定制体素核依赖,部署友好但稠密 Query 计算量较大中近距离高精度 3D 目标检测与地图拓扑构建
Sparse Query (PETR / Sparse4D)实例稀疏查询:仅在 3D 候选框/关键点处采样彻底省去 200×200 稠密网格计算,远距离扩展极佳高吞吐、长距高速跟踪与低算力端侧平台

讨论区开启了自动与人工双重审核,文明交流的评论会在短时间内展示。

Built with VitePress