近日，中国科学院上海微系统与信息技术研究所仿生视觉系统实验室李嘉茂研究员团队与路特斯机器人(LOTUS ROBOTICS)合作在智能驾驶感知领域取得了重要进展。针对智能驾驶感知的两个关键问题——栅格占据预测（Occupancy Prediction）和全景分割（Panoptic Segmentation）取得了突破，两项成果被机器人领域顶级国际学术会议2024 IEEE International Conference on Robotics and Automation（ICRA）录用，分别题为“CVFormer: Learning Circum-View Representation and Consistency for Vision-Based Occupancy Prediction via Transformers”与“BEE-Net: Bridging Semantic and Instance with Gated Encoding and Edge Constraint for Efficient Panoptic Segmentation”。

CVFormer：基于Transformer的环视视角表征和一致性约束的栅格占据预测方法。

在智能驾驶中，栅格占据预测旨在表征空间中的对象分布，以指导路径选择。最直接的表征方法是将立体空间划分为无数个堆叠的占据体素（voxel），但庞大的计算量导致难以在实车中部署。鸟瞰视角（Bird eyes view, BEV）的表征方式，将空间投影于单个水平面，可以大幅减少计算与存储压力，但由于缺失了细粒度的结构信息，在开放场景中对象的形状或外观不明确时，往往会出现错误估计障碍物的情况。TPVFormer基于传统三视图的占据预测方法，在BEV基础上将表征平面扩展至三个，可客观精细的表征三维环境，但该方法忽略了自车与表征平面的相对关系，导致场景中的视角重叠障碍物间难以分辨。

为解决上述问题，在TPVFormer基础上，团队提出了一种以自车为中心的环视视角的占据预测表征方法CVFormer。以汽车全景环视多视图为输入，建立环绕车辆的二维正交视角来表征三维场景，有效实现细粒度三维场景表征，并克服车体周身障碍物的视角遮挡问题。具体地，提出了环视视图交叉注意力模块构建二维环视特征，设计时序多重注意力模块加强帧间关系的利用，并通过设计2D与3D类别一致性约束，增强网络对场景的学习性能。本方法在驾驶场景占据预测权威评测数据nuScenes数据集上进行验证，在预测精度上明显优于现有算法，达到了43.09%的mIoU性能指标，相比基线算法（TPVFormer）提高了102.3%，并将计算复杂度由O(n3)降低至O(n)，展现了较强的可部署性，在路特斯下一代量产车型智能驾驶感知系统上完成了测试验证。

栅格占据预测CVFormer在nuScenes数据集上达到最优性能

本研究成果得到了科技部科技创新2030、国家自然科学基金、中国科学院青促会、上海市优秀学术带头人等项目支持。上海微系统所仿生视觉系统实验室研究生白正奇、副研究员石文君为论文共同一作，李嘉茂研究员为通讯作者。

BEE-Net：基于门控编码和边缘约束加强语义与实例关联的高效全景分割

全景分割是理解场景中背景与对象个体的语义的基础感知问题，是融合了语义分割与实例分割的综合方法。其中，语义分割关注将图像中的区域分割为不同的类别，而不区分不同的物体实例；实例分割则侧重对每个实例对象进行独立的分割。全景分割往往基于语义分割与实例分割的融合实现，既区分场景语义，又需要明确物体实例。全景分割方法在语义-实例分割任务融合中，往往由于二者预测结果间的矛盾，导致难以分辨合理的预测结果。

为解决这一问题，团队设计了基于门控编码和边缘约束的端到端全景分割模型BEE-Net。该模型基于全局双向信息交互以及多角度边缘优化，有效地缓解了全景分割中的语义-实例预测矛盾问题与边缘分割挑战。具体地，针对语义与实例分割特征感知融合，设计了轻量级门控编码模块进行多尺度全局特征信息交互，并通过语义-实例-全景三重边缘优化算法对边缘分割质量进行针对性优化，保持高效的同时，显著提升了场景分割性能。本方法在驾驶场景分割权威数据集CityScapes上完成了验证，取得了65.0%的PQ精度指标，在精度上超越了现有基于CNN的全景分割模型，同时在效率上优于所有基于Transformer的全景分割模型。本方法兼顾了分割精度与效率的性能需求，在路特斯下一代量产车型智能驾驶感知系统上完成了测试验证。

在CityScapes数据集上BEE-Net达到

基于CNN的全景分割模型最优性能

本研究成果得到了科技部科技创新2030、上海市启明星扬帆计划、中国科学院青促会、上海市优秀学术带头人等项目支持。上海微系统所仿生视觉系统实验室研究生黄心阳、副研究员张广慧为论文共同一作，李嘉茂研究员为通讯作者。