实验室提出了机器的“意识空间”概念,以大脑智能机制为指引,着重解决真实物质世界到机器意识空间世界的映射问题,研发包括高精度三维重建、视觉里程计、视觉显著性、道路检测、目标检测与跟踪等算法在内的一系列双目视觉核心算法。未来的研究将根据大脑的信息整合机制着手研发新型高效的多模态信息融合技术,以期在视觉处理机制的基础上构建视、听、触等多模态协同工作的高级类脑智能。
1)三维重建
基于仿生视觉机制和深度学习技术研究图像校正、立体匹配和点云拼接等核心算法,得到较高精度的重建三维场景。
2)视觉SLAM
研究基于仿生双目的视觉SLAM系统,参考人眼中心视和周边视的视觉机理,通过点、线特征结合,数据关联优化以及耦合IMU信息等方式,提升视觉SLAM系统的定位精度和鲁棒性。
3) 语义分割
基于人脑感知场景、理解语义的机制,研究多特征融合的图像及点云语义分割、实例分割算法,实现场景语义信息的感知。
4)显著性检测
基于人眼视觉显著性机理,研究多属性特征融合的显著性检测及显著等级判定方法,以获得更接近于人眼视觉本质的显著性区域及显著程度。
5)目标检测与跟踪
基于双目立体匹配得到的深度信息和图像颜色、纹理信息,研究目标的表示、检测和跟踪等核心算法,力求实现多目标检测及在线跟踪。
6)多模态信息融合
基于跨脑区信息处理机制,研究视、听、触等多模态信息融合技术,通过有机结合多模态信息以实现其信息互补,服务于各种任务下的功能性机器人。