彩色相机提供的颜色信息和事件相机提供的行人奔跑时产生的事件（蓝点和红点）

苏黎世大学研究团队将一种新型仿生相机与人工智能相结合，开发出一种能比现有系统更快检测汽车周围障碍物且计算量更小的系统。该研究以“Low-latency automotive vision with event cameras”为题发表在Nature上。

目前，大多数相机都是基于帧的，这意味着它们会定期拍摄快照。那些目前用于汽车驾驶辅助的相机通常每秒拍摄30到50帧，人工神经网络可以训练识别其图像中的物体——行人、自行车和其他汽车。但如果在两次快照之间的20或30毫秒内发生什么情况，相机可能会发现得太晚。解决方案是提高帧率，但这意味着需要实时处理更多的数据，也需要更强的计算能力。

事件相机是一种基于不同原理的解决方案。它们不像传统相机那样有固定的帧率，而是拥有智能像素，每当检测到动态场景时就会记录信息。事件相机在帧与帧之间就没有盲区，能够更快地检测到障碍物。它们也被称为神经形态相机，因为它们模仿了人眼感知图像的方式，但事件相机可能会错过缓慢移动的物体，而且其图像也不容易转换为适用于深度学习模型的结构化数据。

研究人员提出了一个结合两者优点的混合系统：融合20fps的RGB相机和事件相机。其图像由卷积神经网络的人工智能系统处理，该系统经过训练能够识别汽车或行人。来自事件相机的数据与一种被称为异步图神经网络的新型人工智能系统相连接，该系统特别适合分析随时间变化的三维数据。事件相机的检测结果用于预测标准相机的检测结果，并提升其性能。这种视觉探测器能够像每秒拍摄5000张图像的标准相机一样快速检测物体，但所需的带宽与每秒50帧的标准相机相同。

该团队将他们的系统与目前汽车市场上最好的相机和视觉算法进行了对比测试，发现其检测速度提高了100倍，同时减少了相机与车载计算机之间传输的数据量以及处理图像所需的计算能力，而不会影响准确性。该系统能够有效检测在标准相机的两个连续帧之间进入视野的汽车和行人，为驾驶员和交通参与者提供额外的安全保障——这在高速行驶时可能会产生巨大影响。研究人员称，该技术为自动驾驶提供了低延迟、高鲁棒性的感知方案，未来结合LiDAR等传感器可进一步提升性能，推动实时视觉感知在复杂交通场景中的应用。

（天津津航技术物理研究所 杨茗）

*以上内容来源于津航光电