芝能智芯出品
随着机器人在工业、物流和服务领域的广泛应用,安全环境感知成为确保机器人自主运行的核心需求。
基于ADI公司ADTF3175飞行时间(ToF)传感器的安全气泡探测器,通过多传感器协同、多线程架构和3D图像拼接技术,实现了高效的实时物体检测和环境感知。
我们根据这个交流会的内容,来探讨深入这个系统的技术架构、优化策略及性能成果,探讨其在机器人避障和安全运行中的应用潜力,同时剖析数据处理、传感器融合及性能优化过程中面临的挑战与解决方案。
Part 1
安全探测器的技术架构与创新
安全探测器是自动导引车(AGV)和自主移动机器人(AMR)安全运行的关键组件,通过构建虚拟安全区域(通常为半径1米的圆形区域),实时检测进入该区域的物体或人员。
基于ADTF3175 ToF传感器的探测系统,在硬件部署、软件架构和算法优化方面展现了多项技术创新。
ADTF3175传感器具备75°的视场角(FoV),单个传感器覆盖范围有限。为实现更全面的环境感知,系统采用四个传感器水平布置,每两个传感器间夹角为67.5°,总计覆盖278°的视场角。这种配置有效减少了视觉盲区,为机器人提供了接近全景的环境感知能力。
传感器通过USB以太网与主机(NVIDIA Jetson Xavier NX)通信,利用TCP/IP协议确保数据传输的稳定性和高速性。
系统采用多线程架构(输入、处理、输出线程)以最大化处理效率并降低延迟。
◎输入线程负责从ToF模块读取深度和红外图像并更新输入队列;
◎处理线程运行安全气泡检测算法,检测安全区域内的物体并发布检测标志;
◎输出线程则将处理结果发布为ROS主题,用于可视化或进一步分析。
多线程设计确保各模块并行运行,始终优先处理最新帧,帧率达到30 FPS,满足实时性要求。
系统基于机器人操作系统(ROS)实现,利用发布者-订阅者模型实现传感器与主机的通信。每个ToF模块作为ROS节点发布深度图像、红外图像和物体检测标志,主机订阅这些主题并通过逻辑运算(OR操作)合并检测结果。
ROS的rviz工具支持高效可视化,允许用户通过点云、深度图像或顶视图分析环境信息。
此外,系统高度可配置,用户可通过ROS启动文件调整安全区域半径、摄像头位置等参数,增强了应用灵活性。
为克服单传感器视场角的限制,系统引入3D图像拼接算法,将四个传感器的深度图像融合为一幅连续的广角图像。拼接过程通过精确对齐重叠区域,确保图像无缝连接,生成高质量的3D环境表征。
这种扩展视场角的图像为机器人提供了更全面的环境信息,支持深度学习模型的目标检测和环境理解,进一步提升了感知精度。
ADTF3175传感器具备1024×1024分辨率和±5毫米深度精度,能够检测小至5毫米厚度的电缆以及各种形状、颜色和尺寸的物体。
系统通过将深度数据投影为3D点云并转换为顶视图,使用绿色和红色像素标记安全区域内外的物体,增强了检测结果的可视化效果。
Part 2
实现挑战与优化策略
● 安全探测器实现过程仍面临多重挑战,包括数据同步、图像质量、处理延迟以及对特殊物体的检测精度等。
通过针对性的优化策略,系统成功克服了这些难题,显著提升了性能。
◎多传感器协同工作时,数据同步是一个关键挑战。由于各传感器采集时间可能不同,系统利用ROS的message_filters模块根据时间戳同步输入数据,避免因物体移动导致的错位。
此外,点云合并需要通过相机内外参校准坐标系并处理重叠区域,以避免重复检测或漏检。3D图像拼接算法通过精确对齐重叠区域,生成连续的广角图像,有效解决了多传感器数据融合的难题。
◎ToF传感器在处理透明或低反射率物体(如玻璃瓶或塑料球)时,易产生无效深度值,导致图像中出现空洞或黑色像素。
此外,点云投影到2D图像时,背景像素可能覆盖前景像素,生成伪影。系统采用自定义中值滤波器,从3×3邻域获取有效像素值填充未映射区域,显著改善了图像质量,减少了视觉瑕疵和数据缺失。
◎实时物体检测要求低延迟和高帧率,而多传感器数据处理对计算资源的需求较高。
系统在NVIDIA Jetson Xavier NX上通过OpenMP和CUDA进行优化,显著提升了处理速度。未优化单核CPU代码的处理时间为1052.61毫秒,通过OpenMP跨6个ARM V8核心优化后降至225.29毫秒,CUDA优化进一步缩短至83.02毫秒,而使用CUDA数据流时处理时间仅为12.01毫秒。
这种优化使系统能够在30毫秒内完成物体检测,满足实时应用需求。
◎ToF传感器对透明或低反射率物体的检测精度较低,可能导致检测延迟或漏检。
例如,玻璃瓶和塑料球的检测距离略低于预期(88-102厘米范围内)。为缓解这一问题,系统通过优化算法和校准参数提高了对特殊物体的敏感度,但仍需进一步改进以应对极端场景。
◎为确保系统安全性和可靠性,开发过程中采用了标准软件质量保证(SQA)流程,包括多层次单元测试、代码覆盖率分析和Clang格式化工具。ROS的ros_doc_lite包为代码提供了doxygen格式文档,确保了开发透明性和可维护性。这些措施有效消除了死代码,提升了软件质量,为系统的工业应用奠定了坚实基础。
◎四个ToF模块由Jetson Xavier NX通过USB供电和通信,增加了硬件集成的复杂性。
系统通过优化电源管理和通信协议,确保了长期运行的稳定性,传感器的水平布置和67.5°夹角设计在减少盲区的同时,也对安装精度提出了更高要求,需要精确校准以保证视场覆盖的连续性。
小结
基于ADTF3175的安全探测器通过多传感器协同、多线程架构和3D图像拼接技术,为机器人环境感知和安全运行提供了高效、可靠的解决方案。其在278°广视场覆盖、30 FPS实时处理、30毫秒低延迟以及多样化物体检测方面的优异表现。
随着ToF传感器精度、算法复杂度和多传感器融合技术的进一步发展,该系统有望在更广泛的应用场景中实现更高精度和更低功耗,推动机器人技术向更智能、更安全的方向迈进。
原文标题 : 机器人如何防止碰撞?——安全探测器的技术架构与性能突破