项目简述

多传感器融合
室内外联合定位与感知

本项目旨在开发一套完整的软硬件方案，它以视觉为主，通过结合深度学习与传统技术，解决在固定区域内作业的各种设备、机器人的环境感知问题。通过一段时间的数据采集，完成鲁棒、快速且成本低廉的定位与全自动地图构建，抵抗不断变化的作业环境。

结构/非结构化环境
隧道通行
环岛、类环岛通行
交通标志，信号灯识别
动静态目标检测
自动停车/泊车
多层语义地图构建
开放目标检测

Q&A

什么是定位，为什么需要定位？

为什么无人车、机器人天天在一个场景中工作，定位问题却如此复杂、有没有一个让机器人从有人操作开始，运行一段时间，逐渐摆脱人为干预，越来越智能的方案吗？

无人车、机器人在执行任务的过程中，需要准确，连续的知道自己相对目标的位置、姿态与速度。传统定位技术，如GPS，无论设计多么精巧的规则，总归它将这个精巧设计的规则无差别的应用在了这个场景的每个角落。很难根据场景中某段存在的特定问题，有针对的改进设计。而深度学习技术，可以较好的弥补这个缺陷，但它又是完全由数据驱动的，一些需要根据规则解决的问题，它的学习成本远远高于传统技术，在应对一些小众市场或者市场没有足够的规模时，全面铺开基于学习的方法几乎是不可能的。

为什么传统算法和端到端模型都无法较好的解决定位问题？

以特斯拉为主导的端到端模式非常火，不是挺好吗？其他应用可以走端到端路线吗？

特斯拉瞄准的市场足够大，进入市场的时间早，逐步升级迭代。另外，特斯拉布局很早，数据闭环做的非常好，现在做数据闭环面临的各种压力，可想而知。另外，端到端的成本非常高，对特定领域的机器人(现在还没有通用型机器人)，矿山、港口、园区无人驾驶来说，单一领域规模都太小，不可能分摊端到端的巨大成本。
传统算法的问题也是显而易见的，虽然参数绝对数量比较少，但是核心参数的改动，会对算法的整体性能有较大的影响，进而导致整个算法需要重新测试与评估，而无法针对特定的问题进行增量改进，显然，这样做带来的成本也是巨大的。

什么是一个好的定位框架？为什么定位问题如此复杂？

一个好的定位框架，应该具备哪些特性。

一个设计良好的定位系统(里程计)，应该包含如下特性：
1. 多传感器融合状态估计，算力要求低，平台兼容性强，x86/ARM 平台都可以运行。
2. 可配置、鲁棒性强，机器人可以根据实际情况，选择启用哪些输入。当传入的数据出现短暂的错误时，可自动屏蔽故障传感器。
3. 在线内外参、时间标定。里程计应该对参数有一定的容忍度，在运行过程中，可以小范围的纠正参数错误。
4. 可接收地图输入，里程计应当可以接收一张地图作为输入，并输出当前载体在地图中的位置与姿态。
有了这些特性，就是一个好的定位系统吗？如何解决前面说的增量更新，在不影响整体定位效果的前提下，只解决针对性问题呢？

在线、离线多层特征、语义地图

地图是定位中必不可少的部分，语义地图越来越受到关注。

如果能全自动的构建一张地图，这张地图有多个图层。把观测到的特征(传统特征、语义特征)添加到地图对应的图层中。当定位终端观测到的特征和地图上某一层的特征完成匹配的时候，就可以依据这个观测，给载体定位。这样，当遇到困难路段的时候，就可以人为的在困难路段添加一些可以感知到的目标，丰富这一路段的特征，即实现了增量更新。此外，这个地图必须是轻量级且可以根据语义信息，对地图质量有一个快速的判断，一旦发生事故，方便后续的定位与排查。最后，如果地图太大，会导致诸多问题。
从上述描述可以看出，此方案是一个结合了传统算法与深度学习的在线建图方案。在这个方案中，视觉由于其获取的信息比激光丰富的多，所以我们将视觉作为主要传感器。

项目需求

项目功能特性

本项目旨在研发一个软件系统，它通过融合激光雷达、视觉、惯性、轮速、GPS等传感器，实现在固定区域内的鲁棒、快速且成本可控的定位与感知系统。为智能汽车，机器人等应用提供一个可靠的导航系统。

01

地图构建

三维全尺寸地图：

将设备部署在载具上，激光雷达与摄像头融合，生成彩色点云地图

覆盖场景：

空旷露天、城市峡谷、隧道、半遮挡室内、高架桥、繁忙路口

02

环境感知

目标识别：

基于开放词汇的语义感知，具有能识别和理解各种词汇及其组合，适应性强，并适用于不同领域的数据处理，提升信息检索和分类的准确性等优势。

三维投影：

将二维感知进行三维投影，可以将复杂的语义信息以更直观、更立体的方式呈现，帮助用户更全面地理解数据之间的关系和结构。

03

全场景定位

状态估计：

融合激光雷达，相机等多种传感器信息，提供稳定，连续的位置，姿态与速度信息。

在线估计：

实时检测定位过程中的异常情况（如传感器故障、信号丢失等），并采取相应的处理措施，保证定位的连续性和可靠性。

项目性能特性

产品性能

快速部署、维护要求低、价格有竞争力

- 适用的车型：乘用车，通勤车，宽体车

- 快速部署：< 4 小时
软件性能

全场景定位、实时性高

- 数据发布频率大于 100 Hz
硬件性能

适用于寒冷、高震动、井下密闭环境

- 适用温度：-30° ~ 80°

- 维护要求低： MTBF > 1万小时

软件架构

定位系统架构设计

方案设计面向L4级自动驾驶软件，主要特点是轻量化定位框架与多层地图构建

定位系统模块设计

定位系统模块协作

全系统组件与数据流

数据流设计

子系统

激光子系统设计

适用于井工矿、隧道等场景的室内环境，GPS-Denied情况下的融合多种传感器的非线性优化定位方案

激光里程计需求图

激光里程计系统框架图

适用于隧道等场景的室内环境，GPS-Denied情况下的融合多种传感器的非线性优化定位方案

系统流程图

成果展示

激光雷达子系统项目成果

本视频展示了算法在固态激光雷达上STD点特征提取的结果，此特征适合定位地图使用。

固态雷达

STD点特征提取

本视频展示了算法在固态激光雷达上Surfel特征提取的结果，此特征适合帧间定位使用。

帧间定位

Surfel特征提取

本视频展示了算法在固态激光雷达上地面分割的结果，此特征适合约束帧间姿态。

约束帧间姿态

地面分割

子系统

视觉子系统

前端采用SuperPoint+LightGlue深度学习方式提取并匹配特征点，该方案较传统的视觉子系统有较大优势

系统框架图

成果展示

视觉子系统项目成果

定位地图 - 视觉点定位图层。地图长度约2km，视觉点定位图层大小约600k。

视觉点定位图层

定位地图

本视频展示了Fusion SLAM的里程计定位效果: 我们解决了由于场景极具挑战性(退化严重)，导致的无地图下里程计难以完整定位这一问题。

里程计定位

场景退化严重

本视频展示了传统特征点与深度学习特征点提取，跟踪效果。可以直观的看出，深度学习方法在数量和跟踪稳定性方面都远超传统方法。

传统点特征

Super Point点特征提取

跟踪对比

本视频展示了传统线特征(LSD)与深度学习线特征提取，跟踪效果。可以直观的看出，深度学习方法在跟踪稳定性方面远超传统方法。

传统线特征

DeepLSD线特征

跟踪对比

感知系统

感知系统架构设计

方案设计面向L4级自动驾驶软件，主要特点 - 基于多传感器融合的是三维空间感知

定位系统模块设计

图像去噪，ISP 后处理：

Zero-Shot Noise2Noise

为了获得稳定的检测与跟踪结果，图像去噪和ISP后处理需要有效去除图像中的噪声，同时保留和增强关键细节。通过优化降噪算法和ISP流程，可以显著提高图像的清晰度和对比度，从而提升目标检测与跟踪的准确性。此外，结合零样本学习和多模态数据融合技术，可以进一步增强系统在复杂环境下的鲁棒性和适应性，确保在不同光照、天气和场景条件下都能获得可靠的感知结果。

开放词汇目标检测：

YOLO v8 & World

开放词汇目标检测（Open-Vocabulary Object Detection, OVD）是一种目标检测方法，旨在识别和定位图像中预定义类别之外的物体。与传统的目标检测方法不同，开放词汇目标检测不需要在训练阶段知道所有可能的类别，而是能够在推理阶段识别新的、未见过的类别。

目标检测与跟踪：

ByteTrack && REID

为了减少目标检测模型在实际推理过程中出现漏检的情况，大部分实际系统都会包含一个目标跟踪模块，用来提升整体检测的稳定性和可靠性。主流的目标跟踪模块有基于运动模型的ByteTrack方法与基于特征相似性的REID方法。

多传感器融合

方案设计面向L4级自动驾驶软件，主要特点 - 基于多传感器融合的是三维空间感知

为什么要进行多传感器融合：

Why

进行多传感器融合是因为它能利用不同传感器的特性，显著提高系统对环境的感知能力和可靠性，通过整合不同传感器的数据，可以获得更全面、准确的信息，弥补单个传感器的不足。例如，在自动驾驶中，相机和激光雷达的融合可以确保在各种天气和光照条件下都能准确识别和定位目标，从而提高系统的安全性和稳定性，同时还能降低成本并优化资源利用。

多传感器融合时机：

When

融合可以分为前融合与后融合，前融合是指在数据层面进行融合，即在原始数据或特征提取之前，将不同传感器的数据直接合并。后融合是指在决策层面进行融合，即在每个传感器独立进行目标检测之后，将各自的检测结果进行合并。

多传感器融合系统，带来的优势：

How

前融合通过在特征层面整合激光雷达的精确几何信息和相机的丰富语义信息，能够充分利用两种传感器的互补特性，显著提升目标检测的精度和鲁棒性，有效降低误检率和漏检率。激光雷达提供的三维空间坐标和距离信息为相机检测结果提供几何约束验证，而相机的高分辨率图像信息为激光雷达稀疏点云提供丰富的纹理和语义特征补充。这种深度融合策略特别在复杂环境下对小目标和遮挡目标的检测能力表现卓越，通过多模态特征的协同作用，系统能够在光照变化、恶劣天气、动态遮挡等挑战性场景中保持稳定的检测性能。同时，双传感器的互相确认机制有效减少了幻影检测和虚假报警，激光雷达可以排除相机产生的光影、反射等干扰因素，相机则能够区分激光雷达难以分辨的同质材料目标，从根本上减少了单一传感器固有局限性对系统性能的影响。

附录

以下为本项目工程中，针对公开数据集的测试结果：

公开数据集测试结果数据

以下为本项目工程的业务逻辑说明：

业务定位逻辑

以下为本项目中涉及到的部分名词解释：

系统名词解析

多传感器融合 室内外联合定位与感知

关于 我们

Q&A

什么是定位，为什么需要定位？

为什么传统算法和端到端模型都无法较好的解决定位问题？

什么是一个好的定位框架？为什么定位问题如此复杂？

在线、离线多层特征、语义地图

项目 功能特性

地图构建

环境感知

全场景定位

项目 性能特性

产品性能

软件性能

硬件性能

定位 系统架构设计

激光 子系统设计

激光雷达子系统 项目成果

视觉 子系统

视觉子系统 项目成果

感知 系统架构设计

图像去噪，ISP 后处理：

开放词汇目标检测：

目标检测与跟踪：