项目简述

封闭场景下的
室内外联合定位

本项目旨在开发一套完整的软硬件方案,它以视觉为主,通过结合深度学习与传统技术,解决在固定区域内作业的各种设备、机器人,通过一段时间的数据采集,实现鲁棒、快速且成本低廉的定位与全自动地图构建,抵抗不断变化的作业环境。

  • 结构化/非结构化环境
  • 隧道通行
  • 环岛、类环岛通行
  • 交通灯识别及控车
  • 动静态目标检测
  • 自动停车/泊车
  • 多层语义地图构建
项目简述
关于我们

关于 我们

核心团队包含4名工程师,其中 郭若楠 为项目负责人,3名定位工程师,分别负责视觉定位与建图。

SLAM
定位与建图
多传感器融合
  • 郭若楠
    项目负责人
    Phone: +(86) 18911039426
    Email: 914574188@qq.com
    与我联系
  • 万子元
    定位工程师
    Phone: +(86) 18600201635
    Email: 296654408@qq.com
  • 李若晴
    定位工程师
    Phone: +(86) 17889987116
    Email: 1104998391@qq.com
  • 焦启
    定位工程师
    Phone: +(86) 18435154130
    Email: jiaoqi180658@163.com
Q&A

Q&A

什么是定位,为什么需要定位

为什么无人车、机器人天天在一个场景中工作,定位问题却如此复杂、有没有一个让机器人从有人操作开始,运行一段时间,逐渐摆脱人为干预,越来越智能的方案吗?

所谓定位,就是告诉机器人,到起点的距离(相对起始朝向的旋转也是定位的一部分)。传统定位技术,无论设计多么精巧的规则,总归它将这个精巧设计的规则无差别的应用在了这个场景的每个角落。很难根据场景中某段存在的特定问题,有针对的改进设计。而深度学习技术,可以较好的弥补这个缺陷,但它又是完全由数据驱动的,一些需要根据规则解决的问题,它的学习成本远远高于传统技术,在应对一些小众市场或者市场没有足够的规模时,全面铺开基于学习的方法几乎是不可能的。
为什么传统算法和端到端模型都无法较好的解决定位问题?

以特斯拉为主导的端到端模式非常火,不是挺好吗?为什么不能端到端呢?

特斯拉瞄准的市场足够大,进入市场的时间早,逐步升级迭代。另外,特斯拉布局很早,数据闭环做的非常好,现在做数据闭环面临的各种压力,可想而知。另外,端到端的成本非常高,对特定领域的机器人(现在还没有通用型机器人),矿山、港口、园区无人驾驶来说,单一领域规模都太小,不可能分摊端到端的巨大成本。
传统算法的问题也是显而易见的,虽然参数绝对数量比较少,但是核心参数的改动,会对算法的整体性能有较大的影响,进而导致整个算法需要重新测试与评估,而无法针对特定的问题进行增量改进,显然,这样做带来的成本也是巨大的。
什么是一个好的定位框架?

一个好的定位框架,应该具备哪些特性。

一个设计良好的定位系统(里程计),应该包含如下特性:
1. 多传感器融合里程计,算力消耗低,平台兼容性强,x86/ARM 平台都可以运行。
2. 可配置、鲁棒性强,里程计可以根据实际情况,选择启用哪些输入。当传入的数据出现短暂的错误时,可自动屏蔽故障传感器。
3. 在线内外参、时间标定。里程计应该对参数有一定的容忍度,在运行过程中,可以小范围的纠正参数错误。
4. 可接收地图输入,里程计应当可以接收一张地图作为输入,并输出当前载体在地图中的位置与姿态。
有了这些特性,就是一个好的定位系统吗?如何解决前面说的增量更新,在不影响整体定位效果的前提下,只解决针对性问题呢?
在线、离线多层特征、语义地图

地图是定位中必不可少的部分,语义地图越来越受到关注。

如果能全自动的构建一张地图,这张地图有多个图层。把观测到的特征(传统特征、语义特征)添加到地图对应的图层中。当定位终端观测到的特征和地图上某一层的特征完成匹配的时候,就可以依据这个观测,给载体定位。这样,当遇到困难路段的时候,就可以人为的在困难路段添加一些可以感知到的目标,丰富这一路段的特征,即实现了增量更新。此外,这个地图必须是轻量级且可以根据语义信息,对地图质量有一个快速的判断,一旦发生事故,方便后续的定位与排查。最后,如果地图太大,会导致诸多问题。
从上述描述可以看出,此方案是一个结合了传统算法与深度学习的在线建图方案。在这个方案中,视觉由于其获取的信息比激光丰富的多,所以我们将视觉作为主要传感器。
项目需求

项目 功能需求

本项目旨在研发一种软件系统,它通过融合激光雷达、视觉、惯性、轮速、GPS等传感器,实现在固定区域内的鲁棒、快速且成本低廉的定位与建图系统。为智能汽车,机器人等应用提供一个可靠的导航系统。

01

地图构建

覆盖场景:

空旷露天、城市峡谷、隧道、桥下、半遮挡室内


挑战场景:

室内\地下多层停车场、高架桥、城区快速路、繁忙路口

02

环境感知

地图构建:

将设备部署在小型车辆上,完成激光点云地图构建

与摄像头融合,生成彩色点云地图


语义信息:

地图突出可量化的语义信息

03

全场景定位

目标估算:

会车、泊车定位场景,估算环境中的目标状态、输出相对位置


建图优化:

建图场景,将指定的物体从地图中去除

项目 性能需求

  • 产品性能

    快速部署、维护要求低、价格有竞争力

    - 适用的车型:宽体车、矿车

    - 快速部署:< 4 小时

  • 软件性能

    全场景定位、实时性高

    - 数据发布频率大于 100 Hz

  • 硬件性能

    适用于寒冷、高震动、井下密闭环境

    - 适用温度:-30° ~ 80°

    - 维护要求低: MTBF > 1万小时


软件架构

软件 系统架构设计

方案设计面向L4级自动驾驶软件,主要特点是轻量化定位框架与多层地图构建

子系统

激光 子系统设计

适用于井工矿、隧道等场景的室内环境,GPS-Denied情况下的融合多种传感器的非线性优化定位方案

适用于隧道等场景的室内环境,GPS-Denied情况下的融合多种传感器的非线性优化定位方案

成果展示

激光雷达子系统 项目成果

本视频展示了算法在固态激光雷达上STD点特征提取的结果,此特征适合定位地图使用。
固态雷达
STD点特征提取
本视频展示了算法在固态激光雷达上Surfel特征提取的结果,此特征适合帧间定位使用。
帧间定位
Surfel特征提取
本视频展示了算法在固态激光雷达上地面分割的结果,此特征适合约束帧间姿态。
约束帧间姿态
地面分割
子系统

视觉 子系统

前端采用SuperPoint+LightGlue深度学习方式提取并匹配特征点,该方案较传统的视觉子系统有较大优势

附录

附录

以下为本项目工程中,针对公开数据集的测试结果:

以下为本项目工程的业务逻辑说明:

以下为本项目中涉及到的部分名词解释: