perception 2.0 综述

1 功能概述

1.1 功能概述

Perception模块在自动驾驶系统中扮演着至关重要的角色，感知各个子模块的功能是通过lidar、radar和camera3种传感器实现的，每种传感器分别都执行了目标识别和追踪的任务，最后通过fusion对传感器的数据做融合，每个传感器都实现了物体识别的功能，摄像头还实现了车道线识别和红绿灯检测的功能，每个传感器执行的任务流程也大概相似，先进行预处理，然后做识别，最后过滤并且追踪目标。

在自动驾驶系统中，感知模块主要负责识别车辆周围的障碍物以及交通标识等，因此感知算法的好坏直接关系到自动驾驶的安全性，如何更快的迭代开发感知算法就成为了关键。在Apollo alpha中，对感知模块进行了组件化重构，提供了多种开发模式。当现有功能完全适用于用户的开发需求，可以不需要开发代码，通过修改组件配置或者模型参数实现场景的功能需求；组件开发，当用户的场景需要引入新的需求和其他组件共同完车作业任务，比如增加激光雷达背景分割功能，只需在满足上下游消息通道订阅发布的同时完成相应开发即可；插件开发，例如激光雷达目标检测障碍物过滤组件中我们提供了两种过滤插件方法，如不能满足用户的需求，可以根据提供的插件开发文档进行相应过滤插件开发，通过插件开发方式，开发者可以更加专注于算法本身，而不需要过多关注框架的实现。

1.2 运行流程

Apollo 自动驾驶平台是以高精地图和定位模块作为核心。其他的模块都是以这两个模块为基础。感知模块识别自动驾驶汽车周围的环境，对环境信息和车内信息的采集、处理与分析，也即环境感知，它是智能车辆自主行驶的基础和前提。感知的结果会传递给后面的模块进行使用。

1.3 框架设计

原有的感知框架，lidar、camera、radar、fusion四部分内容定义在四个模块中。Lidar和camera每个模块内部功能复杂，学习成本较高。感知框架拆分后，模块依赖关系清晰。Lidar和camera的感知流程分为多个模块，依赖关系呈线性状态；radar和fusion的功能在单个模块内，功能如框图所示。感知新框架下，lidar和camera相比之前每个模块功能更加轻量化，更有利于二次开发。每个组件都可以单独启动调试。

1.4 功能列表

Apollo alpha根据功能对模块做了进一步的划分，使得每个组件的功能更加聚焦，方便按需选择对应的模块进行优化升级，下面是整体的目录说明：

2 模块概述

目前Apollo采用组件的方式按需使用，同时为了方便扩展，例如更换模型，采用插件的方式来添加新的模型。

• 绿色代表用户经常需要替换的部分，需要开发新算法或功能，基于原有的框架只需要替换自己想要替换的部分，不需要关注消息流转和框架。
• 蓝色代表用户不需要经常替换的部分，模块集成了所有算法，功能是一个整体，直接通过配置修改功能，如果想要替换可以重新写一个组件。

2.1 lidar检测流程

激光雷达检测用于3D目标检测，它的输入是激光雷达点云，输出为检测到的物体的类型和坐标。开发者关注较多的是pointcloud_map_based_roi、lidar_detection和lidar_detection_filter三个组件。其中pointcloud_map_based_roi会涉及相关的roi过滤规则，lidar_detection组件是目标检测过程中模型部署相关内容，Apollo和paddle3D已经打通模型训练部署至apollo全流程，后续课程实践也会涉及该方面内容。Apollo lidar感知模块提供4种目标检测模型，开发者可以根据配置文件，选择不同的检测器，来验证检测效果。通过最新的算法插件，开发者更加专注于算法本身，而不需要过多关注框架的实现。lidar_detection_filter组件为检测障碍物过滤相关功能。激光雷达跟踪用于追踪上面检测到的3D目标对象，它的输入是激光雷达点云检测结果，输出为跟踪到对象的ID。

2.2 camera检测流程

camera检测流程中，开发者的关注重心在camera_detection_2d、camera_detection_3d以及camera_tracking组件，其中camera_detection_2d和camera_detection_3d组件设计2d3d模型部署、预处理等功能，开发者可以针对性的替换模型和开发相关功能，camera_tracking中功能整体性较强，开发者可以针对相应的追踪策略修改组件中的配置项。camera_detection_2d检测流程输出的是2d boundingbox，相比于camera_detection_3d组件直接输出3d检测结果，多了将2d信息转换成3d障碍物信息的过程。

2.3 fusion流程

多传感器融合模块对多个传感器的检测结果做融合。它的输入是lidar,camera,radar检测目标结果，输出是融合后的结果。其中列举几个重要基类的作用：BaseFusionSystem相当于融合模块的入口，会初始化ProbabilisticFusion概率融合算法，BaseTracker更新追踪到的轨迹状态，BaseGatekeeper用于判断是否发布追踪到的障碍物到最终通道中。

多传感器融合组件功能详细功能框图如下所示：

2.4 radar检测流程

radar_detection是一个完整的功能组件，其中包含预处理、检测、追踪以及相应过滤功能。

2.5 trafficlight检测流程

红绿灯检测流程开发者关注traffic_light_detection和traffic_light_recognition这两个组件，分别对应红绿灯检测和识别功能的模型部署等。

3 安装Perception工程

3.1 安装基础软件

3.1.1 安装Linux - Ubuntu

安装 Ubuntu 操作系统，请参见官方安装指南。

Ubuntu系统安装完成请更新相关软件：

sudo apt-get update
sudo apt-get upgrade

3.1.2 安装 Docker Engine

Apollo 依赖于 Docker 19.03+。安装 Docker 引擎，您可以根据官方文档进行安装：

• 参见Install Docker Engine on Ubuntu。
• 您还可以者通过 Apollo 提供的安装脚本直接安装：这个过程可能会运行多次脚本，根据脚本提示执行即可。

wget http://apollo-pkg-beta.bj.bcebos.com/docker_install.sh
bash docker_install.sh

3.1.3 安装驱动

可参照官网方法安装驱动官网驱动。

显卡驱动和CUDA版本兼容性，由于nvidia的硬件更新的很快，因此会遇到显卡驱动和CUDA版本不兼容的情况，以下为我们测试的畅通链路。

3.2 安装 Apollo 环境管理工具

Apollo 环境管理工具是一个管理和启动 Apollo 环境容器的命令行工具，详细信息可参见： aem-Apollo环境管理工具。

3.2.1 基础环境准备

# 添加访问认证
wget -O - https://apollo-pkg-beta.cdn.bcebos.com/neo/beta/key/deb.gpg.key | sudo apt-key add -
# Apollo -alpha 版源地址
sudo bash -c "echo 'deb https://apollo-pkg-beta.cdn.bcebos.com/apollo/core bionic main' >> /etc/apt/sources.list.d/apolloauto.list"
# 更新源
sudo apt update

宿主机上的apollo源配置仅用于安装aem工具，apollo 9.0.0-alpha2-r1版本的aem兼容apollo 8.0

3.2.2 安装 aem工具

apollo 9.0.0-alpha2-r1版本的aem兼容apollo 8.0aem，请使用以下指令进行更新。

sudo apt remove apollo-neo-env-manager-dev && sudo apt install apollo-neo-env-manager-dev

如果没有安装过apollo 8.0aem，使用以下命令直接安装。

sudo apt install apollo-neo-env-manager-dev

安装成功后，可以使用以下查看安装是否成功。

aem -h

3.3 下载 Perception工程

3.3.1 下载工程代码

git clone https://github.com/ApolloAuto/application-perception

3.3.2 进入工程目录

cd application-perception

3.4 调试perception工程

3.4.1 进入Docker环境

# 拉取并启动docker容器
aem start_gpu
# 进入容器
aem enter
# 下载安装依赖包： 会拉取安装core目录下的cyberfile.xml里面所有的依赖包
buildtool build --gpu

3.4.2 安装仿真插件

登陆apollo studio官网，并点击进入工作台，点击右上角头像，选择我的服务。

没有申请过的提交一下申请，通过后可以下载插件。点击仿真，再点击插件安装生成按钮，选择新版本Alpha。

将生成好的签证复制后，在容器终端中执行即可。

3.4.3 启动Dreamview

aem bootstrap start --plus

3.4.4 下载安装感知模型

安装amodel模型管理工具

wget https://apollo-pkg-beta.cdn.bcebos.com/perception/amodel-0.2.0.tar.gz
pip3 install --user amodel-0.2.0.tar.gz

导入环境变量

export PATH=~/.local/bin/:$PATH

安装感知模型

sudo ~/.local/bin/amodel install 3d-r4-half_caffe
sudo ~/.local/bin/amodel install center_point_paddle_v2

安装完后使用命令查看安装的模型

amodel list

3.4.5 启动lidar感知程序

选择相应车型配置

启动transform模块

启动lidar感知模块

下载并播放感知包，

方式一：在dreamview左下角点击resource manger，下载sensorrgb数据包，下载完成后选择sensorrgb数据包点击播放。

方式二：终端启动下载好的sensor_rgb数据包，下载链接参考开放资源record下载。

cyber_recorder play -f sensor_rgb.record 

dreamview查看lidar检测结果

3.5 开放资源

3.2.1 record下载

目前提供可以直接下载的record包有以下2种。

当然Apollo还提供了数据集转record的工具，方便开发者把开源数据集的数据转成record在Apollo中进行测试。工具的名称为adataset，支持的数据集有KITTI, nusense。

3.2.2 模型下载

Apollo提供预训练好的模型，用户可以通过amodel工具来下载和管理模型。开发者可以通过该工具下载安装模型仓库中的模型，展示系统中已经安装的模型和模型的详细信息。通过对模型进行标准化和模型管理工具，开发者可以非常方便的安装部署训练好的模型，并且管理这些模型，实现模型部署效率提升。

例如要安装模型

查看当前系统中有哪些模型

当前已经支持模型下载地址