第三章:激光雷达感知功能开发
0. 激光雷达感知介绍
激光雷达的测距原理主流是TOF(time of flight),时间飞行法。通过光的飞行时间来测量距离。
按照激光雷达的扫描方式,有机械旋转式(hesai40p)、半固态(at128,一径ML30s)、纯固态(FT120)。
激光雷达有诸多特点:
长处:
- 三维重建:能够得到物体的三维点云,可以获得目标的几何特征;
- 准确测距、定位:测距准确,对感知的安全性有保证。
不足:
- 无法穿透雨、雪、尘、雾等:在特殊天气条件下,点云数据噪声较多,感知难度很大;
- 点云数据较稀疏,且没有纹理、颜色信息:场景信息的丰富度不高,对目标分类效果不够好。
自动驾驶中的激光雷达感知内容:
激光雷达感知,以空间的视角来看单帧点云,是在做全景分割:即每个点有一个语义类别,同时有instance label。能够区分地面、植被、建筑物等背景,也能检测出车辆、行人、自行车等目标。
以时间的视角来看多帧连续的点云,是在动静态的分析。浅层的信息:得到每个点在(x,y,z)三个方向在t时间的运动距离,得到每个点是静止还是运动。深层信息:得到目标的运动状态,例如位置、速度、朝向、角速度、加速度等。
1. 激光雷达感知流程
在驱动层面,将多个激光雷达(通常包含顶部一个主liar,侧向多个lidar)根据外参融合为一帧,然后做运动补偿,最后输出给感知模块。
激光雷达感知有六个component,处理流程是一个线性关系。
感知对激光雷达模块做了拆分,相比之前具备以下特点:
- 每个 component 完成一个独立的任务,相比之前更加简洁;
- 模块依赖关系呈线性,激光雷达感知的思路更加清晰;
- 降低开发者学习成本,易于二次开发。
1.1 pointcloud_preprocess
1.1.1 组件功能
点云预处理模块对点云做过滤,删除异常的、感知不需要的点云。
- 删除nan、inf、-inf值点云;
- 删除过远(超过1000m)的点云;
- 删除过高的点云;
- 点云转化到主车自身坐标系,删除扫描到主车身上的点云。
1.1.2 代码结构
本组件一级目录结构如下所示。
├── pointcloud_preprocess├── conf // 组件配置文件├── dag // dag文件├── data // 配置参数├── launch // 启动文件├── interface // 预处理接口类├── proto // proto定义,组件配置├── preprocessor // 预处理功能├── pointcloud_preprocess_component.cc // 组件定义,以及入口├── pointcloud_preprocess_component.h├── cyberfile.xml // 包管理文件├── README.md // 说明文档└── BUILD // 编译文件
1.2 pointcloud_map_based_roi
1.2.1 组件功能
点云基于地图计算兴趣区域(roi,region of interest),根据高精度地图的road和junction边界判断点云是否在高精度地图内,获得在高精地图内的点的索引。
基于地图roi过滤示意图,将地图元素投影到二维平面。roi内的像素设置标志位,计算每个点云所在像素的坐标,根据标志位判断点云是否在roi内。
下图是基于地图roi过滤的效果图。红色的是roi内的点云,白色的是roi外的点云。
红色的点云是高精度地图内的点云,白色的点云是高精度地图外的点云。此功能可用于后续做目标roi过滤。
1.2.2 代码结构
本组件一级目录结构如下所示。
├── pointcloud_map_based_roi├── conf // 组件配置文件├── dag // dag文件├── data // 配置参数├── launch // 启动文件├── map_manager // 地图管理类├── roi_filter // 过滤功能代码├── interface // roi filter接口定义├── proto // proto定义├── pointcloud_map_based_roi_component.cc // 组件定义,以及入口├── pointcloud_map_based_roi_component.h├── cyberfile.xml├── README.md└── BUILD
1.3 pointcloud_ground_detection
1.3.1 组件功能
地面点检测功能是检测出地面点,获得所有非地面点的索引,即non_ground_indices。
上图是地面点云检测的示例图,红色的点云是非地面点云,白色的是地面点云。分割出地面点云后,去除前景目标点云。然后用剩余的非地面点云做聚类,检测当前场景下的所有目标,保证自动驾驶的安全性。
1.3.2 代码结构
本组件一级目录结构如下所示。
├── pointcloud_ground_detection├── conf // 组件配置文件├── dag // dag文件├── data // 配置参数├── ground_detector // 地面点分割功能├── launch // 启动文件├── interface // 地面点检测接口类├── proto // proto定义├── pointcloud_ground_detection_component.cc // 组件定义,以及入口├── pointcloud_ground_detection_component.h├── cyberfile.xml├── README.md└── BUILD
1.4 lidar_detection
1.4.1 组件功能
激光雷达检测组件有四个模型,Centerpoint、Cnnseg、MaskPillars、PointPillars。检测模型完成目标检测功能,获得目标的如下结果:
cx, cy, cz, length, width, height, heading, type
其中,(cx, cy, cz)是中心点,(length, width, height)是长宽高,heading是朝向,type是目标类别。示例如下:
除了获取目标,还根据目标的3d bounding box,得到每个目标的所有点云。
最后结合上述的基于地图roi过滤,地面点分割,拿到每帧点云的secondary_indices。secondary_indices表示roi点和非地面点的交集,此交集去除前景目标点云,剩余点云的索引。
1.4.2 代码结构
本组件目录结构如下所示。
├── lidar_detection├── conf // 组件配置文件├── dag // dag文件├── data // 配置参数├── launch // 启动文件├── detector // 目标检测模型│ ├── center_point_detection // CenterPoint模型│ ├── cnn_segmentation // CNNSeg模型│ ├── mask_pillars_detection // MaskPillars模型│ └── point_pillars_detection // PointPillars模型├── interface // BaseLidarDetector定义,检测模型接口类├── object_builder // 计算目标2d polygon,根据朝向计算包围盒,计算中心点、长宽高├── proto // proto定义├── lidar_detection_component.cc // 组件定义,以及入口├── lidar_detection_component.h├── cyberfile.xml├── README.md└── BUILD
1.5 lidar_detection_filter
1.5.1 组件功能
完成激光雷达目标检测后,对检测目标做过滤。object_filter_bank可以同时使用多个过滤器,针对roi_boundary_filter做介绍,roi_boundary_filter只用来处理前景目标。roi_boundary_filter过滤规则如下图。
1.5.2 代码结构
本组件一级目录结构如下所示。
├── lidar_detection_filter├── conf // 组件配置文件├── dag // dag文件├── data // 配置参数├── object_filter_bank // 目标过滤库│ ├── object_filter_bank.cc // 目标过滤库入口│ ├── object_filter_bank.h│ └── roi_boundary_filter // roi边界过滤├── interface // 过滤接口类├── proto // proto定义├── lidar_detection_filter_component.cc // 组件定义,以及入口├── lidar_detection_filter_component.h├── cyberfile.xml├── README.md└── BUILD
1.6 lidar_tracking
1.6.1 组件功能
多目标跟踪,获取目标运动的历史轨迹,得到更加稳定的朝向、速度、位置等信息,得到跟踪id。多目标跟踪的结果可进一步用于障碍物轨迹预测。
下图是将多帧感知结果拼接起来,对其中一辆跟踪的效果。可以看到这一辆车的行驶轨迹。
多目标跟踪的整体流程如下图。
detections 来自最新检测的结果,tracks 表示历史的匹配结果。Match 是目标匹配算法,最终得到三种匹配结果:
- unassigned tracks:历史的目标没有和最新的检测结果匹配上,这种情况会更新历史 tracks,并删除过老的 tracks
- assignment:表示已经匹配上,根据dets和tracks更新tracks。这一步会更新多种类型的信息,例如:
- 运动状态(速度、朝向、加速度等)
- 几何特征(中心点,polygon,2d包围盒等)
- 类型(type)
- unassignement detections:最新检测的结果没有匹配上,添加到历史tracks中。这时会赋予一个新的track-id
多目标跟踪最主要的两步是匹配和融合。
- 匹配:指的是历史的tracks和detections的匹配,通常要计算目标之间的距离,得到一个距离矩阵。例如tracks数量为m,detections数量为n,得到的距离矩阵为m x n。然后根据距离矩阵计算二分图带权最优匹配,得到匹配结果,具体形式就是上述的unassigned track、assignment、unassignement detections;
- 融合:融合指的是已经匹配上的track和detection做目标融合,更新运动状态、几何特征等。apollo中的对运动状态的融合采用的是卡尔曼滤波算法。
1.6.2 代码结构
本组件一级目录结构如下所示。
├── lidar_tracking├── classifier // fused classfier├── conf // 组件配置文件├── dag // dag文件├── data // 配置参数├── launch // launch启动文件├── interface // 跟踪接口类├── proto // proto定义├── tracker // 多目标跟踪功能代码├── lidar_tracking_component.cc // 组件定义,以及入口├── lidar_tracking_component.h├── cyberfile.xml├── README.md└── BUILD
2. 激光雷达感知开发
本章针对激光雷达感知功能的二次开发做介绍,从以下进行说明:
- 组件开发,开发新的component;
- 插件开发,开发新插件。
2.1 组件开发
组件开发,即开发一个独立的component,用于开发一个独立的功能。
2.1.1 创建文件夹
创建文件夹,以组件的名称命名。
例如:pointcloud_ground_detection,pointcloud_map_based_roi,pointcloud_preprocess。
2.1.2 组件代码
首先,创建组件的必要代码,如下所示。
├── component_name├── component_name.cc // 组件定义,以及入口├── component_name.h└── BUILD
然后,根据组件的输入、输出数据,定义组件类接口。
【注意:接收数据类型如果是自定义的类、结构体,则新建component与上下游组件在一个进程内启动,才能正常收发消息。接收的消息如果是proto定义的数据类型,则上下游组件在不同进程内启动,也能够正常接受消息。】
最后,实现Init方法,用于初始化加载参数。实现Proc函数,实现组件功能。
class ComponentName: public cyber::Component<LidarFrameMessage> {public:ComponentName() = default;virtual ~ComponentName() = default;/*** @brief Init component** @return true* @return false*/bool Init() override;/*** @brief Process of component** @param lidar frame message* @return true* @return false*/bool Proc(const std::shared_ptr<LidarFrameMessage>& message) override;};
2.1.3 配置文件
在proto文件夹中定义component发送消息通道的名称,组件需要完成的功能的配置。代码结构如下:
├── component_name├── conf // 组件配置文件├── proto // proto定义├── component_name.cc├── component_name.h└── BUILD
通常配置定义示例如下。component的配置文件放到conf中。
message LidarDetectionComponentConfig {optional string output_channel_name = 1; // 输出通道名称optional PluginParam plugin_param = 2; // 功能配置,例如地面点分割、预处理等}// PluginParam 定义// message PluginParam {// optional string name = 1; // 功能名称// optional string config_path = 2; // 功能配置的路径// optional string config_file = 3; // 功能配置的文件,包含具体参数// }
2.1.4 功能定义
以地面点分割算法说明模块的功能定义。并在组件中声明该功能的基类,用于调用该功能。
├── component_name├── conf├── proto├── data // 功能配置参数├── ground_detector // 地面点分割功能├── interface // 地面点检测接口类,用于定义多种类。├── component_name.cc├── component_name.h└── BUILD
2.2 插件开发
插件是开发新的功能。插件开发的特点,独立性较强,可以不依赖具体component开发,同时可以被component使用。component可以根据需要加载插件。
插件开发,以lidar_detection_filter为例。其中object_filter_bank中可以执行多种filter,所有的filter都放到std::vector<std::shared_ptr<BaseObjectFilter>>中。
2.2.1 新建文件夹
在如下目录中新建文件夹,过滤器名称为new_filter,用于放代码和插件配置。
├── lidar_detection_filter├── conf├── dag├── data├── object_filter_bank│ ├── object_filter_bank.cc│ ├── object_filter_bank.h│ ├── roi_boundary_filter│ ├── new_filter // 新定义filter├── interface├── proto├── lidar_detection_filter_component.cc├── lidar_detection_filter_component.h├── cyberfile.xml├── README.md└── BUILD
2.2.2 功能定义
过滤器功能定义,首先,继承BaseObjectFilter类,实现Init(初始化方法),Filter(功能代码),Name(获取类名称)。
然后,在new_filter.h最后定义:CYBER_PLUGIN_MANAGER_REGISTER_PLUGIN(apollo::perception::lidar::NewFilter, BaseObjectFilter)。以此说明此功能是插件形式开发。
class NewFilter : public BaseObjectFilter {public:/*** @brief Construct a new NewFilter object**/NewFilter() = default;virtual ~NewFilter() = default;/*** @brief Init of NewFilter** @param options object filer options* @return true* @return false*/bool Init(const ObjectFilterInitOptions& options =ObjectFilterInitOptions()) override;/*** @brief filter objects using new filter algorithm** @param options object filter options* @param frame lidar frame to filter* @return true* @return false*/bool Filter(const ObjectFilterOptions& options, LidarFrame* frame) override;/*** @brief Name of NewFilter object** @return std::string name*/std::string Name() const override { return "NewFilter"; }private:... ...};CYBER_PLUGIN_MANAGER_REGISTER_PLUGIN(apollo::perception::lidar::NewFilter, BaseObjectFilter)
2.2.3 配置文件
在object_filter_bank/proto中定义new_filter的配置,在data/filter_bank.pb.txt中增加new_filter的配置。
├── lidar_detection_filter├── conf├── dag├── data│ ├── filter_bank.pb.txt // 过滤库,在其中增加new_filter配置├── object_filter_bank│ ├── object_filter_bank.cc│ ├── object_filter_bank.h│ ├── roi_boundary_filter│ ├── proto // new_filter 配置定义│ ├── new_filter├── interface├── proto├── lidar_detection_filter_component.cc├── lidar_detection_filter_component.h├── cyberfile.xml├── README.md└── BUILD
2.2.4 插件管理
首先,BUILD中的编译如下,插件需要用apollo_plugin的方式来编译。
load("//tools:apollo_package.bzl", "apollo_package", "apollo_plugin")load("//tools:cpplint.bzl", "cpplint")package(default_visibility = ["//visibility:public"])apollo_plugin(name = "libnew_filter.so",srcs = ["new_filter.cc"],hdrs = ["new_filter.h"],description = ":plugins.xml",deps = [],)
然后,新建new_filter/plugins.xml,并在其中定义:
<library path="modules/perception/lidar_detection_filter/object_filter_bank/new_filter/libnew_filter.so"><class type="apollo::perception::lidar::NewFilter" base_class="apollo::perception::lidar::BaseObjectFilter"></class></library>
3.激光雷达感知开发实验
本次实验目的是讲解开发组件、插件的具体步骤,上手开发组件、插件的框架,具体功能由开发者自定义。
3.1 准备工作
环境配置:https://apollo.baidu.com/community/article/1133
感知功能调试、参数调整:https://apollo.baidu.com/community/article/1134
# 进入到application-perception代码库cd application-perception# 拉取并启动docker容器,如果已拉取不需要执行这条命令aem start_gpu# 进入容器aem enter# 下载安装依赖包: 会拉取安装core目录下的cyberfile.xml里面所有的依赖包buildtool build --gpu
组件和插件新建通过命令的形式来实现,执行命令后代码框架就按照第2章的形式被自动创建。
3.2 组件开发
3.2.1 创建组件
进入到容器内后,执行命令创建组件。
#创建组件,--namespace说明命名空间,--template说明创建的是组件,最后是组件的路径buildtool create --namespace perception --template component modules/perception/lidar_test_component
组件创建成功后的代码结构:
3.2.2 组件开发
这次的组件应用于lidar感知,用命令生成的组件有一些默认配置,需要做修改。
代码修改:
- 修改模块代码
- 在cyberfile.xml中增加对perception-common的依赖
组件使用:
首先,修改lidar_test_component组件的输入、输出通道名称。
- 在/apollo_workspace/modules/perception/lidar_test_component/conf/lidar_test_component.conf中修改output_channel_name参数;
- 在/apollo_workspace/modules/perception/lidar_test_component/dag/lidar_test_component.dag中修改reader channel的名称。
然后修改上下游接口的输出、输入通道名称:【上游:lidar_detection_filter,下游:lidar_tracking】
- 在/apollo/modules/perception/lidar_tracking/dag中修改,reader channel为 "/perception/lidar/test"
最后,在/apollo/modules/perception/launch/perception_lidar.launch中增加lidar_test_component.dag。
修改完成后/apollo_workspace下执行:
buildtool build --gpu
3.3 插件开发
3.3.1 创建插件
在容器内,执行命令创建插件。
#创建插件,--namespace说明命名空间,--template说明创建的是插件,最后是插件的路径buildtool create --namespace perception --template plugin modules/perception/lidar_plugin
插件创建成功后的代码结构:
3.3.2 插件开发
此插件应用于lidar_detection_filter,命令生成的插件有默认的配置,需要做修改。
代码修改:
- 定义filter功能函数
- 在cyberfile.xml中增加perception-lidar-detection-filter包依赖
- 在plugin_lidar_plugin_descripton.xml中修改配置
插件使用:
在/apollo/modules/perception/lidar_detection_filter/data/filter_bank.pb.txt中增加lidar_plugin插件。如下图12行所示:
3.4 结果展示
上述都修改好之后,在dv中选中车型,如下所示:
然后,在终端启动transform和lidar感知,然后用cyber_recorder播包。
感知结果如下:
新模块和插件的日志如下。这里只搭建了组件、插件的框架,通过日志表明感知消息传递到了相应的组件和插件。具体组件、插件功能由开发者自己定义。
4. 总结
本节课程的内容总结。
第0章,介绍激光雷达的成像原理,根据激光雷达的扫描方式做了分类。然后介绍激光雷达的优点和不足。最后对自动驾驶中的激光雷达感知内容做了介绍。
第1章,介绍apollo中激光雷达感知各个组件(component)的功能,用了很多形象化的图进行了说明。然后讲解了每个组件的代码结构,方便开发者快速入门。
第2章,介绍在apollo上如何做二次开发,从组件开发、插件开发角度进行说明。
第3章,针对组件、插件做开发,做实例讲解。