Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >【百度Apollo】探索自动驾驶:新版本 Beta全新升级算法方向支持4D毫米波,引入新模型提供增量训练

【百度Apollo】探索自动驾驶:新版本 Beta全新升级算法方向支持4D毫米波,引入新模型提供增量训练

作者头像
鸽芷咕
发布于 2024-05-26 09:12:54
发布于 2024-05-26 09:12:54
2630
举报
文章被收录于专栏:C++干货基地C++干货基地

引入

随着自动驾驶技术的不断演进,我们很高兴地宣布 Apollo 平台的最新 Beta 版本中引入了全新的算法方向支持 4D 毫米波,并且推出了增量训练的新模型。这是一项重要的升级,旨在进一步提升自动驾驶系统的感知能力和鲁棒性。本文将深入介绍这一创新性的技术,并探讨它对自动驾驶领域的意义和潜在影响。

一、背景介绍

毫米波雷达是自动驾驶系统中常用的感知传感器之一,它能够在各种复杂的环境条件下实现高精度的目标检测和跟踪。然而,传统的毫米波雷达在处理动态场景和复杂交通情况时存在一定的局限性,例如对于高速移动目标的准确跟踪以及对于复杂道路场景的精细感知能力有待提升。

为了克服这些挑战并进一步提升毫米波雷达的性能,我们团队在新版本的 Apollo Beta 中引入了 4D 毫米波技术,并结合增量训练的方法,实现了对毫米波雷达算法的全新升级。

二、引入全新模型,算法检测效果显著提升

在Apollo 8.0时,我们联合Paddle 3D提供了端到端的自动驾驶模型开发解决方案,覆盖了从自动驾驶数据集到模型训练、模型评估和模型导出的算法开发全流程。

Beta在8.0版本基础上,对算法模型进行了更新升级,同时还在其他方面做了优化,模型泛化性和效果都得到了显著的提升

2.1、更强大易用的激光雷达检测模型CenterPoint

在激光雷达检测方向,我们采用了新的CenterPoint模型替代了原来的CNNSeg模型,并依托于百度百万级的自动驾驶数据对模型进行了针对性优化,检测精度和召回率远超原CNNSeg模型,可以提供复杂城市道路场景下实时、准确、稳定的3D目标检测效果

检测效果示意

2.2 Beta激光雷达检测的优势

升级优化后,Beta激光雷达检测具备以下优势:

  • 更好的检测效果,更强的泛化能力。 Beta使用百万真实路测数据对CenterPoint进行训练和优化,精度和召回率相较于应用最多的CNNSeg模型提升了20%+,检测能力和泛化能力显著提升。
  • 提供了常见城市道路标识的检测能力。 Beta包括了锥桶、水马、防撞桶、指示牌等目标的检测能力,极大地保障了自动驾驶的安全性。
  • 显著提升了近处行人目标和小目标的召回率。 Beta对前后处理、配置、模型推理进行了针对性调优和处理,修复了推理端结果不一致问题,行人和小目标召回率提升。
  • 增强了跟踪的稳定性。 Beta优化了障碍物点云的获取逻辑,使CenterPoint可输出准确Polygon信息,进一步增强了跟踪的稳定性。
  • 大幅降低模型推理耗时和GPU占用。 Beta提供了Tensorrt + fp16推理 & Int8推理的功能和教程,在保持模型检测效果前提下,大幅降低了模型的推理耗时和GPU占用,在低算力平台运行可满足实时性要求。
  • 降低训练开发成本,提升易用性。 Beta开源了CenterPoint的训练代码,新增了以下功能:冻结网络层训练、fp16训练、适配自定义数据集等。开发者可以根据教程,使用公开/自定义数据集快速展开训练,大大降低了用户的训练开发成本,开发者可快速方便地开展模型训练部署、增量训练、Apollo感知赛事等任务。
检测效果示意

三、相机检测,Yolo X+Yolo 3D更快更好用**

在相机检测方向,视觉感知上我们使用了Yolo X+Yolo 3D两阶段模型替换了原来的Yolo单阶段模型,使得Beta的相机检测更易用、更好用,同时速度更快、效果更好。

具体来说,更换模型后Beta在相机检测方面进行了以下优化升级:

  • 更易用。 将单目3D目标检测任务完全解耦为2D框检测与3D姿态回归两个任务,能够满足开发者以插件的方式快速替换任意2D、3D模型的需求;(*Yolo系列模型部署时只需要简单适配前后处理即可实现模型的快速替换)
  • 更好用。 开源了Yolo X及Yolo 3D适配Apollo后的训练代码,并提供给开发者在开源数据及内部数据上的预训练模型,开发者可根据需求具体场景需求对模型进行Finetune;
  • 更快速。 新推出的Onnx推理框架提供了TensorRT的C++接口来完成模型部署,单阶段模型推理时间可降至1ms,大幅度提升了模型推理速度,助力开发者将自己的模型部署上车;
  • 更强大。 2D、3D模型均使用百万量级真实路测数据训练,在有效提升城市域全场景下目标的检测能力的同时二阶段预测出的目标朝向更加稳定、尺寸更加准确,相较于之前的Yolo模型在3D评测集上精度和召回率均提升了17%+。

3.1 检测效果示意

四、提供增量训练,适应多种场景

针对开发者在自己场景中使用感知功能时可能会遇到,模型没有涉及过的特殊目标和特殊场景,出现模型目标检测效果不佳的情况。

为此Beta为开发者提供了全面详细的增量训练教程,开发者可使用少量自定义场景数据和Apollo预训练模型,在教程指导下进行增量训练,在维持模型原有检测能力的前提下,显著提升特殊目标和特殊场景的检测能力,从而达到用较低成本轻松提升定制场景的检测效果

举例来说,我们采集了少量包含特殊挂车的自定义场景数据,使用增量训练方法解决特殊挂车检测效果差的问题。同时分别在百度城市道路数据和少量自定义场景数据中,评测模型原有的检测能力和新场景新目标的检测能力,最终给出指导性建议和意见:

  • 冻结网络层。 通过冻结特定网络层,对模型进行微调训练,缓解了灾难性遗忘问题(Catastrophic Forgetting),在保持模型原有检测能力的前提下,大幅提升了挂车的检测效果(自定义场景大车AP提升15%),有效解决了用户自动驾驶场景的痛点。
  • 超参数调整。 通过调整学习率、Epochs和Batch Size等超参数,可以进一步提升模型检测能力,同时更好地平衡在不同场景中的检测效果。
  • 正则化。 使用Object Smaple数据增强,正则化等技术,可有效避免在自定义数据集上的过拟合问题。
  • 混合训练。 同时将来会提供使用自定义数据集和百度数据集混合全量训练的功能,可在城市道路场景和自定义场景中同时获得最佳的检测效果(城市道路场景中mAP基本没有损失,自定义场景大车AP值提升25%)。

4.1效果展示

五、新增支持4D毫米波

Beta从硬件驱动到感知模型层,增加了对4D毫米波的支持。相比传统毫米波雷达,4D毫米波雷达新增俯仰角测量的能力,可以同时输出目标的水平角、俯仰角、距离、多普勒速度等信息,同时角分辨率可以提升至1度左右,输出类似于激光雷达的密集点云;通过基于深度学习模型的4D毫米波点云目标检测,提高自动驾驶车辆在雨雪雾等天气下的安全性。

Beta 4D毫米波具有以下亮点:

  • 高精度。 传统毫米波雷达只能返回二维平面的目标位置信息,对于天桥或减速带等目标,无法判断障碍物的高度信息,容易导致车辆急刹;而4D毫米波雷达可以返回点云的三维位置信息,对自动驾驶车辆周围环境进行更好的建模,更稳定地检测静态障碍物;
  • 低误报。 传统毫米波雷达只能返回稀疏的目标点云信息,无法分辨目标的几何特征,对于4D毫米波雷达输出的高密度点云,Apollo新增4D毫米波雷达目标检测模块,通过适配经典的点云目标检测模型PointPillars,利用毫米波点云特有的速度特征,通过多帧融合提升点云密度,对4D毫米波点云进行特征提取和目标检测,识别行人、车辆、非机动车等,避免了毫米波雷达噪点引起的误检,同时输出的障碍物的语义和Polygon等信息更有利于下游任务;
  • 可迭代。 开源了PointPillars适配Apollo后的训练代码,开发者可以迭代更适合毫米波雷达的深度目标检测网络,实现更高的毫米波雷达检测精度,充分释放毫米波雷达性能,实现更安全、成本更低的自动驾驶感知方案。

5.1 检测效果示意

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2024-05-24,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
视觉与4D毫米波前融合感知算法设计
黑芝麻智能通过本文介绍了黑芝麻智能视觉与4D毫米波雷达前融合算法,通过多模态特征对齐和时序建模,显著提升逆光、遮挡等复杂场景下的目标检测精度,增强辅助驾驶安全性。
全球TMT
2025/05/06
1170
端到端自动驾驶:数据、方法与展望
“端到端”,可以说是神经网络战胜传统算法的最重要法宝。一个训练好的神经网络,只需要部署在一个接受输入数据的模块里面,就可以直接输出该任务的最终结果,曾经让目标检测、语义分割、关键点检测等计算机视觉(现在已经不限于视觉了)无论是精度、速度还是模块本身的部署都有了划时代的进展。
一点人工一点智能
2023/05/04
9600
端到端自动驾驶:数据、方法与展望
自动驾驶 Apollo 源码分析系列,感知篇(一)
我是自动驾驶从业者,百度的 Apollo 是行业优秀的开源框架,近几年发展的比较快,基于对技术的热爱,我计划用 3 个月的样子来学习 Apollo 的源码,以提升自己的自动驾驶认知和技术。
Frank909
2020/12/21
2.8K0
自动驾驶 Apollo 源码分析系列,感知篇(一)
当视觉遇到毫米波雷达:自动驾驶的三维目标感知基准
文章:Vision meets mmWave Radar: 3D Object Perception Benchmark for Autonomous Driving
点云PCL博主
2023/12/12
7660
当视觉遇到毫米波雷达:自动驾驶的三维目标感知基准
Apollo激光雷达感知:探索自动驾驶的“眼睛”
自动驾驶技术的不断演进为交通出行带来了革命性的变化,而激光雷达感知技术作为其中关键的一环,在实现车辆智能感知和环境理解方面发挥着至关重要的作用。本文将深入探讨百度Apollo自动驾驶系统中激光雷达感知的工作原理、优势以及在实际应用中的表现。
鸽芷咕
2023/12/27
5910
Apollo激光雷达感知:探索自动驾驶的“眼睛”
K-Radar:适用于各种天气条件的自动驾驶4D雷达物体检测
文章:K-Radar: 4D Radar Object Detection for Autonomous Driving in Various Weather Conditions
点云PCL博主
2023/12/11
7790
K-Radar:适用于各种天气条件的自动驾驶4D雷达物体检测
凌波微步于胜民:打造国内首款高精度4D毫米波雷达 | 镁客请讲
相比于传统的3D毫米波雷达,4D毫米波雷达还具备垂直方向分辨能力,能够精准识别目标的位置是在地面还是在空中。
镁客网
2018/07/31
1K0
凌波微步于胜民:打造国内首款高精度4D毫米波雷达 | 镁客请讲
无事“自动驾驶”,有事“辅助驾驶”?
近日来,智能汽车事故频发,且事故原因多与所谓的“自动驾驶”功能有关,这不由得引起了人们对“自动驾驶”发展前景的担忧。 实际上,大众理解的“自动驾驶”与官方的定义可能有所出入。全球公认的标准一般是由SAE International(美国汽车工程师学会)发布的J3016自动驾驶等级,该标准定义了汽车从无自动化(L0)到全自动化(L5)的六个驾驶级别。 与此相对应,2021年8月20日,中国工业和信息化部也发布了《汽车驾驶自动化分级》标准,将于2022年3月1日起实施,详细分类如图1所示。 图1 国标《汽车
AI科技大本营
2023/04/14
2070
无事“自动驾驶”,有事“辅助驾驶”?
【百度Apollo】探索自动驾驶:深入了解Apollo平台视觉感知的原理
但摄像头有着容易受环境影响、缺乏深度信息等缺点,给无人驾驶系统中的视觉感知算法带来了巨大的挑战。因此,如何建立一套高精确率和高稳定性的视觉感知算法,是无人车感知模块的核心问题。视觉感知算法在 Apollo 平台上主要有 3 个应用场景,分别是红绿灯检测、车道线检测、基于摄像头的障碍物检测。
鸽芷咕
2024/05/26
6200
【百度Apollo】探索自动驾驶:深入了解Apollo平台视觉感知的原理
大模型来了,自动驾驶还远吗?关键看“眼睛”
感知系统是自动驾驶最重要的模块之一,被视为智能车的“眼睛”,对理解周围环境起到至关重要的作用。随着深度学习以及传感器技术的发展,感知系统呈现出迅猛的发展趋势,涌现出各种新技术,性能指标不断提升。本文将围绕感知系统架构、方法及挑战,结合驭势科技的具体实践深入探究自动驾驶感知技术。 作者 |耿秀军、李金珂、张丹、彭进展 出品 | 新程序员 感知系统架构与方法 目标的检测与跟踪是感知系统的两大基础任务,主要利用不同传感器数据输入,完成对周围障碍物的检测与跟踪,并将结果传递给下游规划控制模块完成预测、决策、规划、
AI科技大本营
2023/05/15
5050
大模型来了,自动驾驶还远吗?关键看“眼睛”
4D毫米波雷达:成像距离超百米,成本仅为LiDAR十分之一
选自IEEE 机器之心编译 编辑:shanshan 4D毫米波雷达的出现,或将为自动驾驶带来革命性的改变。 据 IEEE Spectrum 报道,创业公司 Steradian Semiconductors 的创始人看到了汽车自动驾驶市场上的技术空白,并利用他们的专业知识来填补它。 在 2016 年创办这家无晶圆半导体初创公司之前,创始人曾在知名科技公司工作,为蓝牙、GPS、LTE 蜂窝和无线 LAN 等大众市场无线电技术设计芯片组。他们发现雷达可以用现代技术制造,例如半导体和先进的加工技术,这样它们就可以提
机器之心
2022/09/01
4310
4D毫米波雷达:成像距离超百米,成本仅为LiDAR十分之一
百度Apollo首次披露纯视觉L4无人车方案:10摄像头,对标Mobileye
百度Apollo,中国自动驾驶的最大玩家,刚刚在AI视觉顶会CVPR上,披露了一套纯视觉城市道路闭环解决方案—百度Apollo Lite.
量子位
2019/06/28
1K0
百度Apollo首次披露纯视觉L4无人车方案:10摄像头,对标Mobileye
实现高级自动驾驶,一定要用激光雷达吗?
L3级自动驾驶的喧嚣刚刚随着奥迪的 “退赛”而暂入低潮,L4级的呼声已开始高涨起来。
脑极体
2020/05/15
6360
自动驾驶汽车硬件系统概述
如果说人工智能技术将是自动驾驶汽车的大脑,那么硬件系统就是它的神经与四肢。从自动驾驶汽车周边环境信息的采集、传导、处理、反应再到各种复杂情景的解析,硬件系统的构造与升级对于自动驾驶汽车至关重要。
刘盼
2018/07/26
2.1K0
自动驾驶汽车硬件系统概述
4D LiDAR 与 4D RADARS
LiDAR 是检测距离最精确的传感器,摄像头对于场景理解是必不可少的,RADAR 可以透过物体看到并允许直接测量速度。
点云PCL博主
2025/02/26
972
4D LiDAR 与 4D RADARS
机器学习在自动驾驶中的应用-以百度阿波罗平台为例【上】
自动驾驶是人工智能当前最热门的方向之一,也是未来将对人类生活会产生重大影响的方向。机器学习在自动驾驶中有举足轻重的地位,从环境感知到策略控制,都有它的身影。在本文中,SIGAI将以百度阿波罗平台为例,介绍机器学习在自动驾驶系统中的应用,揭开自动驾驶算法的神秘面纱。
SIGAI学习与实践平台
2018/08/07
1K0
机器学习在自动驾驶中的应用-以百度阿波罗平台为例【上】
百度背叛激光雷达路线了吗?
百度智能驾驶事业群组技术委员会 | 文  量子位 出品 | 公众号 QbitAI 编者按: 百度背叛激光雷达路线了吗?2019年夏的CVPR,纯视觉方案Apollo Lite第一次亮相开始,这种猜疑就没停过。一年后,自动驾驶江湖中的两条路,愈加清晰分明。 一方面,自动驾驶公司纷纷增加车端激光雷达数量,提升雷达扫描密度,传感器“军备竞赛”趋势延续。另一方面,车企基于纯视觉方案的“全自动”驾驶功能交付无期。 而百度Apollo Lite,成为了国内唯一纯视觉L4级城市道路自动驾驶解决方案。并且Apollo Li
量子位
2023/03/10
4240
百度背叛激光雷达路线了吗?
TJ4DRadSet:自动驾驶4D成像雷达数据集
文章:TJ4DRadSet: A 4D Radar Dataset for Autonomous Driving
点云PCL博主
2022/12/27
1.2K0
TJ4DRadSet:自动驾驶4D成像雷达数据集
百度Apollo:激光雷达检测技术深度解析
在自动驾驶技术的飞速发展中,感知系统的关键组件之一是激光雷达。百度Apollo平台作为领先的自动驾驶解决方案之一,其激光雷达检测技术在实现高精度环境感知方面发挥着关键作用。
鸽芷咕
2024/01/05
6210
百度Apollo:激光雷达检测技术深度解析
简述:机器人BEV检测中的相机-毫米波雷达融合
论文:Vision-RADAR fusion for Robotics BEV Detections: A Survey
一点人工一点智能
2023/10/21
8330
简述:机器人BEV检测中的相机-毫米波雷达融合
推荐阅读
相关推荐
视觉与4D毫米波前融合感知算法设计
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档