英伟达发布智驾激光雷达+摄像头套件方案，新赛道继续做芯片+方案供应商

英伟达从把吴新宙挖过去，就是希望往自动驾驶赛道尝试，一方面是做专门针对智驾的芯片Thor，一方面是在软件方面做人工智能训练，高保真模拟，车载计算平台等。但是，英伟达一直以来的优势其实是一种软硬件结合的生态。尽管Thor持续延期，但它依然是英伟达基于智驾推出的最新代芯片产品，同时，智驾本身涉及到的软硬件产品的环节更多，还包括传感器部分，为了补足整个智驾的生态，英伟达推出的是基于激光雷达+摄像头的传感器套件，提供基本的智驾水平和交互能力，同时强调安全性，可以用于班车、校车、出租车、货车、Robotaxi、乘用车等各种车型。

传感器套件方面，主要是通过激光雷达、雷达、摄像头等多种传感器实现车辆对周围环境的精确感知。激光雷达用以获取周围环境的三维数据，提供精确定位和导航信息；摄像头则捕捉图像信息，通过图像识别技术实现对行人、车辆等障碍物的检测和识别。

功能方面，依托英伟达本身的软硬件能力，可以实现智驾的基础功能，但因其囊括的车型的场景多，所以对交互、安全方面的注重更强，而不是走单一增强智驾能力的路径。

其能实现的能力主要包含以下一些点：

1. 情景识别

包括车辆内部（如座舱）和车辆外部（如车辆周围环境）的情景识别，既能用传感器套件（摄像头、激光雷达、雷达、超声波、振动、声音、温度、加速度等）做感知支持，也可以在某些情况下实现互动，比如汽车和座舱的互动，行人和驾驶员的互动。

2. 虚拟轨道

虚拟轨道方面涉及几种情况：

a）像班车、校车可以遵循预定义的路线，通常不改变轨道或仅在特定条件下偏离轨道。

b）像公交车场景，虚拟轨道就可以调整为遵循过去存储路线自行生成，比如定义公交车站、见到停车标志、减速带等就可以直接调整。

c）更自由一点的方式，如乘用车，是车辆自己用不同的传感器，校准、探索/发现和绘制自己的虚拟轨道。这种方式就更偏向于现在的城市NOA，而且在检测到汽车、行人、动物时，汽车也要自主避让。

3. 人机交互

这部分包括车辆外的人机互动和车辆内的人机互动。

a）车辆外，用客户端/应用程序呼叫班车服务、请求接送时间、接送地点、下车地点等设备。或在家中Web上召唤班车。

b）车辆内，基于摄像头特征识别、语音识别、视觉信息、3D深度传感器（识别手势、身体姿势/身体动作），和车内的交互式显示器、音频系统进行互动。甚至系统本身也能检测特定乘客在关注哪个显示设备，在设备上提供这一乘客的相关信息。

c）提供功能，基于乘客动作/感知提醒，比如乘客看手机，识别动作后提醒其应该下站。

4. 驾驶员交互方面的改进

这个主要针对班车场景，助手或副驾驶会增加包括面部识别、头部跟踪、凝视检测、情绪检测、唇读、语音识别、文本转语音和姿势识别等功能，以增加安全兜底。

驾驶员UX-I/O示例，与安全驾驶有UX主显示屏示例 图源：Patently Mobile

另外，班车最好还包括一个外部UX，用来和外界进行通信，比如第三方行人、司机、其它自动驾驶汽车，或者智驾交通灯等物体。

论文里举了班车增加外部UX的示例，主要是增加外部显示器，比如不同颜色的灯，以及左转右转标识，以让外界知道其行驶动作。

班车外部UX示例 图源：Patently Mobile

5. 调度系统（AID）

这个也主要针对班车和营运车辆，主要是控制系统、设置和调整路线，安排送和发送班车进出。有一些可以调整的参数，方便坐车更方便，比如平均等待时间、最大等待时间、最短运输时间、最短路线、每人英里成本和/或总系统成本等。

另外，调度系统也会根据天气、交通和一天中的时间等环境条件执行AI模型，对行人、第三方交通和车辆建模，动态调整参数，动态应对交通变化。

最后是英伟达论文里公开了一个车辆示例，包括：

a）推进系统：提供动力以推进车辆。

b）可容纳乘客的乘客空间。

c）配置为监视车辆外部环境的第一传感器，包括激光雷达传感器阵列，用以识别道路状况，以及乘客手势，方便乘客用车。

d）配置为监视乘客空间的第二传感器。

e）可操作地耦合到第一和第二传感器以及推进系统的控制器，控制器包括至少一个GPU（包括深度学习加速器），从而无需人类驾驶员干涉就可以达到：识别乘坐车辆的乘客；控制车辆搭载所识别的乘客；导航车辆，包括规划前往目的地的路线；并控制车辆以安排所识别的乘客在目的地下车。

自动驾驶班车示例 图源：Patently Mobile

总的来说，英伟达瞄准的是一个更广泛的智驾群体，包括L2也包括L4，包括比较好落地的班车、校车场景，也包括较难一点的接近城市NOA的水平的智驾，整体是在其软硬件兼备的情况下，借助智驾这一可见的趋势，吃下更广阔的适配中低价智驾能力的市场。

此前业内曾有声音，吴新宙进入英伟达之后，在做路测之类的事，但路测早是去年年初国内头部智驾企业/车企就已完成的项目，暗示在海外工作节奏没那么快，智驾能力发展没那么充分的情况下，英伟达的智驾竞争或会落伍，但实际上，英伟达本身软件+硬件+构建生态的打法，并不是要追求最高阶的智驾能力，而是形成某种应用上的弹性，可以链接不同的智驾需求，有弹性和有包容度。其智驾水平可以不是最优（它本身也不是智驾企业），但将目前乘用车的智驾能力移植到校车、班车这种相对固定的路线场景下，就是意味着能诞生新的机会和新的赢利点。

万事俱备，只差Thor正式可以交付。

但值得谨慎思考的是，英伟达正在构建它的智驾软硬件生态（芯片、传感器套件、与之相生的智驾能力），并有将之推向全球市场的可能，但在贸易战之下，Thor这样的芯片还能进入中国国内多久？国内企业是进入并习惯它的生态，还是依据国内芯片企业选择另一种生态？

在智驾如火如荼，各元件都有超大量需求的情况下，这一问题或许比英伟达本身的动作更值得关注。

Ref：A recent NVIDIA patent describes Autonomous Vehicles with Situational Awareness and a Virtual Rail System