NVIDIA Jetson系列到底是怎样的产品？

首先，让我们来了解一下是什么在推动边缘的人工智能的发展。传感器技术和经济的进步创造了联网设备的繁荣，也被称为物联网。这些设备正在提高生产力。

将摄像头和其他传感器连接到互联网上，有助于创建智能工厂和智能家庭。

更重要的是，将视频从在线摄像头传输到基于云的视觉识别服务会使现有的网络容量超载，导致响应速度变慢。

IT设备的数量正在呈指数级增长，据预测，到2025年将达到1500亿台设备，到2030年将超过1万亿台设备，这为处于边缘的AI提供了巨大的机会。

为了解决刚才提到的最新挑战。NVIDIA创建了Jetson平台。而NVIDIA Jetson平台是为创建软件定义的自主机器而设计的。它是一个开放平台，已被超过45万名注册开发者广泛采用。

这个平台由三部分组成，第一部分是由CUDA GPU支持的Jetson电脑，第二部分是大量的工具、SDK和库，第三部分是NVIDIA打造的生态。

NVIDIA Jetson产品是以系统和模组的形式出现。每个模组具有不同内存，不同的功率、不同性能和外形规格，可用于各种应用。关于Jetson模组，最重要的一点是，它们在所有方面都具有相同的软件架构，以便在不同的产品组合中利用你的投资。

从入门的Jetson NANO产品到目前最高端的Jetson AGX Xavier。Xavier 30%用于设计复杂的、完全自主的系统，例如户外递送机器人，该系统需要运行多个模型以进行实时感知和控制，并处理来自多个传感器的高带宽数据。

Jetson家族的新成员是Jetson AGX Xavier NX，比一张名片还小，每秒运算20万亿次，功率只有15瓦，这使得NX成为当今市场上最小、最强大的计算机。

它的小尺寸和高性能的结合，使其能够广泛的应用。例如便携式医疗设备、自主无人机和自动光学检查系统。

NVIDIA Jetson系列可以帮助用户从头开始设计自主机器，并提供了更多的不仅仅是一个加速器。

你可以在这里看到Jetson AGX xavier中提供的各种子系统，其中包括一个易于编程的CUDA，使GPU也可以用于图形或其他加速计算功能。然后是Tensor Cores，用于人工智能处理和一个深度学习加速器(DLA)，专注于提供高效率，一个组合操作的深度学习。还有一个高性能的多核CPU执行所有串行任务。

多媒体处理器的功能包括如编码，解码，缩放等，还有一个图像处理器来处理来自图像传感器的原始像素数据；一个用于普通计算机视觉任务的视觉处理器，以及高速I/O(如USB、以太网和PCIe)，并将所有这些进程连接在统一的内存架构中，以最小的延迟和最大的状态真正实现并行处理。

除了模组外，NVIDIA还提供开发套件，具备各种接口，可以作为独立的下一代计算机来使用。

它包括一个基于linux的开放操作系统，该系统提供了一个完整的内核源代码和工具，支持使用加密和安全引导等方式进行生产，以附加传感器和外设。还提供了常用I/O的驱动程序。对于板载硬件加速器进行大量多媒体处理，NVIDIA提供了通用的API用于对各种格式进行编解码。

在图形方面，NVIDIA提供了vullan和openGL支持，支持X11 Wayland和LidDRM用于显示。

在基于底层的cuda - x上，NVIDIA为深度学习提供了TensorRT、cuDNN等库，为计算机视觉提供visionworks库。以及其他基础的加速计算库，如cuBLAS和cuFFT。

Jetpack的另一个关键组件是开发工具，它在主机上运行，允许开发人员交叉编译配置文件和调试他们的应用程序。

将所有的关键组件作为一个SDK提供给开发人员，让开发人员的工作更轻松，让他们更容易地进行开发并进入生产类，而不需要花费大量的时间。

NVIDIA TensorRT是包含在Jetpack中并支持jetson的AI关键库之一。TensorRT包括一个编译器和一个运行时，允许开发人员在任何流行的AI框架（如tensorflow和pytorch）上训练他们的模型，并以最小的内存占用将它们部署到边缘，利用产品的底层架构提供高性能。

TensorRT包含了量化，层融合，内核审计，多流执行等等。因此，开发人员可以快速地从训练模型到将模型部署到边缘。由于人工智能项目开发和部署过程固有的迭代性，NVIDIA的统一架构所提供的从训练到推理的无缝工作流程，对于人工智能项目的成功至关重要。

这些模型采用不同的训练框架，它们有不同的神经网络结构，但它们都可以用TensorRT在同一个jetson设备上编译和运行。

这些基准测试对于了解我们平台的计算机功能及其灵活性非常有用。它们远远不足以为您的产品选择合适的平台。因此，让我来解释一下，为什么在为实际应用选择产品时，您除了基准测试还需要考虑更多。

人工智能推理从根本上讲是一个多维问题，第一个是模型的类型，正如我们前面所看到的，人工智能的研究进展很快，我们经常看到新的模型结构。如果我们今天选择一个模型，很有可能在六个月内，他会想用一些不同的东西来更新，这样可以提供更好的准确性和性能，所以选择一个能够加速每一个模型的平台是很重要的。

维度是输入分辨率。早期基准测试都是显示非常小的分辨率输入的性能。并且用于图像或者比赛或其他学术研究。但是在实践中，您需要探索什么输入分辨率将对您的问题有效。

第三个是框架的选择。现在开发人工智能项目的公司最大的挑战是寻找人工智能开发人员。所以如果你把这个解决方案局限于一个特定的框架，你将关闭一个巨大的人才库的大门。

第四个是流处理的批处理大小。对于许多用例，您需要处理多个传感器。多个输入。基准测试显示单个输入的性能非常好。但是，当您添加更多信息时，性能并不是均匀分布的。

最后一个是量化。虽然量化确实有助于减少计算需求，但它通常需要付出很大的努力，而且在许多情况下是不可行的。例如，客户需要区分细微特征差异，他们绝对必须使用FP32来获得期望精度。拥有在多维空间中迭代的灵活性是很重要的，而NVIDIA Jetson平台，你可以灵活地探索，他们可以在所有这些维度上进行交易，在最短的时间内构建出最好的产品。

这是第三方基准，其中包含几乎所有商用解决方案，跨各种工作负载和场景的性能。事实上，Jetson是唯一能够运行所有场景和工作负载的平台。

光靠推理是不够的。我们需要加速整个流程以实现性能目标。NVIDIA将Deepstream作为SDK，Deepstream旨在加速流视频分析所需的完整堆栈。它是一个模块化的SDK，允许开发人员为智能视频分析（IVA）构建一个高效的管道。您在这里看到的是一个典型的IVA管道，由Deepstream插件构建，它支持插件使用的底层硬件、管道的每个功能，并利用硬件体系结构移动数据，而无需任何内存拷贝。

NVIDIA创建了isaac作为机器人SDK。Isaac包含一个引擎，允许您以模块化的方式构建复杂的应用程序图，还包括各种常见的gem，以及构建移动机器人所需的AI功能以及可视化和调试工具。

不同的gem被映射到系统上不同的硬件以加速。引擎可以实现高效的数据流。您在这里看到的是isaac提供的一个示例应用程序（称为carter）的图表。它利用定位、地图绘制、避障等多种方法来规划构建一个自主的室内移动机器人。

但总而言之，Jetson平台配备了一套详尽的软件，可以方便快捷地开发智能城市、工厂、物联网、医疗保健、农业等领域的人工智能应用程序。

这是NVIDIA历代Jetpack的版本。

NVIDIA还积累了一个广泛的生态系统合作伙伴平台，可以帮助客户加快AI产品的上市时间。无论您是需要一个现成的系统用于初始原型，还是一个定制的设计用于大规模生产。生态系统合作伙伴可以帮助你。

除了传感器和硬件合作伙伴，他们还拥有广泛的软件生态系统，可以为特定行业领域提供嵌入式解决方案，还有云服务提供商提供云集成、设备管理和监控解决方案。以及为嵌入式系统提供定制优化和集成服务的合作伙伴。

我们看到了基于Jetson平台的人工智能解决方案在各种各样的用例和行业中的巨大成功和部署。这些解决方案不仅有助于他们的工业提高生产力，而且使我们的世界更安全、更健康、更幸福。

NVIDIA在Jetson平台上投入巨大的资源和研发力量，并有一个坚实的产品路线图。所有绿色产品是目前已经发布或发售的，展望未来。2021年，NVIDIA计划NANO的下一个入门级产品NANO Next，然后是基于Orin的产品。

与商业级Jetson产品类似，NVIDIA还计划继续为工业环境提供产品，这需要高可靠性的运行寿命和长达10年的供应。NVIDIA预计在2021年年中推出工业级Xavier 32G模组，然后在2022年后推出工业级Orin产品。

Jetson是一个开放的平台，NVIDIA提供了各种开发资源供开发者学习和了解。

希望本篇能够让您比较系统性地了解Jetson产品