

现介绍Jetson计算模块系列中的Jetson T5000模块——此模块为当前Jetson AGX Thor开发者套件的核心组件。现透露一则关键信息:NVIDIA将推出T4000模块。
常见疑问在于T4000与T5000的差异。概括而言,T4000作为T5000的同系列型号,计算性能略低,功耗相应降低。此设计使功率受限场景下仍可部署高强度边缘计算应用——当设备功率阈值不支持T5000的130瓦需求时,T4000的70瓦功耗方案更具适配性。
两者核心差异体现为:T4000内存容量稍小,但内存带宽保持一致,支持在T4000上流畅运行高参数大语言模型(LLM)等复杂模型。
具体选择策略明确:若应用场景存在严格功耗限制(如需稳定控制在70瓦以内),T4000可提供优化解决方案;若追求极致性能表现,软件开发从业者通常优先选择T5000以获取全性能支持,此亦为众多开发者共识。

此为Jetson AGX Thor开发者套件的爆炸视图展示:T5000 Jetson Thor模块居中布局,并配备载板以引出全部内部接口。其中新增的接口亮点为QSFP-28以太网端口,该端口可提供总计高达100Gbps的聚合带宽,这在边缘设备上实现此类性能表现令人振奋。当然,为使软件工程师能够充分释放这些硬件性能,相关配套支持亦需同步完善。

NVIDIA提供了Jetson Linux的BSP支持以及包含完整SDK套件的JetPack软件栈。其中,Blackwell架构GPU已集成配置,这些功能现均已在Jetson平台上实现可用。此外,NVIDIA还引入了多项创新功能,例如数据中心级的多实例GPU(MIG)技术,该技术现也已部署于边缘设备中,支持更高效的资源分配与管理。在摄像头模块方面,HSV摄像头现已正式推出,其特性与前述HSV接口及QSFP-28以太网端口(提供总计100Gbps聚合带宽)形成完美协同,可满足高带宽数据传输与实时处理需求。
多实例GPU技术首次在边缘设备Thor上实现,支持将单个GPU实例分割为两个独立实例,并行运行完全独立的工作负载,实现真正的并行处理,尤其适用于混合关键性任务场景——这是NVIDIA在GPU领域首次引入的重大功能,此前Orin平台并未提供此能力。另一项关键技术是Holoscan传感器桥接方案,通过该方案可直接将传感器数据引入GPU,无需经过IP协议栈处理,从而以低延迟方式实现传感器数据在Thor平台及GPU中的直接处理。上述两项功能均已在Jetpack 7中获得支持,而多感GPU技术将于明年第一季度随Jetpack 72版本正式推出。

现就路线图相关内容进行说明:多实例GPU(MIG)技术已随Jetpack 7.2版本正式推出,该版本已纳入既定技术路线规划。此外,P4000新模块将于下个月发布的Jetpack 7.1版本中获得支持,实现硬件与软件版本的协同升级。上述安排确保了边缘计算平台在功能迭代与性能优化方面的持续推进。

现就开发者体验优化进行说明:传统上,Jetson设备开发需通过主机PC(如Ubuntu系统主机)完成系统刷机,此流程适用于AGX Orin还有Nano系列设备。而本次首次引入类似"即插即用"的便捷安装模式——仅需使用USB存储设备即可完成BSP全量部署,无需依赖主机PC。该安装流程耗时约12分钟,具备高鲁棒性,显著简化了开发环境搭建步骤,避免了传统方式中需调用存储设备中的Ubuntu主机等复杂操作。
需说明的是,传统刷写方式仍保留其必要性,尤其在需要部署自定义系统镜像或调整底层固件(如Uki固件)等深度定制场景时,仍需通过特定命令执行传统刷机流程。这种双模式设计既提升了常规开发效率,又保留了底层定制的灵活性,形成完整的开发者支持体系。

USB安装配置作为在线快速入门指南的一部分已完整涵盖。用户可参照该文档内容,高效完成Jetson Linux BSP的系统部署,实现快速启动与开发环境就绪,无需额外复杂操作即可投入使用。

现就Jetson AI Lab相关内容进行说明:该平台是我们重点投入的开发者支持项目,旨在帮助Jetson开发者掌握最新模型的部署方法及高效运行各类推理引擎的技术。由于ARM架构的特殊性,直接参考官方方案常存在适配难题,而Jetson AI Lab通过系统化教程与工具链整合,提供了针对性解决方案——其核心工具Jetson Container可支持预构建容器包的快速部署,简化开发流程。该平台作为Jetson生态的重要支撑,目前正持续迭代优化,通过技术资源整合与工具创新,全方位赋能开发者实现高效模型推理与边缘计算应用开发。
Q&A
Q:Jetson Thor开发者套件的起始价格是多少? A:起始价格为3499美元。
Q:Jetson Thor开发者套件的FP4性能算力是多少? A:其FP4性能算力达2000 TFLOPS,后续将通过教程及基准测试展示实际性能表现,帮助用户直观体验设备算力。
Q:是否可以在两个GPU实例中执行相同任务?如何整合资源? A:多实例GPU(MIG)技术支持将单个GPU分割为两个独立实例(如GPU实例0和1),每个实例可运行不同工作负载。若需执行相同任务,可根据工作负载优先级分配实例——例如将关键任务分配至专用实例以避免资源竞争,非关键任务分配至另一实例,从而保障关键任务的资源独占性。
Q:最多可以创建多少个GPU实例? A:最多支持创建两个GPU实例,具体划分基于图形处理集群(GPC)架构,每个实例可独立分配资源以支持并行工作负载。
Q:Jetson Orin Nano是否支持Jetpack 7.0? A:Orin系列设备不会支持Jetpack 7.0,但将通过Jetpack 7.2获得支持。2026年起,Orin系列开发者套件和模块将逐步获得更新,届时大量新功能将适配该系列。
Q:用户对AGX 64GB的ISO安装方式有何反馈? A:用户反馈该安装方式体验良好,团队通过技术优化实现了更便捷的部署流程,值得肯定。
Q:DGX Spark与Jetson Thor的主要差异是什么? A:DGX Spark定位为“第一/第二计算机”,支持通用计算任务(如运行Isaac Sim);Jetson Thor作为“第三计算机”专为边缘部署设计,基于不同SoC架构,GPU配置、CPU核心及RTX核心特性均存在差异,核心区别在于应用场景定位。
Q:Jetson Thor能否运行本地大语言模型(如1200亿参数的GPT变体)? A:Thor配备128GB大内存及Blackwell架构GPU(含超2000个核心),可容纳超大模型。实测显示,其FP4算力达2007 TFLOPS,支持NVFP4模型、推测解码等技术,软件优化后性能持续提升,已实现部分模型月级速度提升。
Q:Thor是否支持MIG(多实例GPU)及时间切片功能? A:MIG功能将随Jetpack 7.2(2025年初)推出,目前7.0版本暂不支持。
Q:Thor可同时解码多少路视频流? A:解码能力取决于分辨率。例如1080P30格式下可支持48路解码,具体参数详见官方数据手册及下载中心公开文档。
Q:Thor/Orin是否有预构建的VLLM/SG Lang容器? A:NGC平台已提供Triton容器(含VLM支持),本月起将陆续发布独立VLLM/SG Lang容器。Orin系列已通过Jetson AI Lab支持相关容器,Thor的社区适配工作正在推进,近期将公布进展。
Q:Thor在机器人/工业场景的实时性能如何? A:除LLM/VLM/VLA性能外,Thor通过Prem NT等工具优化操作系统实时性,实测显示启用后抖动显著降低,优于前代Ubuntu方案。
Q:Thor是否支持CSI接口及libargus? A:Jetson模块支持MIPI CSI-2标准,开发者套件预留引脚可扩展。用户可通过第三方载板或定制方案实现CSI接口功能。
Q:Thor运行8B/20B/70B参数模型性能如何? A:具体性能数据正在测试中,可参考技术博客已发布的VLM/LLM基准,后续将公布更多模型实测结果。
Q:Thor是否支持VSS全功能独立运行? A:需材料政策团队进一步确认,后续将跟进答复。
Q:Thor是否有最新机器人/工业应用性能基准? A:已发布Groot VLA等基准,涵盖LLM/VLM/VLA多维性能,同时通过Prem NT等工具验证实时操作系统性能。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。