上万Jetson用户可用的AI助理来了，NVIDIA开源Jetson Copilot

昨日，NVIDIA宣布开源Jetson Copilot项目：

Jetson Copilot是一个参考应用，旨在展示一个运行在Jetson上的私人AI助手，这个助手能够实现两项重要功能：

-在设备上运行开源大型语言模型（LLM） Jetson Copilot能够直接在Jetson设备上运行开源的大型语言模型。这意味着用户无需将数据发送到云端进行处理，即可获得强大的语言理解和生成能力，从而实现了更快的响应速度和更好的隐私保护。

-增强LLM以访问本地索引知识（RAG，检索增强生成） 除了运行LLM外，Jetson Copilot还通过检索增强生成（RAG）技术，为LLM提供了访问本地索引知识的能力。这意味着，当AI助手与用户交互时，它能够利用本地存储的知识库来提供更加准确和相关的回答，从而进一步提升了AI助手的智能水平。

这个项目是在Jetson AI实验室中精心打造而成，NVIDIA团队倾注了大量的心血和热情。对于NVIDIA Jetson的开发者来说，Jetson Copilot将是一个构建开源LLM/RAG应用的宝贵资源。通过它，开发者们能够直观地了解如何在边缘设备上部署和运行先进的AI模型，并探索如何利用本地知识库来增强AI助手的性能。

NVIDIA表示：鼓励开发者们积极尝试Jetson Copilot，探索其背后的技术原理和实现细节，同时也欢迎提出宝贵的意见和建议，共同推动项目的完善和发展。

而小编我已经为这个项目想了几个应用场景：

将Jetson Copilot与NVIDIA Jetson平台服务（NVIDIA Jetson平台服务治好了我的应用开发焦虑）结合起来的例子可能是创建一个智能家居助手。这个智能家居助手利用Jetson Copilot的能力，在本地运行大型语言模型（LLM）和检索增强生成（RAG）流程，同时借助Jetson平台服务的强大基础设施，为用户提供高效、智能且隐私保护的家居体验。

具体来说，这个智能家居助手可能具备以下功能：

1. 语音交互：用户可以通过语音与助手进行交互，提出各种指令或问题。Jetson Copilot的LLM能力使得助手能够理解复杂的自然语言指令，而RAG技术则允许助手从本地索引的知识库中检索相关信息，为用户提供准确的回答。
2. 智能控制：智能家居助手可以连接并控制家中的各种智能设备，如灯光、空调、电视等。通过集成Jetson平台服务的API，助手可以方便地与其他服务或应用进行通信，实现设备的联动和场景控制。
3. 隐私保护：由于Jetson Copilot在本地运行LLM和RAG流程，用户的语音指令和数据无需上传到云端进行处理，从而保证了隐私安全。此外，借助Jetson平台服务的强大网络和安全功能，助手还可以进一步保护家庭网络免受外部攻击。
4. 持续学习：随着时间的推移，智能家居助手可以通过不断学习和优化，提高其语言理解和生成能力。Jetson Copilot的开源特性使得开发者可以轻松地对其进行扩展和定制，满足用户的个性化需求。

大家可以访问github:

https://github.com/NVIDIA-AI-IOT/jetson-copilot