Nvidia推出的AI软件，可以在个人电脑上安装AI知识助理

春节期间，NVIDIA推出一款可以在个人电脑上安装的AI软件ChatWithRTX。我们来一起了解一下这个软件。

01

—

ChatWithRTX介绍

先看Nvidia的官方介绍：Chat With RTX 是一个 Demo，用来将您自己的资料（文档、笔记、视频或其他数据）与大语言模型建立连接，从而令 LLM 更具个性化。利用检索增强生成 (RAG)、TensorRT-LLM 和 RTX 加速，您可以与自定义聊天机器人对话，快速灵活地获得聊天机器人根据您的内容给出的见解。此外，由于 Chat with RTX 完全在 Windows RTX PC 或工作站本地以安全的方式运行，因此您可以更快获得更满意的结果。

概括来说，就是Nvidia提供了一个本地安装的软件，可以将用户本地的知识库（文档）或者网页，提供给本地的LLM模型，LLM模型根据内容给出回复。

这款软件是面向C端用户的，定位就是个人AI知识助理。

它解决了几个问题：

1、可以检索用户本地的知识库，或给定的网页。解决了LLM知识不足的问题，并且让回答更符合用户期望。

Chat With RTX 支持多种文件格式，包括文本文件、pdf、doc/docx 和 xml。您只需在该应用中指定包含目标文件的文件夹，该应用便会在几秒内将目标文件加载到库中。不仅如此，您还可以提供 YouTube 播放列表的 URL，然后该应用会自动加载播放列表中的视频的转写内容，让您能够查询视频中包含的内容。

2、完全在本地化运行，解决了数据安全隐私的风险。

3、对硬件配置要求不高，消费级显卡即可使用，官方要求配置：

平台WindowsGPUNVIDIA GeForce RTX 30 或 40 系列 GPU 或配备至少 8GB VRAM 的 NVIDIA RTX Ampere 或 Ada Generation GPURAM16GB 或更高操作系统Windows 11驱动535.11 或更新版本驱动

4、傻瓜化部署，官方提供的安装包，直接安装即可。

有这个硬件条件的可以自己下载，

https://blogs.nvidia.cn/2024/01/08/generative-ai-rtx-pcs-and-workstations/

需要说的是chat with rtx使用的LLM模型并不是NVIDIA自己的大模型，而是集成了Mistral 和Llama2，目前对中文还不是太友好。

它实质上也是一个套壳应用，和一些开源项目，如langchain本质上也没有什么区别。

02

—

产品分析

过去一年，各个厂商的大模型，都在往“大”的方向去竞争。诚然，模型越大，能力相对就会越强，对算力的要求就会越高。那么要部署运行这个模型就得在云端或者是本地数据中心，这也在一定程度上限制了应用场景。

如果将模型做小，能力又恰好能满足某些应用场景，使模型能够运行在消费级终端上，那么未来的应用场景将是十分广阔的，想象一下，每一台PC，每一部手机，甚至汽车、机器人，如果都能在本机运行AI，那在应用端就可以有无限的想象。

NVIDIA做这件事还有一个优势。就是NVIDIA可以基于硬件去优化大模型的能力，这样在同等算力的情况下，可以更大程度地发挥提升模型的能力。

目前也有一些开源项目，如langchain-chatglm，就是基于langchain和清华智谱的chatglm实现的类似产品。chatglm对中文十分友好，消费级显卡也完全可以运行，但目前这个产品在部署、使用的便利性上还有一些不足。