Chat with RTX —— NVIDIA 个人专属本地AI聊天机器人（内附免费下载链接）

小伙伴们应该都知道，NVIDIA的芯片在人工智能领域广泛应用，但面向消费者的业务仍然主要集中在游戏领域。现在，NVIDIA打算通过引入Chat with RTX将这两个领域结合起来。

Chat with RTX是一个在个人电脑上本地运行的AI聊天机器人。它利用内置在NVIDIA游戏显卡中的Tensor-RT核心（RTX 30或40系列的显卡），使用大语言模型（LLM），对你提供的个人数据进行分析，然后提供答案。

与ChatGPT和Copilot不同，Chat with RTX完全在你的个人电脑上运行，不会将任何数据发送到云服务器。根据你提供相关的数据集，它分析其中包含的信息并提供答案。它还可以根据YouTube链接，解释视频中的内容并回答问题——这是通过提取来自字幕文件的数据来完成的。

Chat with RTX可以通过以下地址免费下载，安装程序为35GB。

https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/

运行Chat with RTX的电脑需满足以下要求：

一张至少有8GB VRAM的RTX 30或40系列显卡。

一台至少有16GB内存的计算机。  

尽管NVIDIA推荐使用Windows 11，但我在Windows 10上使用该实用程序时没有任何问题。

提示：目前Chat with RTX仅适用于Windows，尚未提及何时将在Linux上推出。

安装两个语言模型（Mistral 7B和LLaMA 2）需要大约一个小时的时间，它们占用差不多70GB的空间。安装完成后，会启动一个命令提示符窗口，其中有一个活动会话，你可以通过基于浏览器的界面提问。

NVIDIA提供了一个默认数据集来测试Chat with RTX，但我尝试指向了我的下载文件夹，里面有几百个新闻稿、评论和以文本（.txt）格式保存的文章。Chat with RTX能够解析PDF、Word文档和纯文本，正如前面提到的，你可以链接YouTube视频并提问。

Chat with RTX在总结细节方面做得很好，并且在针对性问题上表现也不错。目前还没有提供追问问题的功能，但这可能会在以后的版本中改变。

但也存在一些问题。比如我问聊天机器人Corsair的MP600 mini是否使用TLC存储，它只能在第二次回答时提供正确的答案（是的，该驱动器使用TLC存储）。  

Chat with RTX仍处于测试阶段，但显然具有很大的潜力。在本地运行一个自己的AI聊天机器人很有意思，它能够很好地从你提供的数据中获取信息。

根据我自己的初步使用情况，它可以帮我总结文稿并突出有用细节，我打算继续试用，看还有什么惊喜。

小伙伴们也可以轻松地在自己的计算机上安装Chat with RTX并尝试一下，它可能没有ChatGPT那么强大，但他是你个人专属的聊天机器人。