NVIDIA与Mistral AI合作，Mistral NeMo 12B模型震撼发布

Mistral AI和NVIDIA联合发布了一种尖端语言模型Mistral NeMo 12B。该模型易于定制和部署，适用于企业应用程序，支持聊天机器人、多语言任务、编码和摘要。

通过利用Mistral AI在训练数据方面的专业知识和NVIDIA优化的硬件和软件生态系统，Mistral NeMo模型在各种应用中都能提供高性能。Mistral AI的联合创始人兼首席科学家Guillaume Lample对合作表示感谢，并表示他们共同开发了一个具有前所未有的准确性、灵活性、高效率和企业级支持和安全性的模型。

Mistral NeMo 在 NVIDIA DGX Cloud AI 平台上进行了训练，该平台提供了对最新 NVIDIA 架构的专用、可扩展访问。该模型的开发进一步得到了改进和优化，使用了 NVIDIA TensorRT-LLM 来加速大型语言模型的推理性能，并使用了 NVIDIA NeMo 开发平台来构建自定义生成式人工智能模型。

提供无与伦比的性能

这种企业级人工智能模型擅长多轮对话、数学、常识推理、世界知识和编码，在各种任务中提供精确可靠的性能。凭借128K的上下文长度，Mistral NeMo能够更连贯、更准确地处理广泛而复杂的信息，确保输出与上下文相关。

Mistral NeMo 是在 Apache 2.0 许可下发布的，是一个 120 亿参数的模型，可促进创新并支持更广泛的 AI 社区。该模型使用 FP8 数据格式进行模型推理，从而减小了内存大小并加快了部署速度，而不会降低准确性。这使其成为企业用例的理想选择。

针对轻松部署进行了优化

Mistral NeMo被打包为NVIDIA NIM推理微服务，通过NVIDIA TensorRT-LLM引擎提供性能优化的推理。这种容器化格式允许在任何地方轻松部署，为各种应用提供了更高的灵活性。因此，模型可以在几分钟内部署到任何地方，而不是几天。NIM 具备企业级软件，该软件是 NVIDIA AI Enterprise 的一部分，具有专用功能分支、严格的验证流程以及企业级安全性和支持。它包括全面的支持、直接访问 NVIDIA AI 专家以及定义的服务级别协议，可提供可靠和一致的性能。开放式模型许可允许企业将Mistral NeMo无缝集成到商业应用程序中。

Mistral NeMo NIM设计为适合单个NVIDIA L40S、NVIDIA GeForce RTX 4090或NVIDIA RTX 4500 GPU的内存，可提供高效率、低计算成本以及增强的安全性和隐私性。

高级模型开发和定制

Mistral AI和NVIDIA工程师的综合专业知识优化了Mistral NeMo的训练和推理。经过Mistral AI的专业知识培训，特别是在多语言、代码和多轮内容方面，该模型受益于NVIDIA全栈的加速训练。它利用高效的模型并行技术、可扩展性和Megatron-LM的混合精度，旨在实现最佳性能。

该模型使用Megatron-LM进行训练，Megatron-LM是NVIDIA NeMo的一部分，在DGX Cloud上使用3,072个H100 80GB Tensor Core GPU。该平台由NVIDIA AI架构组成，包括加速计算、网络结构和软件，以提高训练效率。

可用性和部署

Mistral NeMo 已经准备好在各种平台上彻底改变人工智能应用程序，具有在任何地方运行的灵活性——云、数据中心或RTX工作站。今天，通过ai.nvidia.com体验Mistral NeMo作为NVIDIA NIM，可下载的NIM即将推出。