将生成式AI 投入生产

生成式人工智能和大型语言模型 (LLM) 是人工智能的新革命，为世界带来了不到两年前我们只能梦想的能力。与深度学习等之前的里程碑不同，在当前的人工智能革命中，一切都发生得比以往任何时候都快。

许多人都觉得火车即将离开车站，既然我们谈论的是子弹头列车，那么每一天都很重要。那么你如何准时到达车站登上那列火车，更重要的是，你如何知道你乘坐的火车最适合你的申请呢？

大多数软件开发业务很快就会将生成式人工智能集成到他们的应用程序中，所以让我们来看看一些关键问题，以确保您走在正确的轨道上，朝着正确的方向前进。

1. 现有解决方案

以下是连接大型语言模型（LLM）的三种常见解决方案：

公司特定：最直接的解决方案之一是直接连接到领先开发者平台上提供的现有模型，例如 OpenAI 、 Google 、 Mistral 、 Anthropic 、 Cohere 、 DeepSeek 等。

模型聚合器：某些云供应商提供 AI 支持，可直接连接到托管服务（例如 Amazon Bedrock 和 Microsoft Azure） 的多个模型。此选项的优势在于可以通过单个供应商访问多个可定制的模型。

开源：网络上有许多模型库（最受欢迎的是 Hugging Face ），可用于商业应用。这些模型在根据您的需求微调模型方面提供了高度的灵活性。它也是唯一适用于涉及敏感数据的应用程序的选项。

请记住，除了运行模型之外，您还需要一个地方来存储模型并找到一种管理它们的方法。

1.1 MaaS 还是自托管？

考虑启动生成式 AI 项目时，第一个问题可能是模型放在哪里？深度学习时代教会了我们大多数人使用自己的专有模型，这些模型通常分布在云服务上。GenAI 为我们提供了一个新选择——模型即服务 (MaaS)，得益于 OpenAI，它很快成为许多人心目中的主流选择。那么你应该使用哪种服务呢？

让我们根据需要考虑的问题来分析一下：

1.2 成本

最重要的通常是这要花多少钱？比较 MaaS 和自托管模式的成本并非易事，因为 MaaS 通常使用代币收费，而自托管成本则由计算能力和使用情况决定。因此，这实际上归结为一个问题：该服务的预计使用量是多少？使用量越高，您就越有可能想要使用自托管模式。

1.3 安全

在某些情况下，通过 Web 将查询发送到远程托管服务可能会带来安全风险或违反政策。如果是这种情况，那么 MaaS 可能不适合您。

另一方面，值得注意的是，使用开源模型时需要考虑安全性，即使它们来自 Hugging Face 或 Kaggle 等知名网站。这些网站本质上是模型托管服务，虽然它们确实提供了一定程度的安全性，但在您自己的基础设施上使用开源模型时必须小心，因为这些 服务也可能引入恶意包 。

1.4 网络

使用 MaaS 的最大缺点之一是网络。每个请求都必须发送到另一台服务器，很可能是在另一个区域，这会导致延迟显著增加。此外，某些平台可能会限制您每小时可以发出的请求数量，如果您正在设计一个需要大量请求的核心产品，这可能会成为一个问题。再次强调，使用率越高，MaaS 就越不适合您。

1. 选择正确的模型

并非所有 LLM 都生来平等，这是有原因的。每种模式都有自己的优点和缺点。找到最适合您任务的模型需要考虑模型大小和语言支持。

2.1 规格

是的，规格很重要。模型越大，处理不太琐碎的任务的能力就越强。但是，无论是按代币支付还是按运行它们所需的机器大小支付，较大的模型也更慢、更昂贵。始终尝试找到实现目标所需的最小尺寸，否则使用不必要的大型模型肯定会烧钱并耗尽预算。

2.2 语言

如果您的任务只涉及英语自由文本，则几乎可以跳过此部分。但如果您需要更多内容，则可能需要重新考虑使用哪些模型。有些模型经过微调以输出代码，而其他模型则专注于特定语言。有些 LLM 主要为英语设计，但也能够学习其他语言。这些模型的问题是，随着更多语言的添加，性能可能会下降。在这种情况下，最好使用专为 多语言应用程序 设计的 LLM 。选择最适合您的目标语言的模型可以带来巨大的不同。

1. 更新很快

虽然很难理解，但面向大众的 NLP 生成式 AI 已经有大约 18 个月的历史了。2022 年 11 月底，它作为单一的实验性语言产品开始出现， 到 2023 年中期，已经发展到超过 15,000 个模型 ，而我们才刚刚起步。几个月前最先进的模型已经被新的替代方案超越——从提高开源模型标准的 Llama 3 到比 GPT-4 表现更好的 Claude 3——就在您阅读这些文字的时候，更有 前景的技术 正在涌现。要跟上最新模型，AI 开发人员必须比以往任何时候都更快地加快采用率和技术转变周期。

这意味着要不断地根据新的变体重新评估当前模型的性能，并使用新模型重新训练现有应用程序以提高性能，即使当前版本功能齐全。请记住，即使您的表现可能符合预期，但您的竞争对手可能会采用更新的模型并获得明显更好的结果。

1. 总结

LLM 是我们如今最接近真正魔法的东西，尽管它可能很迷人，但选择错误的模型可能会导致大量时间和金钱的浪费，而选择正确的模型则可以决定成败。

原文链接：https://jfrog.com/blog/taking-a-genai-project-to-production/