Bedrock平台的多模型生成式AI技术架构

某机构Bedrock服务：提供多种生成式AI模型访问

该服务使开发者能够安全、无缝、可扩展地访问多家领先公司的前沿模型。服务提供了对Stability AI的文本生成图像模型（包括Stable Diffusion）、AI21 Labs的多语言大语言模型、Anthropic的多语言大语言模型（Claude和Claude Instant，擅长对话和文本处理任务）的访问。该服务进一步扩展，增加了Cohere的基础模型、Anthropic的Claude 2以及Stability AI的Stable Diffusion XL 1.0。

这些模型基于大量数据训练，统称为基础模型。多种基础模型的能力，以及某机构自有的新基础模型（称为Titan），均可通过该服务的应用程序编程接口获得。

扩展机器学习访问

该服务致力于让客户能够便捷地访问高性能基础模型，无需承担构建模型和维护必要基础设施的巨大成本。为此，团队正在努力使客户能够使用自有数据私下定制这套基础模型。

“客户不必拘泥于我们的训练方案。我们正在努力提供高度可定制性。”某机构AI实验室应用科学总监表示，“例如，客户可以将Titan模型指向为其用例收集的、存储在S3中的几十个标记示例，然后针对特定任务对模型进行微调。”

不仅提供一套人工智能工具，还对其进行 meticulously 保护。在该机构，数据安全至关重要，常被称为“第零号任务”。虽然该服务托管了越来越多的第三方模型，但这些第三方公司永远无法看到任何客户数据。这些加密数据以及服务托管的模型本身，都牢固地驻留在该机构的安全服务器上。

处理有害内容

该机构拥有专有基础模型的开发经验。其中一个突出特点是提供了Titan基础模型，包括一个生成式大语言模型和一个嵌入向量大语言模型。Titan基础模型旨在通过检测和移除数据中的有害内容、过滤包含不当内容的模型输出，帮助客户应对有害内容的挑战。

当多个开源大语言模型问世时，用户很快发现可以通过特定提示词诱导模型生成带有性别歧视、种族主义和恐同内容的有害输出。部分原因在于互联网上充斥着此类材料，模型可能吸收部分毒性和偏见。

该机构在负责任人工智能方面的大量投资包括在Titan中构建护栏和过滤器，以确保模型最大程度地减少有害内容、脏话和其他不当行为。“我们意识到这是一个具有挑战性的问题，需要持续改进。”该总监观察道。

为此，在Titan模型开发过程中，输出会经过广泛的“红队测试”——一个旨在查明模型设计中潜在漏洞或缺陷的严格评估流程。该机构甚至邀请专家尝试使用各种棘手的文本提示词，诱使模型产生有害行为。“此类系统没有完美的，但我们正以 utmost 谨慎创建Titan。”一位首席应用科学家表示，“我们正在努力提升该领域的标准。”

构建高效的Titan模型

创建Titan模型还需要克服重大的技术挑战，尤其是在分布式计算方面。

“想象你面临一个数学问题，包含四个可分解的子问题，需要八个小时连续脑力工作才能完成。”一位高级首席应用科学家解释道，“如果有四个人一起工作，需要多长时间？凭直觉答案是两小时，因为你们是并行工作的。”

“这在现实世界中是不成立的，在计算世界中也是如此。”他继续说道，“为什么？因为必须计入各方之间的通信时间以及子问题解决方案的聚合时间。”

为了使分布式计算高效且成本效益高，该机构开发了AWS Trainium加速器（主要设计用于生成式AI模型的高性能训练，包括大语言模型）和AWS Inferentia加速器（为其运行中的模型提供动力）。这两种专用加速器都比可比的EC2实例提供更高的吞吐量和更低的推理成本。

这些加速器在训练期间需要不断通信和同步。为了简化这种通信，团队采用了3D并行技术。在这里，三个要素——数据小批量并行化、模型参数并行化以及跨这些加速器的逐层计算流水线——以不同程度分布在硬件资源上。

“决定这三个轴的组合方式，决定了我们如何有效利用加速器。”该科学家说。

Titan的训练任务因加速器偶尔会失效而变得更加复杂。“使用我们那么多的加速器，几天或几周内，必定会有一个出故障，这可能导致整个系统快速崩溃。”另一位工程师表示。

为了应对这一现实，团队正在分布式计算中开拓弹性和容错方面的 groundbreaking 技术。

效率在基础模型中至关重要——既出于成本考虑，也出于可持续性角度，因为基础模型在训练和运行中都需要巨大电力。

检索增强生成

使用该服务高效地结合Titan模型的互补能力，通过一种检索增强生成的形式，为客户提供了特别有用流程的构建块。

检索增强生成可以解决独立大语言模型的一个显著缺陷——它们无法处理新事件。例如，GPT-4基于截至2021年的信息训练，只能告诉你“最近俄罗斯在乌克兰的重大军事行动发生在2014年”。

重新训练巨大的大语言模型是一项庞大而昂贵的工程，过程本身需要数月。检索增强生成提供了一种方法，既可以在重新训练之间将新内容整合到大语言模型的输出中，又提供了一种利用大语言模型处理专有数据的成本效益方式。

例如，假设经营一家大型新闻或金融机构，希望使用大语言模型智能查询整个包含最新知识的新闻或财务报告库。

“你将能够使用Titan模型基于你的专有内容生成文本。”一位首席应用科学家解释道，“Titan嵌入向量模型有助于找到与提示词相关的文档。然后，Titan生成式模型可以利用这些文档以及它在训练中学到的信息，生成对提示词的文本响应。这使客户能够快速消化和查询自己的数据源。”

负责任的AI承诺

分步推出该服务也强调了某机构对负责任人工智能的承诺。“这是一项非常强大的服务，我们对负责任人工智能的承诺至关重要。”

随着强大基础模型数量的增长，该服务也将同步增长，不断扩大领先的第三方模型阵容和更多来自某机构自有的独家模型。

“生成式AI在过去几年发展迅速，但仍处于早期阶段，潜力巨大。”一位总监表示，“我们很高兴能将该服务交到客户手中，帮助他们解决今天和明天面临的各种问题。”FINISHED