羊驼 AI 模型演示版（下架）：出于安全和成本考虑

Meta开发的这种小型语言模型会生成错误信息和有害文本。

Alpaca是基于Meta的LLaMA系统的小型AI语言模型，其Web演示版已经被斯坦福大学的研究人员出于安全和成本考虑下架。

访问含有数百亿个乃至数千亿个参数的大型语言模型，常常仅限于拥有训练和运行这些模型所需资源的公司。

Meta计划与一小批精选的研究人员共享其LLaMA系统的代码，以期促进研究分析语言模型生成有害虚假文本的原因。Meta希望可以做到这一点，又不需要研究人员购置庞大的硬件系统。

斯坦福大学的一群计算机科学家对LLaMA进行了微调，开发出了Alpaca，这种拥有70亿个参数的开源模型据称建造成本不到600美元。

代码在上周发布，据称在一些开发人员设法在Raspberry Pi电脑甚至在Pixel 6智能手机上运行代码后，Alpaca已引起了开发人员的注意。

斯坦福大学的研究人员表示：“GPT-3.5（text-davinci-003）、ChatGPT、Claude和必应聊天（Bing Chat）等遵循指令的模型已变得功能越来越强大。”

“现在许多用户经常与这些模型进行互动，甚至将它们用于工作中。然而，尽管遵循指令的模型得到了广泛部署，但它们仍然有许多不足之处：它们会生成虚假信息，传播刻板的社会印象，并生成有害的语言。”

“为了在解决这些紧迫的问题方面取得最大进展，学术界积极参与非常重要。遗憾的是，在学术界对遵循指令的模型进行研究一直很困难，因为没有一种开源模型在功能上接近于诸如OpenAI的text-davinci-003之类的闭源模型。”

Alpaca通过50000个文本样本进行了微调，引导模型遵循特定的指令，从而使其功能更类似OpenaI的text-davinci-003。

然而，运行允许任何人与模型进行互动的Alpaca演示版的网页在上线后不久就被删除了，原因是安全问题以及在线托管模型的成本急剧上升。

斯坦福大学以人为本人工智能研究院的发言人在一份声明称：“发布演示版的最初目的是以一种易于访问的方式传播我们的研究成果，我们觉得我们已经基本实现了这个目标。但考虑到托管成本以及内容过滤器的不足之处，我们还是决定下架演示版。”

与所有其他语言模型一样，Alpaca也容易生成错误信息，这种特性通常被描述为产生幻觉（hallucination）。攻击性文本是另一种常见的输出。

研究人员特别指出：“甚至与text-davinci-003相比，产生幻觉似乎是Alpaca常见的失败模式。”在一些例子中，该模型未能正确地回忆起坦桑尼亚首都，得出了错误的技术性信息。

虽然Web演示版已经被下架，但描述如何微调模型的数据集和代码仍然可以在GitHub上找到（https://github.com/tatsu-lab/stanford_alpaca）。研究人员表示，他们还计划公布模型权重方面的细节。

他们说：“Alpaca可能存在与底层语言模型和指令调优数据都相关的其他诸多限制。然而，我们相信这个产品对社区仍然是有用的，因为它提供了一种相对轻量级的模型，可以充当研究严重不足之处的基础。”

“我们鼓励用户通过在Web演示版中将各类新的缺陷标记出来，从而帮助我们找出这些缺陷。总体上来说，我们希望Alpaca的发布能够促进进一步研究遵循指令的模型以及它们与人类价值观是否相一致。