深度解析 Llama 2 的资源汇总：不容错过

“ 探索 Llama 2 背后的过程，包括了模型的全面解析，在线体验，微调，部署等，这份资源汇总将带您深入了解其内涵。”

01

—

周二发布了文章《中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用》后，不少朋友们对开源模型LLaMA2比较感兴趣。

LLaMA 2 是 Meta 开发的大型语言模型，是 LLaMA 1 的后续版本。LLaMA 2 可通过 AWS、Hugging Face 等平台提供商获得，并免费用于研究和商业用途。

LLaMA 2 预训练模型在 2 万亿个标记上进行训练，上下文长度是 LLaMA 1 的两倍。它的微调模型已经接受了超过 100 万个人工注释的训练。

Meta 的LLaMA2官方网站地址

https: //ai.meta.com/llama/

与 LLaMA 1 相比，新的改进包括：

• 在 2 万亿个标记的文本数据上进行训练
• 允许商业使用
• 默认使用 4096 个前后文本视野
• 70B 模型采用了分组查询注意力（GQA）
• 可以在 Hugging Face Hub 上直接获取（https://hf.co/models?other=llama-2）

推荐朋友们先看看官方的模型使用手册‍

https://ai.meta.com/static-resource/responsible-use-guide/

02

—

在线体验

朋友们可以在下面几个在线网址，用对话的方式体验已经部署好的LLaMA2，不过，回复基本是英文，即使强制它使用中文回答，或者将回复翻译成中文，效果也不尽如人意。‍‍‍‍‍‍‍‍‍‍‍‍‍‍

HuggingChat 上的 Llama 2 70B‍

https://hf.co/chat

Perplexity 的地址

https://llama.perplexity.ai/

03

—

Llama 2 是一个基于公开可获取网络数据训练的基础大语言模型。同时，Meta 公布了其对话模型 - Chat 版本。

初始的Chat模型是SFT（有监督调优）模型。随后，LLaMA-2-chat 通过人类反馈强化学习（RLHF）逐步演化。在RLHF过程中，采用了拒绝采样和近端策略优化（PPO）等技术，对聊天机器人进行进一步调优。

目前，Meta 仅公开了RLHF模型的最新版本（v5）。下面有一些资料是关于Llama 2的研究。

• Llama 2: 描述了 Llama 2-Chat 的微调和安全改进方法

https://arxiv.org/abs/2307.09288

• 对开源大语言模型Llama 2的分析

https://www.interconnects.ai/p/llama-2-from-meta

• Llama 2 的全面拆解

https://www.youtube.com/watch?v=zJBpRn2zTco

模型评测

Meta 声称“Llama 2 在许多外部基准测试上都优于其他开源语言模型，包括推理、编码、熟练程度和知识测试”。

Hugging Face 开源大语言模型排行榜

https://hf.co/spaces/HuggingFaceH4/open_llm_leaderboard

Meta 官方网站

https://ai.meta.com/llama/

看了一下，这个只是对国外的开源模型的对比，没有国内中文的模型，也没有闭源的ChatGPT，Bard，Claude。‍‍

怎么和 LLaMA 2 聊天

Llama 2 Chat 是一个可开源的对话模型。要与 Llama 2 Chat 进行有效互动，用户需要提供适当的提示词，以获得合乎逻辑且有帮助的回复。Meta 并未选择最简单的提示词结构（不知道缘由）。

以下是单轮和多轮对话的提示词样式。

单轮对话

<s>[INST] <<SYS>>
{{ system_prompt }}
<</SYS>>

{{ user_message }} [/INST]

多轮对话

<s>[INST] <<SYS>>
{{ system_prompt }}
<</SYS>>

{{ user_msg_1 }} [/INST] {{ model_answer_1 }} </s><s>[INST] {{ user_msg_2 }} [/INST] {{ model_answer_2 }} </s><s>[INST] {{ user_msg_3 }} [/INST]

下面是关于提示词更详细的说明

• Llama 2 论文

https://hf.co/papers/2307.09288

• Llama 2 提示词模板

https://gpus.llm-utils.org/llama-2-prompt-template/

如何训练 LLaMA 2

LLaMA 2 是开源的模型，所以我们可以使用 PEFT 等技术进行微调。有大量学习资源可用于训练自己的 LLaMA 2 版本：

• 扩展指引：指令微调 Llama 2

https://www.philschmid.de/instruction-tune-llama-2

• 在 Amazon SageMaker 上微调 Llama 2 (7-70B)

https://www.philschmid.de/sagemaker-llama2-qlora

• 使用 PEFT 技术微调

https://hf.co/blog/zh/llama2#fine-tuning-with-peft

• Meta 提供的 Llama 模型示例以及方案

https://github.com/facebookresearch/llama-recipes/tree/main

• 在本地机器上微调 LLAMA-v2 最简单的方法！

https://www.youtube.com/watch?v=3fsn19OI_C8

如何部署 LLaMA 2

LLaMA 2 可以部署在本地环境（参考：llama.cpp），使用Hugging Face Inference Endpoints等托管服务部署，或通过 AWS、Google Cloud 和 Microsoft Azure 等云平台。

• llama.cpp

https://github.com/ggerganov/llama.cpp

• 使用文本生成接口与推理终端来部署 LLama 2

https://hf.co/blog/llama2#using-text-generation-inference-and-inference-endpoints

• 使用 Amazon SageMaker 部署 LLaMA 2 70B

https://www.philschmid.de/sagemaker-llama-llm

• 在 Mac （M1/M2）上通过 GPU 接口来本地部署 Llama-2-13B-chat

https://gist.github.com/adrienbrault/b76631c56c736def9bc1bc2167b5d129

‍‍‍‍

原文地址（英文）：

https://www.philschmid.de/llama-2

阅读推荐：

OpenAI又推新：使用ChatGPT进行内容审核

中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用

OpenAI 或于 2024 年底破产？外媒也这么爱标题党

LLama2详细解读 | Meta开源之光LLama2是如何追上ChatGPT的？

ChatGPT 的“自定义”功能对免费用户开放，在问题信息不足情况下还会反问来获取必要信息

ChatGLM团队发布AI Agent能力评测工具AgentBench：GPT-4一骑绝尘，开源模型表现非常糟糕！

ChatGPT 微信助手上线！问答更便捷，功能持续升级中。