模型多样性能好，语言应用没烦恼 | 开源专题 No.71

facebookresearch/llamahttps://github.com/facebookresearch/llama

Stars: 36.0k License: NOASSERTION

LLaMA 2 是一个开源项目，用于加载 LLaMA 模型并进行推理。

该项目的主要功能是提供预训练和微调后的 LLaMA 语言模型的权重和起始代码。这些模型参数范围从 7B 到 70B 不等。

以下是该项目的关键特性和核心优势：

• 支持多种规模 (7B、13B 和 70B) 的语言模型。
• 所有模型都支持最长 4096 个标记长度，并根据硬件配置预分配缓存空间。
• 预训练版本适用于文本补全任务，需要按照指定格式输入提示以获得期望答案作为自然延伸。
• 微调聊天版可以应用在对话场景中，在输入输出上遵循特定格式定义来获取所需功能与性能。

QwenLM/Qwenhttps://github.com/QwenLM/Qwen

Stars: 8.2k License: Apache-2.0

Qwen 是由阿里云提出的聊天和预训练大型语言模型的官方存储库。 该项目主要功能、关键特性、核心优势包括：

• 提供了强大的基础语言模型，覆盖多个领域和语言（重点是中文和英文），在基准数据集上表现出竞争力
• 提供了与人类偏好对齐的聊天模型，能够进行对话、创作内容、提取信息等，并且能够使用工具或扮演代理人角色
• 支持不同规模的预训练模型，并提供量化版本以及推理性能统计等详细信息
• 提供了快速入门指南、微调教程以及部署说明等相关资源
• 在一系列基准数据集上，Qwen 模型在自然语言理解、数学问题求解等任务上表现优异，超过了类似规模基线模型。

openlm-research/open_llamahttps://github.com/openlm-research/open_llama

Stars: 6.8k License: Apache-2.0

OpenLLaMA 是 Meta AI 的 LLaMA 大型语言模型的开源复制品，提供了一系列 3B、7B 和 13B 模型，并在不同数据混合下进行训练。该项目发布了 PyTorch 和 JAX 格式的预训练 OpenLLaMA 模型权重，并与原始 LLaMA 模型进行评估比较。其 v2 版本优于使用不同数据混合方式训练的旧版 v1 模型。

SCIR-HI/Huatuo-Llama-Med-Chinesehttps://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese

Stars: 3.8k License: Apache-2.0

本项目是一个开源的中文医学知识指令微调大语言模型集。主要功能是通过基于医学知识图谱和医学文献构建数据集，并对各种基础模型进行指令微调，以提高在医疗领域问答效果。该项目的核心优势和特点包括：

• 提供了多个基于不同数据来源进行指令微调的大语言模型
• 使用半精度 LoRA 方式进行训练，在计算资源与性能之间取得平衡
• 支持活字、Bloom、Alpaca-Chinese 等多种基础模型
• 提供 LoRA 权重文件下载并解压使用

lyogavin/Animahttps://github.com/lyogavin/Anima

Stars: 1.2k License: Apache-2.0

Anima 是一个开源的基于 QLoRA 的 33B 中文大语言模型，支持了基于 DPO 的对齐训练。该项目具有以下核心优势和特点：

• 支持 100K 输入长度：可以将整个知识库或一本书直接放入 Prompt 进行处理。
• 基于 QLoRA 的 DPO RLHF 实现：提供最新、高效且傻瓜化的 RLHF 训练方法，使得使用 GPU 机器即可完成 33B 模型的 DPO 训练。
• 开源大语言模型：通过堆叠各种最新技术 (如 XEntropy、Paged 8bit Adamw、LORA 和 Flashattention2)，并针对长输入做出修改定制，在单卡上就能够进行 100k 窗口大小下的训练和推理。