《书生·浦语大模型实战营》第一课 学习笔记：书生·浦语大模型全链路开源体系

1. 简介与背景

一直比较关注LLM 相关内容的业界进展，所以特定来参加这个训练营《书生·浦语大模型实战营》，动手学习LLM，看看大模型生态链中具体的最佳实践(Best Practice)，很早的时候GPT3.5 时代，我只是注意到了他的发布，之前的聊天机器人还是这么个架构

智能聊天机器人与大语言模型

ChatGPT在效果强大的GPT 3.5大规模语言模型（LLM，Large Language Model）基础上，引入“人工标注数据+强化学习”（RLHF，Reinforcement Learning from Human Feedback ，这里的人工反馈其实就是人工标注数据）来不断Fine-tune预训练语言模型，主要目的是让LLM模型学会理解人类的命令指令的含义（比如给我写一段小作文生成类问题、知识回答类问题、头脑风暴类问题等不同类型的命令），以及让LLM学会判断对于给定的prompt输入指令（用户的问题），什么样的答案是优质的（富含信息、内容丰富、对用户有帮助、无害、不包含歧视信息等多种标准）。

ChatGPT 使用来自人类反馈的强化学习进行训练，这种方法通过人类干预来增强机器学习以获得更好的效果。在训练过程中，人类训练者扮演着用户和人工智能助手的角色，并通过近端策略优化算法进行微调。

目前的开源智能聊天机器人与云上运行模式

在人工智能飞速发展的时代，大模型已经成为引领创新和突破的大力推动者。但开发和应用大模型可不是一件容易的事情，需要我们掌握一堆技巧和方法。所以，这次实战营的目标就是让大家能够高效地学习，玩转大模型的微调、部署和评测全套工具。

2. InternLM2 大模型 简介

官网：https://internlm.intern-ai.org.cn/ GitHub: https://github.com/InternLM InternLM2 技术报告【英文版】：https://arxiv.org/pdf/2403.17297.pdf

3. 视频笔记：书生·浦语大模型全链路开源体系

内容要点

1. 大模型成为发展通用人工智能的重要途径
2. 从2023年七月InternLM全面开源到，2024年1月17日开源InternLM2，半年版本一更新

书生浦语 2.0 (InternLM2) 的主要亮点

• 超长上下文200k
• 综合性能全面提升
• 优秀的对话和创作体验
• 工具调用能力整体升级
• 突出的数理能力和实用的数据分析能力

从模型到应用典型流程

全链路开源体系

从实际商业项目的调研来看

• XTuner微调是刚需，特别是LoRA这种低成本微调，能和RAG连续覆盖场景和成本，在一定范围内，预计避免随着数据规模增加出现成本激增的情况
• LMDeploy部署是刚需，从过去二十多年的商业项目经验来看，客户对于部署这类非直接需求的费用比较敏感
• OpenCompass评测是刚需，实际商业项目不需要全方位评测，更多的可能是针对商业项目的需求编写评测集，保障微调达到预期效果
• Lagent和AgentLego是刚需，实际商业项目中需要针对存量数据进行定制开发

4. 论文笔记:InternLM2 Technical Report

论文地址

• https://arxiv.org/pdf/2403.17297.pdf

官方翻译

• https://mp.weixin.qq.com/s/IUUj_CWUJPdrhLq1XAR-KA

中文翻译参考

• https://hub.baai.ac.cn/view/36639

简介

软硬件基础设施 Infrastructure

预训练方法 Pre-train

对齐 Alignment

评价与分析 Evaluation and analysis

数据收集与整理

典型网页内容获取工具：https://trafilatura.readthedocs.io/en/latest/

网上的c++ 代码确实太多了，所以你应该多利用AI帮忙写c++代码

其他学习内容

RAG综述

https://arxiv.org/pdf/2402.19473.pdf

Retrieval-Augmented Generation for AI-Generated Content A Survey

LLM 带给世界的改变！

以下观点来源于 《动手学自然语言处理》书籍首发直播

1. 通过NLP 任务统一了大部分AI 任务
2. 定义问题，解决问题的周期加快
3. 未来能与AI 协作的能力是最重要的能力！

参考文献

课程资源

学员手册

• https://aicarrier.feishu.cn/wiki/KamPwGy0SiArQbklScZcSpVNnTb

算力平台

• https://studio.intern-ai.org.cn/

课程文档

• https://github.com/InternLM/Tutorial/tree/camp2

课程视频

• https://www.bilibili.com/video/BV1Vx421X72D/

代码仓库

• https://github.com/InternLM/Tutorial/tree/camp2

论文

其他参考

胡老师博客：

• 第一课
• https://blog.csdn.net/hu_zhenghui/article/details/138811450