NLP/KG-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

NLP/KG

专栏成员

675

文章

717009

阅读量

58

订阅数

LLM技术全景图：技术人必备的技术指南，一张图带你掌握从基础设施到AI应用的全面梳理

数据库编程工具模型 LLM

LLM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”，不求从 LLM 产业角度汇聚信息，而是希望让从事相关工作或是想了解 LLM 的技术人有一个快速感知。

汀丶人工智能

2024-06-25

1910

揭秘In-Context Learning(ICL)：大型语言模型如何通过上下文学习实现少样本高效推理[示例设计、ICL机制详解]

模型排序设计数据测试

自GPT-3首次提出了In-Context Learning(ICL)的概念而来，ICL目前已经变成了一种经典的LLMs使用方法。ICL，即In-Context Learning，是一种让大型语言模型（LLMs）通过少量标注样本在特定任务上进行学习的方法。这种方法的核心思想是，通过设计任务相关的指令形成提示模板，利用少量标注样本作为提示，引导模型在新的测试数据上生成预测结果。

汀丶人工智能

2024-06-15

2940

解锁LLMs的“思考”能力：Chain-of-Thought(CoT) 技术推动复杂推理的新发展

模型排序数据测试论文

Chain-of-Thought(CoT)是一种改进的Prompt技术，目的在于提升大模型LLMs在复杂推理任务上的表现，如算术推理（arithmetic reasoning）、常识推理（commonsense reasoning）、符号推理（symbolic reasoning）。

汀丶人工智能

2024-06-15

1900

SSH密钥认证：实现远程服务器免密登录的两种方法|Linux scp命令详解：高效实现文件与目录的远程传输

linux ssh scp 登录服务器

简介：服务器之间经常需要有一些跨服务器的操作，此时就需要我们在一台服务器上登录到另外一台服务器，若是人为操作时我们都可以每次输入密码进行远程登录，但要是程序需要跨服务器时，每次输入密码就不现实了，所以我们需要免密登录

汀丶人工智能

2024-06-13

750

告别繁琐，Apifox让API开发、测试更轻松！Apifox = Postman + Swagger + Mock + JMeter API 设计、开发、测试一体化协作平台

设计 api mock 测试开发

Apifox 是集 API 文档、API 调试、API Mock、API 自动化测试多项实用功能为一体的 API 管理平台，定位为 Postman + Swagger + Mock + JMeter。旨在通过一套系统、一份数据，解决多个工具之间的数据同步问题。只需在 Apifox 中定义 API 文档；API 调试、API 数据 Mock、API 自动化测试等功能就可以直接使用，无需再次定义。API 文档和 API 开发调试流程在同一个工具内闭环，API 调试完成后即可确保与 API 文档定义完全一致。高效、及时、准确！

汀丶人工智能

2024-06-06

2350

掌握Postman，轻松调试POST与GET接口：详细安装与实战教程，让你的API测试更高效

测试教程接口调试 postman

用户在开发或者调试网络程序或者是网页 B/S 模式的程序的时候是需要一些方法来跟踪网页请求的，用户可以使用一些网络的监视工具比如著名的 Firebug等网页调试工具。今天给大家介绍的这款网页调试工具不仅可以调试简单的 css、html、脚本等简单的网页基本信息，它还可以发送几乎所有类型的 HTTP 请求！Postman 在发送网络 HTTP 请求方面可以说是 Chrome 插件类产品中的代表产品之一。

汀丶人工智能

2024-06-06

2150

远程工作利器：高效指南教你如何在Linux服务器上部署Jupyter Notebook并实现安全远程访问

远程工作 linux 安全部署服务器

pip 是 Python 的包管理工具，用于安装和管理 Python 库。在终端中运行以下命令来安装 pip：

汀丶人工智能

2024-05-30

6440

LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战

swift model 部署模型 LLM

使用LoRA进行微调的模型你需要先merge-lora, 产生完整的checkpoint目录.

汀丶人工智能

2024-05-29

3120

LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践

代码演示：使用 ModelScope NoteBook 完成语言大模型，视觉大模型，音频大模型的推理

汀丶人工智能

2024-05-28

3370

LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]

实践性能优化部署框架

训练后的模型会用于推理或者部署。推理即使用模型用输入获得输出的过程，部署是将模型发布到恒定运行的环境中推理的过程。一般来说，LLM的推理可以直接使用PyTorch代码、使用VLLM/XInference/FastChat等框架，也可以使用llama.cpp/chatglm.cpp/qwen.cpp等c++推理框架。

汀丶人工智能

2024-05-28

3.7K0

LLM 大模型学习必知必会系列(九)：Agent微调最佳实践，用消费级显卡训练属于自己的Agent！

最佳实践 LLM agent 模型手机

SWIFT支持了开源模型，尤其是中小型模型（7B、14B等）对Agent场景的训练，并将loss-scale技术应用到agent训练中，使中小模型API Call能力更稳定，并支持使用单张商业级显卡进行Agent推理和部署，可以直接在生产场景中全链路闭环落地使用。

汀丶人工智能

2024-05-26

2970

LLM 大模型学习必知必会系列(八)：10分钟微调专属于自己的大模型

model 模型研发 LLM global

提示: 因为自我认知训练涉及到知识编辑, 建议对MLP加lora_target_modules. 你可以通过指定--lora_target_modules ALL在所有的linear层(包括qkvo以及mlp)加lora. 这通常是效果最好的.

汀丶人工智能

2024-05-26

1970

LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南

LoRa LLM 分布式高性能模型

指令微调阶段使用了已标注数据。这个阶段训练的数据集数量不会像预训练阶段那么大，最多可以达到几千万条，最少可以达到几百条到几千条。指令微调可以将预训练的知识“涌现”出来，进行其他类型的任务，如问答类型的任务。一般指令微调阶段对于在具体行业上的应用是必要的，但指令微调阶段一般不能灌注进去新知识，而是将已有知识的能力以某类任务的形式展现出来。

汀丶人工智能

2024-05-26

2040

LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ）

模型数据算法 LLM 量化

模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。

汀丶人工智能

2024-05-26

3940

LLM 大模型学习必知必会系列(五)：数据预处理(Tokenizer分词器)、模板（Template）设计以及LLM技术选型

模型设计数据数据预处理 LLM

在模型训练过程中，数据及数据处理是最为重要的工作之一。在当前模型训练流程趋于成熟的情况下，数据集的好坏，是决定了该次训练能否成功的最关键因素。

汀丶人工智能

2024-05-26

1.3K0

LLM 大模型学习必知必会系列(四)：LLM训练理论篇以及Transformer结构模型详解

编码论文模型数据 LLM

深度学习领域所谓的“模型”，是一个复杂的数学公式构成的计算步骤。为了便于理解，我们以一元一次方程为例子解释：

汀丶人工智能

2024-05-26

6120

LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践

LLM model 创业模型实践

代码演示：使用 ModelScope NoteBook 完成语言大模型，视觉大模型，音频大模型的推理

汀丶人工智能

2024-05-26

4880

LLM 大模型学习必知必会系列(十一)：大模型自动评估理论和实战以及大模型评估框架详解

性能 LLM 框架模型数据

大语言模型（LLM）评测是LLM开发和应用中的关键环节。目前评测方法可以分为人工评测和自动评测，其中，自动评测技术相比人工评测来讲，具有效率高、一致性好、可复现、鲁棒性好等特点，逐渐成为业界研究的重点。

汀丶人工智能

2024-05-26

1.3K0

LLM 大模型学习必知必会系列(十)：基于AgentFabric实现交互式智能体应用,Agent实战

数据 LLM agent 工具模型

**Modelscope **是一个交互式智能体应用基于ModelScope-Agent，用于方便地创建针对各种现实应用量身定制智能体，目前已经在生产级别落地。AgentFabric围绕可插拔和可定制的LLM构建，并增强了指令执行、额外知识检索和利用外部工具的能力。AgentFabric提供的交互界面包括：

汀丶人工智能

2024-05-26

2800

新一代AI搜索引擎神器推荐及效果测试：秘塔AI、天工AI、Perplexity等

回到搜索引擎本身，搜索引擎的早期出现是为了解决互联网上信息过载的问题。随着互联网的快速发展，越来越多的网页被创建并发布，用户需要一种有效的方式来找到他们感兴趣的信息。因此，搜索引擎的出现提供了一种更便捷、更高效的方式来检索互联网上的信息但是，搜索的本质在于以最少的信息输入，获取到最精准的结果。用户希望直接搜索最终的答案，例如用户问：“AI搜索引擎有哪些？”，希望得到对事物的精准描述——BingAI、Monica...，而非返回很多页面，让用户自己从众多页面中寻找正确答案。

汀丶人工智能

2024-05-21

8960

点击加载更多

社区活动

AI代码助手快速上手训练营

鹅厂大牛带你玩转AI智能结对编程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态