程序生活-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

程序生活

专栏成员

447

文章

488159

阅读量

57

订阅数

【RAG入门教程05】Langchian框架-Vector Stores

vector 框架模型搜索存储

向量存储旨在高效处理大量向量，提供根据特定标准添加、查询和检索向量的功能。它可用于支持语义搜索等应用程序，在这些应用程序中，您可以查找与给定查询在语义上相似的文本段落或文档。

2024-06-10

1510

【RAG入门教程04】Langchian的文档切分

text 管理函数字符串 header

在 Langchain 中，文档转换器是一种在将文档提供给其他 Langchain 组件之前对其进行处理的工具。通过清理、处理和转换文档，这些工具可确保 LLM 和其他 Langchain 组件以优化其性能的格式接收数据。

2024-06-10

1360

【RAG入门教程03】Langchian框架-文档加载

data document loader 框架数据

Langchain 使用文档加载器从各种来源获取信息并准备处理。这些加载器充当数据连接器，获取信息并将其转换为 Langchain 可以理解的格式。

2024-06-10

1060

【RAG入门教程02】Langchian的Embedding介绍与使用

存储 csv data document embedding

词向量是 NLP 中的一种表示形式，其中词汇表中的单词或短语被映射到实数向量。它们用于捕获高维空间中单词之间的语义和句法相似性。

2024-06-10

1900

【RAG入门教程01】Langchian框架 v0.2介绍

数据搜索存储框架模型

LangChain 是一个开源框架，旨在简化使用大型语言模型 (LLM) 创建应用程序的过程。可以将其想象成一套使用高级语言工具进行搭建的乐高积木。

2024-06-10

1070

【RAG提升技巧】查询改写HyDE

工具技巧数据搜索原理

提高 RAG 推理能力的一个好方法是添加查询理解层 ——在实际查询向量存储之前添加查询转换。以下是四种不同的查询转换：

2024-06-07

1560

【RAG入门必备技能】Faiss框架使用与FaissRetriever实现

索引 self 框架入门搜索

faiss是一个Facebook AI团队开源的库，全称为Facebook AI Similarity Search，该开源库针对高维空间中的海量数据（稠密向量），提供了高效且可靠的相似性聚类和检索方法，可支持十亿级别向量的搜索，是目前最为成熟的近似近邻搜索库

2024-06-06

7710

tree2retriever:面向RAG场景的递归摘要树检索器实现

tree 递归 builder embedding model

2024-05-31

870

【RAG论文】文档树：如何提升长上下文、非连续文档、跨文档主题时的检索效果

论文模型数据性能递归

RAPTOR（Recursive Abstractive Processing for Tree-Organized Retrieval）是一种创建新的检索增强型语言模型，它通过嵌入、聚类和摘要文本模块来构建一个从底层到高层具有不同摘要层的树状结构。这种方法允許模型在推理时从这棵树中检索信息，实现跨文本的不同抽象层的整合。RAPTOR的相关性创新在于它构建了文本摘要的方法，以不同尺度检索上下文的能力，并在多个任务上展示超越传统检索增强语言模型的性能。

2024-05-30

3300

【RAG论文】检索信息中的噪音是如何影响大模型生成的？

模型数据系统性能论文

本篇论文探讨了RAG系统中的检索对系统性能的影响。与传统的大型语言模型相比，RAG系统通过引入外部数据提高了其生成能力。然而，大多数关于RAG系统的研究主要集中在语言模型的生成方面，而忽略了IR的作用。通过对各种元素进行评估，如文档的相关性、位置和数量等，发现包含不相关文档可以意外地提高准确性超过30％。

2024-05-28

960

【RAG论文】RAG中半结构化数据的解析和向量化方法

表格量化论文模型结构化数据

论文题目：《A Method for Parsing and Vectorization of Semi-structured Data used in Retrieval Augmented Generation》

2024-05-13

2830

【中科院计算所】WSDM 2024冠军方案：基于大模型进行多文档问答

模型设计数据性能字符串

会话式多文档问答旨在根据检索到的文档以及上下文对话来回答特定问题。在本文中，我们介绍了 WSDM Cup 2024 中“对话式多文档 QA”挑战赛的获胜方法，该方法利用了大型语言模型 (LLM) 卓越的自然语言理解和生成能力。

2024-03-01

5890

vllm的SamplingParams参数

prompt text 部署 model output

2024-02-03

5120

500行Python代码构建的AI搜索工具!

python 开源工具模型搜索

一个500行Python代码构建的AI搜索工具，而且还会开源，试了一下麻雀虽小该有的都有。

2024-01-27

1480

推荐两个工具：DeepSpeed-FastGen和DataTrove

服务工具工作模型系统

GPT-4 和 LLaMA 等大型语言模型 (LLM) 已成为服务于各个级别的人工智能应用程序的主要工作负载。从一般聊天模型到文档摘要，从自动驾驶到软件堆栈每一层的副驾驶，大规模部署和服务这些模型的需求猛增。虽然 DeepSpeed、PyTorch 等框架可以在 LLM 训练期间定期实现良好的硬件利用率，但这些应用程序的交互性和开放式文本生成等任务的较差算术强度已成为现有系统中推理吞吐量的瓶颈。

2024-01-21

3640

使用KTO进行更好、更便宜、更快速的LLM对齐

数据性能优化 LLM 模型

KTO全称为Kahneman-Tversky Optimisation，这种对齐方法使在我们的数据上对大型语言模型（LLM）进行对齐变得前所未有地容易和便宜，而且不会损害性能。大型语言模型的成功在很大程度上得益于与人类反馈的对齐。如果ChatGPT曾经拒绝回答您的问题，很可能是因为它被训练为避免说出有争议的内容。然而，对于公司来说，对他们自己的LLM进行对齐一直是困难的。下面我们简单介绍下KTO方法，这种方法可以提高LLM的整体性能和质量，同时节省成本。

2024-01-20

8560

RLHF 和 DPO：简化和增强语言模型的微调

人工智能强化学习模型数据优化

人类反馈强化学习 (RLHF) 是人工智能领域的一种前沿方法，它利用人类偏好和指导来训练和改进机器学习模型。 RLHF的核心是一种机器学习范式，它结合了强化学习和监督学习的元素，使人工智能系统能够以更加人性化的方式学习和做出决策。 RLHF的重要性在于它有可能解决人工智能中的一些基本挑战，例如需要模型来理解和尊重人类的价值观和偏好。传统的强化学习模型通过与环境交互产生的奖励来学习，而 RLHF 则不同，它引入了人类反馈作为宝贵的指导来源。这种反馈可以帮助人工智能系统导航复杂的决策空间，与人类价值观保持一致，并做出更明智和道德的选择。RLHF 已经在从自然语言处理和推荐系统到机器人和自动驾驶汽车的广泛领域中找到了应用。通过将人类反馈纳入训练过程，RLHF有能力提高模型性能，增强用户体验，并为人工智能技术的负责任发展做出贡献。

2024-01-18

2.4K0

RAG常见七大坑

论文模型系统测试代理

这篇论文主要探讨了构建检索增强生成系统（Retrieval Augmented Generation, RAG）时可能遇到的七个失败点。论文通过三个案例研究来展示这些失败点，并分享了作者团队的经验和教训。

2024-01-16

3720

大模型关于Lora论文集合

集合论文模型优化 LoRa

论文地址：https://arxiv.org/pdf/2401.04151.pdf

2024-01-12

2980

【LLM 论文阅读】NEFTU N E: LLM微调的免费午餐

论文模型数据性能 LLM

指令微调对于训练llm的能力至关重要，而模型的有用性在很大程度上取决于我们从小指令数据集中获得最大信息的能力。在本文中，我们提出在微调正向传递的过程中，在训练数据的嵌入向量中添加随机噪声，论文实验显示这个简单的技巧可以提高指令微调的效果，通常有很大的优势，而不需要额外的计算或数据开销。

2024-01-10

2950

点击加载更多

社区活动

AI代码助手快速上手训练营

鹅厂大牛带你玩转AI智能结对编程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态