首页
学习
活动
专区
工具
TVP
发布

从流域到海域

专栏成员
443
文章
543234
阅读量
59
订阅数
Rerank进一步提升RAG效果
目前大模型应用中,RAG(Retrieval Augmented Generation,检索增强生成)是一种在对话(QA)场景下最主要的应用形式,它主要解决大模型的知识存储和更新问题。
Steve Wang
2024-05-16
9610
ES相关性计算原理
按相关性排序,返回优先队列顺序长度的结果
Steve Wang
2024-05-05
1170
ES常用查询方式
Elasticsearch(ES)作为功能强大的检索引擎,提供了多种查询方式,在不同的场景下需要选择合适的查询方式以取得最佳查询效果。
Steve Wang
2024-05-03
3420
ES数据存储与查询基本原理
Elasticsearch(ES)是一个分布式、可扩展、近实时的搜索和分析引擎,它基于Lucene,设计用于云计算中,处理大规模文档检索和数据分析任务,常用于实现内部搜索引擎和推荐算法的粗排流程。
Steve Wang
2024-05-03
1.9K0
ES中文检索须知:分词器与中文分词器
分词即为将doc通过Analyzer切分成一个一个Term(关键字),es分词在索引构建和数据检索时均有体现:
Steve Wang
2024-04-22
5570
最强英文开源模型Llama2架构与技术细节探秘
Meta AI于2023年7月19日宣布开源LLaMA模型的二代版本Llama2,并在原来基础上允许免费用于研究和商用。
Steve Wang
2023-11-21
2.3K1
NEFTune: 通过简单的噪声提升指令精调效果
NEFTune指的是Noise Embedding Finetuning(噪声嵌入精调),提出自论文:NEFTune: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING。
Steve Wang
2023-11-17
4350
最强英文开源模型LLaMA架构探秘,从原理到源码
读完本文,你可能觉得LLaMA会开源并不令人惊讶,因为它的架构可以说是站在巨人肩膀上摘苹果——基本上可以说使用其他模型的组件作为“积木”搭了一个新模型出来,并没有太多实质意义上的创新,但这种敢于开源的勇气和做法使得LLaMA足以在大语言模型上的开源发展历程上成为一个标志性的里程碑。
Steve Wang
2023-10-23
3.9K0
Alpaca构建方式探秘:低成本构造指令数据增强LLM
Alpaca是斯坦福大学在Meta开源的大模型LLaMA 7B基础上使用自构建的52K指令数据重新训练得到的增强模型,它的数据构造和训练成本极低,总计约600美元(数据构建500美元+机器训练100美元),效果却逼近OpenAI的text-davinci-003(GPT 3.5),这篇博客和大家一起学习下alpaca的构建方法。
Steve Wang
2023-10-12
6900
50个Linux常用命令行快捷键(大部分适配Mac OS)
Steve Wang
2023-10-12
1.1K0
LangChain 手记 Conclusion结语
本系列短课展示了大量使用LangChain构建的大语言模型应用,包括处理用户反馈、文档上的问答系统甚至使用LLM来决定发起外部工具的调用(比如搜索)来回答复杂问题。
Steve Wang
2023-10-12
1520
LangChain手记 Agent 智能体
“人们有时会将LLM看作是知识库,因为它被训练所以记住了来自互联网或其他地方的海量信息,因而当你向它提问时,它可以回答你的问题。有一个更加有用的认知模式是将LLM看作是一个推理引擎,如果提供给他文本块或者额外信息,它可以利用从互联网或者其他地方学会的背景知识利用新信息来帮助回答问题或者进行文本推理或者执行下一步动作,这正是LangChain的Agent框架能够帮助你完成的。”
Steve Wang
2023-10-12
7310
LangChain手记 Evalutation评估
“从传统开发转换到基于prompt的开发,开发使用LLM的应用,整个工作流的评估方式需要重新考虑,本节会介绍很多激动人心的概念。”
Steve Wang
2023-10-12
3970
LangChain手记 Question Answer 问答系统
本节介绍使用LangChian构建文档上的问答系统,可以实现给定一个PDF文档,询问关于文档上出现过的某个信息点,LLM可以给出关于该信息点的详情信息。这种使用方式比较灵活,因为并没有使用PDF上的文本对模型进行训练就可以实现文档上的信息点问答。本节介绍的Chain也比较常用,它涉及到了嵌入(embedding)和向量存储(vector store)。
Steve Wang
2023-10-12
4340
LangChain手记 Chains
将一个大语言模型和prompt模板组合起来调用LLMChain,即可得到一个LLMChain对象,该对象的run实现的功能即给定输入自动使用prompt模板生成prompt,调用LLM得到回复。
Steve Wang
2023-10-12
2700
LangChain手记 Memory
使用open ai的API调用GPT都是单次调用,所以模型并不记得之前的对话,多轮对话的实现其实是将前面轮次的对话过程保留,在下次对话时作为输入的message数组的一部分,再将新一轮对话的提问也放入message数组,再发起一次API调用,即构手动建对话流(以上笔者注)。
Steve Wang
2023-10-12
3190
LangChain手记 Models,Prompts and Parsers
上图示例使用Thought,Action,Observation作为思维链推理(Chain-of-Thought Reasoning.(ReAct框架))的关键词
Steve Wang
2023-10-12
2130
LangChain手记 Overview
LangChain是为大模型应用开发设计的开源框架 LangChain目前提供Python和JavaScript(TypeScript)两种语言的包 LangChain的主攻方向是聚合和模块化
Steve Wang
2023-10-12
1730
LoRA: 大模型快速训练的秘诀
LoRA的提出在上述PEFT方法之后,来自微软的研究者认为,现有的Adapter Tuning和Prefix Tuning这两种方法均有缺点:
Steve Wang
2023-10-12
8260
大模型基础知识 - 语言模型及其演进 公开版
自然语言处理在大语言模型(Large Language Model, LLM)被提出之后,再次取得重大突破:
Steve Wang
2023-10-12
4320
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档