腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
小七的各种胡思乱想
专栏成员
举报
106
文章
202376
阅读量
56
订阅数
订阅专栏
申请加入专栏
全部文章（106）
NLP 服务（52）
nlp（26）
prompt（26）
LLM（22）
机器学习（18）
chatgpt（17）
tensorflow（11）
深度学习（11）
自然语言处理（10）
数据挖掘（6）
推荐系统（6）
agent（6）
github（4）
决策树（4）
神经网络（3）
编程算法（3）
pytorch（3）
第二期热点征文-人工智能（3）
git（2）
人工智能（2）
serverless（2）
开源（2）
数据分析（2）
https（2）
token（2）
2023腾讯·技术创作特训营 第二期（2）
2023腾讯·技术创作特训营 第三期（2）
2023腾讯·技术创作特训营 第四期（2）
python（1）
bootstrap（1）
apt-get（1）
命令行工具（1）
网络安全（1）
强化学习（1）
正则表达式（1）
markdown（1）
大数据（1）
数据可视化（1）
腾讯云开发者社区（1）
entity（1）
hidden（1）
key（1）
label（1）
lm（1）
mask（1）
pipeline（1）
size（1）
text（1）
title（1）
腾讯技术创作特训营S7（1）
搜索文章
搜索
搜索
关闭
解密prompt系列42. LLM通往动态复杂思维链之路
LLM
最近大家都在探讨和尝试复现OpenAI O1的思考效果，解码出的关键技术方向，包括之前已经探讨过的Inference Time Scaling在推理过程中进行路径决策和选择。但想要更优的Inference Time Scaling曲线，前提是模型本身是一个很强的Generator，已经拥有足够的生成合理推理过程的能力，同时还拥有很强的Verifier模型来对推理节点进行打分决策，并且二者可以在少人类监督的条件下不断迭代优化。
风雨中的小七
2024-11-07
86
0
解密prompt系列41. GraphRAG真的是Silver Bullet？
nlp
LLM
这一章我们介绍GraphRAG范式，算着时间也是该到图谱了，NLP每一轮新模型出来后，往往都是先研究微调，然后各种预训练方案，接着琢磨数据，各种主动学习半监督，弱监督，无监督，再之后就到图谱和对抗学习~
风雨中的小七
2024-10-24
211
0
解密prompt系列40. LLM推理scaling Law
nlp
LLM
OpenAI的O-1出现前，其实就有已经有大佬开始分析后面OpenAI的技术路线，其中一个方向就是从Pretrain-scaling，Post-Train-scaling向Inference Scaling的转变，这一章我们挑3篇inference-scaling相关的论文来聊聊，前两篇分别从聚合策略和搜索策略来优化广度推理，最后一篇全面的分析了各类广度深度推理策略的最优使用方案。
风雨中的小七
2024-10-10
311
0
解密prompt系列39. RAG之借助LLM优化精排环节
prompt
LLM
RAG的部分我们之前讨论过信息召回的多样性，信息密度和质量，主要集中在召回，融合，粗排的部分。这一章我们集中看下精排的部分。粗排和精排的主要差异其实在于效率和效果的balance。粗排模型复杂度更低，需要承上启下，用较低复杂度的模型，在大幅度缩小召回候选量级的基础上，和精排的排序一致性做尽可能的对齐，保证精排高质量内容不被过滤。而精排模型复杂度更高，可以使用更复杂的模型来尽可能地拟合最终的目标排序。在RAG任务中，最终目标就是候选内容可以回答问题，客观评估就是推理引用率。
风雨中的小七
2024-09-26
308
0
解密Prompt系列38.多Agent路由策略
nlp
LLM
agent
chatgpt
常见的多智能体框架有几类，有智能体相互沟通配合一起完成任务的例如ChatDev，CAMEL等协作模式, 还有就是一个智能体负责一类任务，通过选择最合适的智能体来完成任务的路由模式，当然还有一些多智能体共享记忆层的复杂交互模式，这一章我们针对智能体路由，也就是选择最合适的智能体来完成任务这个角度看看有哪些方案。
风雨中的小七
2024-09-13
419
2
解密Prompt系列37.RAG之前置决策何时联网的多种策略
nlp
LLM
之前我们分别讨论过RAG中的召回多样性，召回信息质量和密度，还有calibration的后处理型RAG。前置判断模型回答是否要走RAG的部分我们之前只提及了自我矛盾和自我拒绝者两个方案。这一章我们再补充几种RAG前置判断方案。
风雨中的小七
2024-08-29
445
0
解密Prompt系列36. Prompt结构化编写和最优化算法UNIPROMPT
prompt
上一章我们聊了标准化的Prompt生成方案DSPy，但DSPy还是更多依赖few-shot的Prompt编写范式，在纯任务描述型指令上的优化效果有限。这一章我们就重点关注描述性指令优化。我们先简单介绍下结构化Prompt编写，再聊聊从结构化多角度进行Prompt最优化迭代的算法方案UniPrompt
风雨中的小七
2024-08-14
440
0
解密prompt系列35. 标准化Prompt进行时！ DSPy论文串烧和代码示例
prompt
一晃24年已经过了一半，我们来重新看下大模型应用中最脆弱的一环Prompt Engineering有了哪些新的解决方案。这一章我们先看看大火的DSPy框架，会先梳理DSPy相关的几篇核心论文了解下框架背后的设计思想和原理,然后以FinEval的单选题作为任务，从简单指令，COT指令，到采样Few-shot和优化指令给出代码示例和效果评估。
风雨中的小七
2024-08-01
884
3
解密prompt系列34. RLHF之训练另辟蹊径：循序渐进 & 青出于蓝
LLM
前几章我们讨论了RLHF的样本构建优化和训练策略优化，这一章我们讨论两种不同的RL训练方案，分别是基于过程训练，和使用弱Teacher来监督强Student
风雨中的小七
2024-07-18
357
0
解密Prompt系列33. LLM之图表理解任务-多模态篇
chatgpt
prompt
LLM
上一章我们介绍了纯文本模态的表格理解任务，这一章我们聚焦多模态图表数据。先讨论下单纯使用prompt的情况下，图片和文字模态哪种表格模型理解的效果更好更好，再说下和表格相关的图表理解任务的微调方案。
风雨中的小七
2024-07-04
599
0
解密Prompt系列32. LLM之表格理解任务-文本模态
chatgpt
prompt
LLM
腾讯技术创作特训营S7
这一章我们聊聊大模型表格理解任务，在大模型时代主要出现在包含表格的RAG任务，以及表格操作数据抽取文本对比等任务中。这一章先聊单一的文本模态，既你已经通过OCR或者多模态等方式从PDF或者图片中获取了表格的文本数据。和前文相同，我们分别介绍微调和基于Prompt的两种方案。
风雨中的小七
2024-06-20
722
0
解密Prompt系列31. LLM Agent之从经验中不断学习的智能体
prompt
agent
chatgpt
nlp
Agent智能体的工作流可以简单分成两种：一种是固定的静态工作流，一种是智能体自主决策的动态工作流。
风雨中的小七
2024-06-06
565
0
解密Prompt系列30. LLM Agent之互联网冲浪智能体们
agent
nlp
LLM
这一章我们介绍能自主浏览操作网页的WebAgent和相关的评估数据集，包含初级任务MiniWoB++，高级任务MIND2WEB，可交互任务WEBARENA，多模态WebVoyager，多轮对话WebLINX，和复杂任务AutoWebGLM。
风雨中的小七
2024-05-23
470
0
解密Prompt系列29. LLM Agent之真实世界海量API解决方案：ToolLLM & AnyTool
chatgpt
nlp
LLM
agent
很早之前我们就聊过ToolFormer，Gorilla这类API调用的Agent范式，这一章我们针对真实世界中工具调用的以下几个问题，介绍微调(ToolLLM)和prompt(AnyTool)两种方案。
风雨中的小七
2024-05-09
672
0
解密Prompt系列28. LLM Agent之金融领域智能体：FinMem & FinAgent
nlp
LLM
本章介绍金融领域大模型智能体，并梳理金融LLM的相关资源。金融领域的大模型智能体当前集中在个股交易决策这个相对简单的场景，不需要考虑多资产组合的复杂场景。交易决策被简化成市场上各个信息，包括技术面，消息面，基本面等等在不同市场情况下，对资产价格变动正负面影响的综合判断。
风雨中的小七
2024-04-24
1.6K
0
解密prompt系列27. LLM对齐经验之如何降低通用能力损失
LLM
chatgpt
nlp
前面我们已经聊过众多指令微调的方案，这一章我们重点讨论下如何注入某一类任务或能力的同时，尽可能不损失模型原有的通用指令理解能力。因为在下游或垂直领域应用中，我们设计的推理任务风格或形式，往往很难通过prompt来稳定实现。这种情况下就会依赖微调来注入稳定的推理风格，但同时在部分场景下我们又需要模型微调前的通用指令理解能力。虽然理论上说有得必有失，但成年人真的不想做选择！这里我们讨论两种方案，来尽可能降低通用能力的损失，一种数据方案，一种训练方案。
风雨中的小七
2024-04-10
761
0
解密prompt25. RLHF改良方案之样本标注：RLAIF & SALMON
chatgpt
nlp
prompt
LLM
上一章我们主要唠了RLHF训练相关的方案，这一章我们主要针对RLHF的样本构建阶段，引入机器标注来降低人工标注的成本。主要介绍两个方案：RLAIF,和IBM的SALMON。
风雨中的小七
2024-03-20
426
0
解密prompt系列26. 人类思考vs模型思考：抽象和发散思维
nlp
LLM
chatgpt
在Chain of Thought出来后，出现过许多的优化方案例如Tree of thought, Graph of Thought, Algorithm of Thought等等，不过这些优化的出发点都更加"Machine Like",而非"Human Like", 哈哈不是说机器化不好，仅仅是对AGI的一些个人偏好而已。
风雨中的小七
2024-03-06
565
0
解密prompt24. RLHF新方案之训练策略：SLiC-HF & DPO & RRHF & RSO
LLM
chatgpt
nlp
prompt
解密prompt24. RLHF新方案之训练策略：SLIC-HF & DPO & RRHF & RSO
风雨中的小七
2024-02-21
1K
0
解密Prompt系列23.大模型幻觉分类&归因&检测&缓解方案脑图全梳理
chatgpt
nlp
自然语言处理
LLM
上一章我们主要聊聊RAG场景下的幻觉检测和解决方案，这一章我们单独针对大模型的幻觉问题，从幻觉类型，幻觉来源，幻觉检测，幻觉缓解这四个方向进行整理。这里就不细说任意一种方法了，因为说不完根本说不完，索性用脑图概览式地看下整个大模型幻觉领域。主要参考以下两篇论文
风雨中的小七
2024-01-11
1.4K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪，探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
