腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
SimpleAI
专栏成员
举报
104
文章
157773
阅读量
37
订阅数
订阅专栏
申请加入专栏
全部文章(104)
NLP 服务(27)
其他(21)
深度学习(18)
网络安全(18)
https(18)
机器学习(17)
神经网络(17)
编程算法(17)
人工智能(12)
模型(9)
数据(7)
批量计算(5)
python(4)
linux(4)
pytorch(4)
css(3)
html(3)
git(3)
开源(3)
论文(3)
node.js(2)
github(2)
腾讯云测试服务(2)
numpy(2)
决策树(2)
keras(2)
数据结构(2)
chatgpt(2)
data(2)
distribution(2)
embedding(2)
label(2)
lm(2)
model(2)
测试(2)
基础(2)
LoRa(2)
LLM(2)
数据挖掘(1)
tensorflow(1)
java(1)
go(1)
ide(1)
api(1)
搜索引擎(1)
容器镜像服务(1)
日志服务(1)
访问管理(1)
机器翻译(1)
短信(1)
企业(1)
容器(1)
serverless(1)
强化学习(1)
kernel(1)
模式识别(1)
微信(1)
windows(1)
特征工程(1)
jupyter notebook(1)
background(1)
detection(1)
event(1)
events(1)
global(1)
gpt(1)
input(1)
ld(1)
local(1)
lstm(1)
matrix(1)
mnist(1)
target(1)
zero(1)
函数(1)
互联网(1)
开发(1)
框架(1)
设计(1)
实践(1)
数学(1)
搜索(1)
统计(1)
性能(1)
异常(1)
搜索文章
搜索
搜索
关闭
好样本,事半功倍:使用样本设计工程 (SDE) 来构造更好的大模型下游微调样本
数据
性能
论文
模型
设计
关注我公众号的朋友们,抱歉了,转眼本号已经断更了9个月了,这大半年一直很忙,实习、写博士论文,更重要的是我角色转变了——当爹了!所以得忙着照顾老婆孩子哈哈,实在没空没心思提笔写文章了。
beyondGuo
2024-04-26
248
0
【它真来了吗?RulaiGPT:如~来~】训练一个如来GPT,发现事情并没有那么简单...
gpt
基础
论文
模型
数据
这个小项目是基于我最近的一个Github —— LLM-Tuning 实现的,本文涉及到的相关的代码、数据集、教程都在仓库里,建议点个Star⭐️后配合本文食用😃🫡:
beyondGuo
2023-09-12
314
0
SUFE AI Lab@KDD'23:一种基于异常得分分布的通用损失函数
函数
框架
模型
数据
异常
https://kdd.org/kdd2023/research-track-papers/
beyondGuo
2023-09-01
367
0
基于 LoRA 的 RLHF: 记一次不太成功但有趣的百川大模型调教经历
强化学习
model
模型
数据
LoRa
为了节省训练资源,快速了解整个 RLHF 的过程,我这里每一步的训练,都采用 LoRA 微调的方式:使用 LoRA 进行 SFT,使用 LoRA 训练 Reward Model,以及使用 LoRA 来进行强化学习 PPO 过程。
beyondGuo
2023-09-01
1.9K
0
使用 HC3 数据集来让 baichuan-7B 有对话能力
短信
基础
开发
模型
数据
baichuan-7B 是百川智能开发的一个强大的中文基座模型,然后它本身并不具备对话能力。为了让它能够像 ChatGPT 一样进行对话,我们需要进行对话风格的微调。本项目就是一个简单的尝试,通过一万多条对话数据来使 baichuan-7B 拥有基础的对话能力。
beyondGuo
2023-09-01
430
0
「ChatGPT 对比与检测」研究项目被 LLM@IJCAI'23 收录!研究回顾
chatgpt
测试
模型
数据
LLM
时间过得真快,离当初开始「ChatGPT 对比与检测」这个科研项目已经过去了半年之久,而这半年,正是大模型(LLM)百花齐放、群模乱舞的半年,我当初也想不到,半年时间之内,国内外能突然迸发出这么多表现惊艳的大模型,整个NLP社区的研究范式、应用方式都发生了巨大变化。 (前情提要:首个人类-ChatGPT对比语料集开源!人工测评,语言学分析,检测器模型都在这里)
beyondGuo
2023-09-01
557
0
有趣实验分享 | 百川智能的 baichuan-7B 能猜到我的心思?
搜索引擎
chatgpt
互联网
模型
搜索
昨天的文章里,有一小部分是展示百川智能的 baichuan-7B 的 LoRA 微调 的结果,其中有一个点我在跟实验室里老师同学讨论的时候大家觉得很有意思,这里分享给读者:
beyondGuo
2023-09-01
274
0
两行代码开启 LoRA 微调 && LLM 情感实体抽取实践
模型
实践
数据
LoRa
LLM
仓库地址:https://github.com/beyondguo/LLM-Tuning
beyondGuo
2023-09-01
1.2K
0
大模型思维链经典论文阅读之——Zero-shot CoT, Manual CoT, AutoCoT
zero
测试
论文
模型
数学
ChatGPT 以及 GPT4 作为纯自回归式语言模型,本不应该期待其有什么推理能力,尤其是数学推理,但是他们在基础的推理任务上却十分让我们惊艳(当然肯定不能作为专业的数学解题工具),这让我们非常好奇大模型(LLM)这么多参数里面到底藏了些什么好东西,怎么去激发大模型的潜能给我们带来更多惊喜。
beyondGuo
2023-09-01
2K
0
OpenAI是如何“魔鬼调教” GPT的?——InstructGPT论文解读
api
NLP 服务
ChatGPT的论文尚未放出,也不知道会不会有论文放出,但是根据公开资料显示,其训练方式,跟OpenAI之前的一个工作——InstructGPT基本无异,主要是训练数据上有小的差异,因此我们可以从InstructGPT的论文中,窥探ChatGPT强大的秘密。本文主要(粗略)解读一下InstructGPT的论文——Training language models to follow instructions with human feedback.
beyondGuo
2023-02-13
2.8K
0
作为普通NLP科研人员对ChatGPT的一些思考
NLP 服务
根据媒体报道,ChatGPT全球用户数已经突破了一百万,早早火出了圈。我朋友圈里的做金融的、做健身教练的、做英语培训的,都玩起了ChatGPT,我一个做NLP的,却迟迟没有去体验,主要是因为有一种疲惫感,热点太多了跟不上了。昨天终于觉得,如果再不体验一下,就真的落伍了,无奈国内无法注册,于是找了人在美国刚下飞机的好哥们要了一个手机号,终于顺利注册。
beyondGuo
2023-02-13
780
0
条件语言模型中的OOD检测与选择性生成
background
detection
distribution
embedding
lm
在conditional language model(CLM)任务(主要是summarization,translation)中,而由于language generation主要是通过auto-regressive的方式,错误更容易积累,因此OOD问题可能更严重。
beyondGuo
2023-02-13
1.5K
0
我们开发了第一款中英双语ChatGPT检测器,还有...
https
网络安全
腾讯云测试服务
当晚我很晚才睡着,但是第二天一大早就醒了,兴冲冲得跟几个好友讨论了这个事儿,经过一番讨论,我们觉得这是个有价值的事儿,值得一做!接着我们在一个更大的群里(孤勇AI研究者群hhh),对这个话题展开了热烈讨论。当天晚上,我们便组建了一个由海内外6所高校或企业的博士生/工程师组成的8人团队,为了一个共同的目标:
beyondGuo
2023-02-09
553
0
首个人类-ChatGPT对比语料集开源!人工测评,语言学分析,检测器模型都在这里
https
网络安全
腾讯云测试服务
github
git
我们提出了首个「人类-ChatGPT 问答对比语料集」,也是最早开发ChatGPT检测器的团队,过去40天我们熬了很多夜,除了艰难的数据收集过程,还做了大量人工测评(图灵测试,有用性测试等)、语言学分析以及各种类型的检测器的开发。作为一个纯纯的中国学生团队,甚至多数人最初都素不相识,我们一开始是觉得难以完成最初的设想的,但经过40天的奋战,我们最初想做的基本都做到了,真心为我们团队感到自豪!感谢并肩作战的好兄弟们!❤️❤️ 请大家关注我们的论文: https://arxiv.org/pdf/2301.07597
beyondGuo
2023-02-09
503
0
好久不见,介绍一下,这位是GENIUS:一个基于“草稿”进行文本生成、数据增强的“小天才”模型
https
网络安全
NLP 服务
前言: 朋友们好啊,好久不见。最近半年比较忙,因此好久没有更新了。今年3月份,我开始了在MSRA NLC组的研究实习,如今转眼已经过去了9个月。这也是我读博士以来目前压力最大的一段时光,中间也有很多故事,这里暂不赘述,等日后有闲心了再详细分享给大家。 今天想跟大家简单介绍一下我这过去9个月“养”出的一个模型——GENIUS。非常感激MSRA的老师们和我们上财AI实验室的导师们在这期间给予的指导和鼓励,感谢老婆在封城期间操劳家里的一切柴米油盐让我全身心科研,当然还有很多同学给予的帮助,这里就不一一列举啦。
beyondGuo
2022-12-01
566
0
Mixture-of-Experts (MoE) 经典论文一览
https
网络安全
最近接触到 Mixture-of-Experts (MoE) 这个概念,才发现这是一个已经有30多年历史、至今依然在被广泛应用的技术,所以读了相关的几篇经典论文,在这里总结一下。
beyondGuo
2022-12-01
1.9K
0
Google的 Pathways(理想)与 PaLM(现实)
https
网络安全
2022年3月,Google发布了Pathways系统,用于更高效地训练大型模型:
beyondGuo
2022-11-30
555
0
数据地图---使用Training Dynamics来映射和诊断数据集
github
https
git
开源
网络安全
最近看到一篇很有趣的文章,发表于EMNLP-20,作者团队主要来自AllenAI:
beyondGuo
2022-11-30
494
0
盘点Controllable Text Generation(CTG)的进展
NLP 服务
linux
A Survey of Controllable Text Generation using Transformer-based Pre-trained Language Models,一篇2022年1月上传到Arxiv上的一篇综述文章,作者团队里面有周明和宋大为两个大佬。(比较奇怪的是论文使用的是ACM Journal的模板,还有DOI号,但是搜索DOI却发现是另外一篇无关的文章,所以不知道这个文章到底发表在哪里、有无发表。但不管怎么,这依然是一篇很好的综述,对可控制的文本生成这个领域的工作做了很好的梳理和总结,值得一读。)
beyondGuo
2022-04-19
819
0
LAMBADA——用GPT-2来做文本数据增强
NLP 服务
深度学习
本文提出的方法称为language-model-based data augmentation(LAMBADA)。
beyondGuo
2022-04-19
966
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档