腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
圈层
工具
返回腾讯云官网
数据分析与挖掘
专栏成员
举报
1070
文章
1106347
阅读量
58
订阅数
订阅专栏
申请加入专栏
全部文章（999+）
编程算法（245）
java（165）
网络安全（134）
https（131）
python（113）
html（69）
xml（58）
c++（50）
sql（49）
spring（48）
腾讯云测试服务（44）
go（42）
github（41）
数据库（39）
http（39）
javascript（30）
git（30）
神经网络（29）
深度学习（28）
容器（26）
机器学习（25）
pytorch（24）
tensorflow（23）
numpy（22）
开源（21）
网站（20）
面向对象编程（20）
bash（19）
人工智能（19）
存储（19）
函数（19）
二叉树（18）
模型（18）
linux（16）
hadoop（16）
数据（16）
php（15）
opencv（15）
css（14）
日志服务（14）
mybatis（14）
数据结构（14）
排序（14）
node.js（13）
打包（13）
ide（13）
tcp/ip（13）
django（12）
缓存（12）
model（12）
指针（12）
bash 指令（11）
文件存储（11）
jsp（10）
容器镜像服务（10）
json（9）
android（9）
api（9）
int（9）
vue.js（8）
maven（8）
token（8）
NLP技术（7）
servlet（7）
jar（7）
批量计算（7）
对象（7）
语法（7）
云数据库 SQL Server（6）
云数据库 Redis®（6）
tomcat（6）
class（6）
队列（6）
命令行（6）
注解（6）
jdk（5）
keras（5）
include（5）
ls（5）
max（5）
变量（5）
表单（5）
测试（5）
配置（5）
权限（5）
数据类型（5）
数组（5）
ajax（4）
mvc（4）
mapreduce（4）
爬虫（4）
卷积神经网络（4）
正则表达式（4）
数据分析（4）
add（4）
dataset（4）
map（4）
set（4）
编译（4）
二进制（4）
集合（4）
论文（4）
设计（4）
搜索（4）
统计（4）
性能（4）
jquery（3）
eclipse（3）
unix（3）
分布式（3）
yum（3）
jdbc（3）
线性回归（3）
grep（3）
大数据（3）
虚拟化（3）
ascii（3）
com（3）
config（3）
epoch（3）
error（3）
file（3）
init（3）
list（3）
native（3）
path（3）
public（3）
self（3）
static（3）
遍历（3）
编码（3）
服务器（3）
连接（3）
优化（3）
终端（3）
字符串（3）
费用中心（2）
数据挖掘（2）
c#（2）
bootstrap（2）
typescript（2）
matlab（2）
中文分词（2）
访问管理（2）
yarn（2）
shell（2）
图像识别（2）
dns（2）
决策树（2）
npm（2）
markdown（2）
rabbitmq（2）
socket编程（2）
unicode（2）
Elasticsearch Service（2）
absolute（2）
algorithm（2）
bind（2）
centos7（2）
count（2）
cpu（2）
default（2）
email（2）
factory（2）
gpt（2）
hidden（2）
integer（2）
key（2）
label（2）
leetcode（2）
mask（2）
matrix（2）
mean（2）
nlp（2）
object（2）
output（2）
position（2）
precision（2）
private（2）
properties（2）
random（2）
request（2）
return（2）
scanf（2）
select（2）
sh（2）
size（2）
sort（2）
stack（2）
state（2）
stl（2）
super（2）
text（2）
time（2）
tree（2）
txt（2）
typedef（2）
url（2）
百度（2）
编译器（2）
磁盘（2）
管理（2）
基础（2）
接口（2）
进程（2）
浏览器（2）
内存（2）
内核（2）
前端（2）
事件（2）
视频（2）
数据同步（2）
效率（2）
对象存储（1）
ios（1）
c 语言（1）
perl（1）
.net（1）
scala（1）
r 语言（1）
ecmascript（1）
嵌入式（1）
access（1）
flask（1）
struts（1）
ubuntu（1）
centos（1）
apache（1）
nginx（1）
命令行工具（1）
NAT 网关（1）
知识图谱（1）
图像处理（1）
渲染（1）
vr 视频解决方案（1）
webpack（1）
xslt & xpath（1）
serverless（1）
游戏（1）
jvm（1）
ssh（1）
hive（1）
hashmap（1）
推荐系统（1）
asp（1）
zookeeper（1）
aop（1）
单元测试（1）
kernel（1）
ntp（1）
数据处理（1）
windows（1）
nat（1）
nest（1）
腾讯云开发者社区（1）
任务调度（1）
防火墙（1）
迁移（1）
模型测试（1）
汽车（1）
教育（1）
abstract（1）
app（1）
asynchronous（1）
axios（1）
backbone（1）
binary（1）
blur（1）
bokeh（1）
boolean（1）
boot（1）
break（1）
bug（1）
cat（1）
chatgpt（1）
chmod（1）
classification（1）
classpath（1）
click（1）
cmd（1）
controller（1）
cookie（1）
cron（1）
crontab（1）
csv（1）
daemon（1）
dao（1）
data（1）
dataflow（1）
date（1）
desktop（1）
detection（1）
devtools（1）
dfs（1）
difference（1）
distributed（1）
double（1）
dp（1）
effects（1）
el（1）
elasticsearch（1）
element（1）
entity（1）
eos（1）
execution（1）
extends（1）
filter（1）
final（1）
fold（1）
footer（1）
foreach（1）
forms（1）
func（1）
function（1）
get（1）
goto（1）
gpu（1）
h2（1）
h2o（1）
hash（1）
having（1）
hdfs（1）
history（1）
identity（1）
image（1）
input（1）
insert（1）
interpolation（1）
intersection（1）
intervals（1）
io（1）
join（1）
kill（1）
latex（1）
layer（1）
layout（1）
line（1）
load（1）
localhost（1）
location（1）
logout（1）
matplotlib（1）
min（1）
mkdir（1）
models（1）
module（1）
monitor（1）
neo4j（1）
null（1）
padding（1）
parameters（1）
pid（1）
png（1）
prediction（1）
prefix（1）
prompt（1）
protected（1）
ps（1）
python3（1）
queue（1）
range（1）
rank（1）
repeat（1）
replace（1）
reshape（1）
response（1）
root（1）
route（1）
rows（1）
rpm（1）
runtime（1）
search（1）
selector（1）
sequence（1）
service（1）
settings（1）
share（1）
shutdown（1）
sql语句（1）
status（1）
string（1）
struct（1）
target（1）
tensor（1）
tensorboard（1）
timeout（1）
title（1）
torch（1）
trie（1）
union（1）
unsigned（1）
vector（1）
view（1）
virtual（1）
watch（1）
web（1）
wiki（1）
word（1）
xpath（1）
zero（1）
表格（1）
博客（1）
部署（1）
操作系统（1）
插件（1）
产品（1）
程序（1）
程序员（1）
代理（1）
代码规范（1）
登录（1）
递归（1）
翻译（1）
工作（1）
工作流（1）
架构（1）
监控（1）
可视化（1）
量化（1）
排序算法（1）
事务（1）
算法（1）
索引（1）
同步（1）
网络（1）
系统（1）
消息队列（1）
研发（1）
异常（1）
硬件（1）
原理（1）
装饰器（1）
作用域（1）
搜索文章
搜索
搜索
关闭
怎么让英文大语言模型支持中文？（三）进行指令微调
dataset
input
token
模型
数据
这里是最后一部分了：怎么让英文大语言模型支持中文？（三）对预训练模型进行指令微调。
西西嘛呦
2023-07-10
1.1K
0
怎么让英文大预言模型支持中文？（二）继续预训练
dataset
model
size
模型
数据
代码已上传到github： https://github.com/taishan1994/chinese_llm_pretrained
西西嘛呦
2023-07-10
1K
0
怎么让英文大预言模型支持中文？（一）构建自己的tokenization
eos
model
self
token
模型
代码地址：https://github.com/taishan1994/sentencepiece_chinese_bpe
西西嘛呦
2023-07-10
2.1K
0
【python】linux下安装python的一般方法
python
linux
python3
编译
连接
下载python 这里以安装python3.7.1为例： wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz 编译和安装python prefix是指定python安装的位置 cd Python-3.7.1 ./configure --prefix=/home/work/envs/python3.7.1 && make && make install 设置软连接 ln -s /home/work/envs/python3.7.1/b
西西嘛呦
2023-05-07
410
0
你还弄不清xxxForCausalLM和xxxForConditionalGeneration吗？
config
hidden
model
self
模型
大语言模型目前一发不可收拾，在使用的时候经常会看到transformers库的踪影，其中xxxCausalLM和xxxForConditionalGeneration会经常出现在我们的视野中，接下来我们就来聊聊transformers库中的一些基本任务。
西西嘛呦
2023-04-27
1.5K
0
LLM（大语言模型）解码时是怎么生成文本的？
model
text
token
模型
搜索
源码地址：transformers/configuration_utils.py at v4.28.1 · huggingface/transformers (github.com)
西西嘛呦
2023-04-27
5.7K
0
1使用accelerate
gpu
磁盘
工作
模型
内存
虽然这对常规大小的模型来说非常有效，但当我们处理一个巨大的模型时，这个工作流程有一些明显的局限性：在第1步，我们在RAM中加载一个完整版本的模型，并花一些时间随机初始化权重（这将在第3步被丢弃）。在第2步，我们在RAM中加载另一个完整版本的模型，并使用预训练的权重。如果你正在加载一个具有60亿个参数的模型，这意味着你需要为每个模型的副本提供24GB的RAM，所以总共需要48GB（其中一半用于在FP16中加载模型）。
西西嘛呦
2023-04-27
2K
0
GPT-NER：通过大型语言模型的命名实体识别
gpt
遍历
论文
模型
数据
讲在前面，chatgpt出来的时候就想过将其利用在信息抽取方面，后续也发现了不少基于这种大语言模型的信息抽取的论文，比如之前收集过的：
西西嘛呦
2023-04-27
1.3K
0
怎么裁剪LLM（大语言模型）的vocab（词表）？
model
path
token
编码
模型
对于一些多语言的大语言模型而言，它的词表往往很大。在下游使用这些模型的时候，可能我们不需要其它的一些语言，例如只需要中文和英文，此时，我们可以对其vocab进行裁剪，既可以大大减少参数量，也能够保留模型的性能，接下来以Bloom模型为例看看是怎么进行操作的。
西西嘛呦
2023-04-27
1.6K
0
你也可以动手参数有效微调：LoRA、Prefix Tuning、P-Tuning、Prompt Tuning
model
prefix
prompt
模型
数据
随着大语言模型的流行，如何让大模型在消费级GPU上进行微调训练成为了热点。掌握参数有效微调成为每个自然语言处理工程师必不可少的技能，正好hugging face开源了一个PEFT库，让我们也能够自己动手去了解参数有效微调。接下来以中文情感分析（二分类）去了解下参数有效微调。
西西嘛呦
2023-04-27
2.4K
0
DyLoRA：使用动态无搜索低秩适应的预训练模型的参数有效微调
基础
模型
排序
搜索
性能
DyLoRA: Parameter-Efficient Tuning of Pretrained Models using Dynamic Search-Free Low Rank Adaptation
西西嘛呦
2023-04-27
1.7K
0
Chinese-LLaMA-Alpaca技术报告
部署
量化
模型
数据
性能
EFFICIENT AND EFFECTIVE TEXT ENCODING FOR CHINESE LL AMA AND ALPACA
西西嘛呦
2023-04-27
1.5K
0
1数据集
开源
模型
数据
效率
性能
Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation
西西嘛呦
2023-04-27
349
0
COIG：开源四类中文指令语料库
开源
翻译
工作流
模型
数据
CHINESE OPEN INSTRUCTION GENERALIST: A PRELIMINARY RELEASE
西西嘛呦
2023-04-27
984
0
用GPT4进行指令微调
开源
gpt
模型
数据
性能
代码：https://instruction-tuning-with-gpt-4.github.io/
西西嘛呦
2023-04-08
1.5K
0
LLaMA：开放和高效的基础语言模型
函数
模型
内存
数据
优化
https://github.com/facebookresearch/llama
西西嘛呦
2023-04-08
1.4K
0
GLM: General Language Model Pretraining with Autoregressive Blank Infilling
编码
架构
论文
模型
设计
ChatGPT已经火了一段时间了，国内也出现了一些平替，其中比较容易使用的是ChatGLM-6B：https://github.com/THUDM/ChatGLM-6B ，主要是能够让我们基于单卡自己部署。ChatGLM的基座是GLM: General Language Model Pretraining with Autoregressive Blank Infilling论文中提出的模型，接下来我们来看看。
西西嘛呦
2023-03-31
2.4K
0
利用ChatGPT进行情感分析
汽车
教育
chatgpt
代理
数据
代码地址：https://github.com/taishan1994/ChatSA
西西嘛呦
2023-03-31
1.6K
0
colab上更换python版本或者换成tensorflow1.x版本
python
tensorflow
目前colab已经不支持使用：%tensorflow_version 1.x来切换使用tensorflow1.x版本了。 解决方法如下：
西西嘛呦
2023-02-23
1.9K
0
PaLM中使用的激活函数：SwiGLU
asynchronous
dataflow
distributed
我们不难发现，激活函数就是对x乘以一些数，以对某些值进行约束。 GLU（Gated Linear Unit），其一般形式为：
西西嘛呦
2023-02-16
4.7K
0
点击加载更多
活动推荐
【玩转 EdgeOne Pages】体验 MCP Server 和 DeepSeek 模板的百变玩法
技术创作特训营 | 33 天实现自己的 AI 进化论
新邀入驻腾讯云开发者社区，福利多多！
社区活动
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
不再提示
