使用roberta模型无法定义模型.compile或摘要
。
相关·内容
1回答
使用罗伯塔模型进行情感分析无法定义模型.compile或摘要 from transformers import RobertaTokenizer, RobertaForSequenceClassificationfrom transformers import BertConfigrober
浏览 62提问于2021-06-27得票数 0
回答已采纳
我手头有一个文本分类任务，我想使用transformers库中的roberta预训练模型。这里是文档：from transformers import RobertaTokenizer, TFRobertaForSequenceClassificationtokenizer = RobertaTokenizer.from_pretrained('roberta-base')
model = TFRobertaForSequenceClassificati
浏览 13提问于2020-05-16得票数 2
回答已采纳
RobertaTokenizer, TFRobertaModelmodel = TFRobertaModel.from_pretrained("roberta-base")
我需要这个HuggingFace TFRobertaModel()的详细图层摘要，这样我就可以可视化形状我试着挖掘它的不同属性，但无法获得详
浏览 1提问于2022-06-27得票数 1
回答已采纳
我使用“简单转换器”库预训练了新数据的RoBERTa模型：import torch
roberta = to
浏览 0提问于2022-05-23得票数 0
在回顾了一些最近的文献之后，我看到最近有一项专门针对西班牙语文本(roberta-base-bne)的roberta-base-bne模型的培训工作。到目前为止，它似乎比目前最先进的西班牙语建模模型表现得更好。model.comp
浏览 10提问于2021-09-27得票数 4
1回答
我正在尝试从Huggingface的transformers库中导入一个预训练的模型，并使用tensorflow keras对其进行几层扩展以进行分类。当我直接使用transformers模型(方法1)时，该模型训练良好，在1个时期后达到0.93的验证精度。但是，当尝试将该模型用作tf.keras模型中的层时(方法2)，该模型无法达到0.32以上的精度。据我所知，根据文档，这两种方法应该是等效的。TFRobertaForSequenc
浏览 29提问于2020-12-05得票数 2
1回答
我按照这里的指南(，)从头开始训练类似罗伯塔的模型。(使用我自己的令牌程序和数据集)All model checkpoint weights were used whenAll the weights of RobertaForMaskedLM were initialized from the model checkpoint at roberta-base.我想知道这是否意味着我从零开始就开始使用</em
浏览 14提问于2021-10-26得票数 1
回答已采纳
我搞不懂应该用哪一种隐藏状态作为调整后的Roberta变压器模型的输出。("roberta-base", config=config)
我的问题是:我是否应该使用outp
浏览 3提问于2020-08-09得票数 2
我想使用领域语料库(情感相关文本)预训练BERT和RoBERTa传销。使用50k~100k单词需要多长时间。由于RoBERTa没有经过训练来预测下一个句子的目标，比BERT少一个训练目标，并且具有更大的小批量和学习率，我假设RoBERTa会快得多？
浏览 28提问于2020-02-09得票数 1
回答已采纳
1回答
从Roberta模型绘制混淆矩阵
、、、、
我使用Roberta模型编写了包含两个类的文本分类代码，现在我想绘制混淆矩阵。如何绘制基于Roberta模型的混淆矩阵？RobertaTokenizer = RobertaTokenizer.from_pretrained('roberta-base',do_lower_case=False)
roberta_model= TFRobertaForSequenceClassification.from_pretrained('rob
浏览 45提问于2021-07-04得票数 0
1回答
我正在使用转换器，并且我已经加载了一个模型，它工作得很好： from transformers import AutoModelForSequenceClassificationMODEL = "cardiffnlp/twitter-roberta-base-{task}"
tokenizer =AutoModelForSequenceClassification.from_pr
浏览 260提问于2021-04-21得票数 1
回答已采纳
我在google colab上使用roberta的问答模型来解决推文情感提取问题。但是模型无法训练，因为我得到了一个资源耗尽错误；ResourceExhaustedError: OOM when allocating tensor with shape[32,16,128,64/roberta/encoder/layer_._17/attention/self/transpose (defined at &#
浏览 0提问于2021-04-05得票数 0
)print(probs)model.num_labels2我是否可以假设，由于没有经过训练的输出层，这些类
浏览 4提问于2020-12-09得票数 3
回答已采纳
我在这方面是个新手，所以我可能完全遗漏了一些东西，但这是我的问题:我正在尝试创建一个Tokenizer类，它使用Huggingface中预先训练好的tokenizer模型。然后，我想在一个更大的转换器模型中使用这个类来标记我的输入数据。tokenized_outputs = outputs['input_ids']
当我在Transformer模型中调用函数of <MyTokenize
浏览 7提问于2021-11-28得票数 0
2回答
我们采取了一些样本数据点(2M+) &精调罗伯塔基地(使用高频变压器)，使用蒙版语言建模(MLM)任务。我们做了4-5个周期(512序列长度，批大小=48)。使用余弦学习速率调度器(2-3周期/历元)由于RoBERTa模型是针对特定领域的数据进行细化的，因此我们确实期望该模型的性能要好于对一般文本(wiki数据、书籍等我们在特定领域的RoBERTa和训练前的罗伯塔上做了这件事。
令人惊讶的是，这两
浏览 0提问于2023-04-18得票数 1
3回答
当我尝试从给定路径加载xlm-roberta-base模型时，我面临以下问题：>> Traceback, **init_kwargs)
File "/home/user/anaconda3/lib/python3.7/site-packages/transformers/tokenization_roberta
浏览 78提问于2020-06-29得票数 5
我试图微调我的自定义数据集上的"RobertaForQuestionAnswering“，并且我对它所需要的输入参数感到困惑。这是示例代码。RobertaTokenizer, RobertaForQuestionAnswering>>> model = RobertaForQuestionAnswering.f
浏览 7提问于2021-10-12得票数 2
回答已采纳
有人知道我是如何从R中模型的摘要中获得p_Value的吗？这是一个线性回归模型，图中显示了模型的结果/摘要。我知道如何获取其他值，比如Fstatistic或R_squared，但由于某些原因，我无法获取p_value。 谢谢! 模型摘要 ?
浏览 16提问于2019-10-04得票数 0
回答已采纳
1回答
我使用python库sentence_transformers和模型RoBERTa和FlauBERT。我用余弦分数来计算相似度，但对于某些词，它不太好用。这些词似乎不是模型中的“已知”词的一部分(我猜不是在训练集上)，比如："WCFs“、"SARs”、"OSGi“。非常感谢。
浏览 19提问于2022-03-28得票数 2
我有一个pytorch lightning代码，当使用bert-base或roberta-base时，它非常适合二进制分类任务，但不能用于roberta-large，即训练损失不会下降。编辑:我正在MNLI数据集上进行训练(仅限蕴涵类和矛盾类)模型预测所有示例的同一类。
谢谢
浏览 0提问于2020-07-15得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
