我正在学习从huggingface导入预训练模型问答模型的documentation from transformers import BertTokenizer, BertForQuestionAnsweringend_positions)start_scores = outputs.start_logits
end_scores = outputs.end_logits 这将返回开始和结束分数，但是我如何从这里获得有意义的文本答案呢？
浏览 5提问于2021-02-06得票数 1
回答已采纳
我正试图在Github中找到一个存储库，以获得用于NER任务的Bert模型的Pytorch-重新实现。到目前为止，我发现了以下的回复：https://github.com/Louis-udm/NER_伯特_通用报告格式
https://github.com/sberbank-ai/ner-be
浏览 0提问于2019-05-02得票数 0
1回答
我现在在研究一个多选择的问答系统。培训集由一个问题、一个答案和四个选项组成，我需要预测四个选项中正确的答案。: A [Dimensions]
如何将这些输入输入到任何深度学习模式中我想了两种方法：📷使用级联
为每个文本生成固定大小的单词
浏览 0提问于2020-11-13得票数 0
1回答
我正在寻找关于使用伯特和伯特的蒙面语言模型来预测多个标记的建议。我的数据看起来是：问题：rainy days lead to @placeholder，这个@placeholder的答案是wet在模型中，wet environment是预测的答案。因此，在预处理阶段，我应
浏览 4提问于2020-04-24得票数 5
回答已采纳
1回答
在伯特纸中，我了解到BERT是只使用编码器的模型，也就是说它只涉及变压器编码器块。我猜有什么区别。我知道编码器和解码器块之间的区别: GPT解码器只查看以前生成的令牌，并向它们学习，而不是在右侧令牌中学习。伯特编码器关注双方的令牌。Q1。one 2，3侧重于新/一/零短期学习。难道我们不
浏览 0提问于2021-11-26得票数 8
我对使用BERT进行各种NLP/文本挖掘任务有了基本的了解。当谈到伯特的微调时，我总是看到微调是使用一些分类任务来执行的。那么，当我有一组完全没有标签的文档时，我应该如何改进BERT模型给出的单词/句子嵌入向量？我知道，BERT模型最初是针对没有标签的数据进行培训的，所以必须有一些方法。
浏览 0提问于2020-05-27得票数 2
2回答
伯特是语言模型吗？
、、、
BERT是一个函数意义上的语言模型，得到一个句子并返回一个概率吗？我知道它的主要用法是句子嵌入，但它也能提供这种功能吗？
浏览 0提问于2020-05-13得票数 9
回答已采纳
1回答
伯特是如何嵌入单词的？
、、、、
我正在阅读所有你需要的文件，我不知道如何在变压器基础架构中更新权重，有任何反向传播吗？通常情况下，对模型学习和更新他的重量，但谁能确认我，并向我解释，如果可能的话？但是，我知道变压器输入中的三个嵌入的总和(句子嵌入、假想嵌入和字片嵌入)，有谁能向我解释一下‘词嵌入’到底是什么？我只知道它有30k的词汇标记，但我不知道它是如何训练的，它是由变形金刚训练的吗？
浏览 6提问于2022-10-20得票数 0
1回答
我试图弄清楚嵌入层是如何为预先训练的伯特基模型工作的。我正在使用火把，并试图解剖以下模型：model = torch.hub.load('huggingface/pytorch-transformers', 'model', '第一个word_embeddings权重将把Indices中的每个数字转换为一个768维数(嵌入维数)中的</em
浏览 0提问于2021-05-03得票数 3
回答已采纳
2回答
在小型定制语料库上预训练语言模型
、、、、
我很好奇是否可以在文本生成中使用迁移学习，并对特定类型的文本进行再培训/预训练。例如，有一个经过预先训练的BERT模型和一个小型的医学语料库(或任何“类型”)文本，就可以生成一个能够生成医学文本的语言模型。假设你没有大量的“医学文本”，这就是为什么你必须使用转移学习。我把它说成是一条管道，我把它描述为：
从我
浏览 5提问于2020-04-24得票数 7
我在任何地方都找不到如何将熊猫数据转换成datasets.dataset_dict.DatasetDict类型，以便在具有拥抱面模型的伯特工作流中得到最佳使用。例如，以这些简单的数据文件为例。})
"label" : [2, 2, 1],
"text" : ["banana", "pear", "apple&q
浏览 9提问于2022-03-25得票数 5
回答已采纳
对于转换器模型，特别是对于BERT，以编程方式禁止以特殊令牌作为预测结果的模型是否有意义(并且在统计上是正确的)？这在最初的实现中是怎样的呢？在趋同过程中，模型必须学会不去预测这些，但这种干预是否会有所帮助(或相反)？
PAD令牌也可能有一些意义(但并不是在所有情况下)。
浏览 6提问于2021-02-13得票数 3
我跟踪了基于伯特的词汇替代(特别是试图实现等式(2) -如果有人已经实现了整个论文，那将是伟大的) 。因此，我想获得最后两个隐藏层(唯一不确定的是输出中层的顺序:最后一层还是第一层？)和一个基本的伯特模型的注意(伯特-基-未)。
然而，我有点不确定的是否真的输出注意力(我是使用火炬，但开放使用TF代替)
浏览 2提问于2020-02-07得票数 6
回答已采纳
1回答
我正试着微调一个伯特预先训练的模特。我正在处理来自yelp_polarity_reviews的tensorflow_datasets数据。我已确保：
使用同样的tokenizer、vocab_file和do_lower_case训练原始模型。将dataset转换为tf.data.Dataset对
浏览 3提问于2021-07-04得票数 0
回答已采纳
1回答
我正在微调预训练的gpt-2文字摘要。数据集包含“文本”和“参考摘要”。因此，我的问题是，如何添加特殊的令牌，以获得正确的输入格式。这是正确的吗？如果是这样的话，接下来的问题是最大标记长度(即gpt-2的1024 )是否也意味着连接的文本长度和参考摘要？
任何评论都将是非常感谢的！
浏览 0提问于2020-12-11得票数 4
1回答
我试着用伯特模型来进行文本分类。由于课文是关于科学文本的，我打算使用SicBERT预培训模型：。我遇到了几个限制，我想知道是否有解决办法：
我尝试将
浏览 4提问于2021-10-01得票数 0
回答已采纳
1回答
我已经使用伯特基地预先训练的512个维度的模型来生成上下文特征。将这些向量提供给随机森林分类器可以提供83 %的准确率，但在各种研究中，我已经看到伯特最小值提供了90 %的准确率。即使我合并了所有的功能，我也得到了83 %的准确率。我作为基础论文的研究论文提到了92 %的准确率，但是他们使用了一种基于集合的方法
浏览 21提问于2022-04-01得票数 0
我给一个伯特模型(拥抱脸库)提供句子。这些句子被预先训练的记号器标记化。我知道您可以使用decode函数从令牌返回到字符串。
string = tokenizer.decode(...)如果你使用未经训练的模型，大写字母就会丢失。另外，如果标记器将一个单词拆分为2个标记，则第二个标记将以'##‘开头。例如，“冠状病毒”一词被分成两个标记：“corona”和“##virus”。因此，我的问题
浏览 4提问于2020-08-14得票数 1
回答已采纳
2回答
然而，似乎有些文章交替使用这些词。但我认为一定有不同之处。在矢量化中，我偶然发现了这些矢量器：而且，当我试图理解嵌入这个词的时候。我找到了这些工具。单词袋，Word2Vec
请你简要地总结一下词嵌入和词向量化的区别和算法。非常感谢。
浏览 0提问于2022-03-13得票数 4
回答已采纳
我试图微调伯特模型的情感分析(分类为积极/消极的文本)与拥抱脸培训API。我的数据集有两列，Text和Sentiment，如下所示。Text SentimentThis was bad place 0
这是我的代码我搜索了互联网，这个错误似乎已经通过“将张量转换为浮动”来解决了，但是我
浏览 35提问于2021-12-27得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
