BERT -是否需要添加要在特定域环境中训练的新令牌？
BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer模型的自然语言处理（NLP）模型。它通过预训练和微调的方式，能够在各种NLP任务中取得优秀的表现。
在BERT模型中，输入文本会被分割成多个令牌（Token），每个令牌都会被转化为向量表示。这些令牌包括单词、子词或字符等。在预训练阶段，BERT模型会学习到每个令牌的上下文相关的表示。然后，在微调阶段，BERT模型会根据具体的任务进行微调，以适应特定的应用场景。
对于特定领域的环境，如果该领域的文本数据与通用的预训练数据存在较大差异，那么可以考虑在特定领域环境中对BERT模型进行进一步的训练，以提高模型在该领域的性能。这种训练方式被称为领域自适应（Domain Adaptation）或领域微调（Domain Fine-tuning）。
在特定领域环境中训练新令牌的需求取决于具体的情况。如果特定领域的文本数据中包含了一些通用预训练数据中没有的特殊词汇或术语，那么可以考虑添加新的令牌，并在特定领域环境中对其进行训练。这样可以使BERT模型更好地理解和处理特定领域的文本。
然而，需要注意的是，添加新令牌并进行训练可能需要更多的领域专家知识和大量的特定领域数据。此外，还需要进行适当的实验和调整，以确保新令牌的添加和训练能够有效地提升模型性能。
腾讯云提供了多个与自然语言处理相关的产品和服务，例如腾讯云智能语音（https://cloud.tencent.com/product/tts）、腾讯云智能机器翻译（https://cloud.tencent.com/product/tmt）等。这些产品可以与BERT模型结合使用，以实现更多样化和个性化的自然语言处理应用。
相关·内容
1回答
我想知道，当人们说预训练的bert模型时，是否只训练了最终的分类神经网络 或 通过反向传播和分类神经网络，transformer内部是否有任何更新
浏览 121提问于2021-02-04得票数 1
回答已采纳
3回答
我正在使用预训练的BERT模型将文本标记化为有意义的标记。然而，文本中有许多特定的单词，我不希望BERT模型将它们分成几个单词。有什么解决方案吗？例如：
tokenizer = BertTokenizer('bert-base-uncased-vocab.txt')
tokens = tokenizer.tokenize("metastasis")
像这样创建令牌：
['meta', '##sta', '##sis']
但是，我希望将整个单词保留为一个标记，如下所示：
['metastasis']
浏览 0提问于2020-05-29得票数 4
我们正在使用Google进行问答。我们已经与班组QnA发布的列车数据集(https://github.com/google-research/bert，https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v1.1.json)进行了精细的调整。
它产生了新的检查点，伯特对我们在文本文件上提出的大多数问题都给出了很好的答案。然而，有一些问题它回答错了，因此我们正在努力进一步调整我们的问题和我们的文本文件的已知答案。我们在最后生成的检查点基础上进行了进一步的训练，得到了新的检查点。
随着新的检查点，当我们问同样的问题，答案没有得到纠正！在
浏览 0提问于2019-03-16得票数 2
2回答
在小型定制语料库上预训练语言模型
、、、、
我很好奇是否可以在文本生成中使用迁移学习，并对特定类型的文本进行再培训/预训练。
例如，有一个经过预先训练的BERT模型和一个小型的医学语料库(或任何“类型”)文本，就可以生成一个能够生成医学文本的语言模型。假设你没有大量的“医学文本”，这就是为什么你必须使用转移学习。
我把它说成是一条管道，我把它描述为：
使用经过预先训练的伯特装置。
从我的新文本中获取新的标记，并将它们添加到现有的经过预先培训的语言模型中(例如，vanilla BERT)。
使用组合标记器在自定义语料库上重新训练预训练的BERT模型。
在小型定制语料库中生成类似于文本的文本。
这听起来耳熟吗？抱着脸
浏览 5提问于2020-04-24得票数 7
我只是想知道，如果微调BERT模型并保存它，标记器是否会受到某种影响或发生变化。以后使用保存的BERT模型时，我是否也需要在本地保存记号赋予器以重新加载它？ 我就是这么做的 bert_model.save_pretrained('./Fine_tune_BERT/') 然后，稍后 bert_model = TFBertModel.from_pretrained('./Fine_tune_BERT/') 但是我是否也需要节省令牌器呢？或者我可以用正常的方式来使用它，比如： tokenizer = BertTokenizer.from_pretrained(
浏览 358提问于2020-10-20得票数 1
回答已采纳
2回答
目前正在学习和阅读变压器模型，我发现在预培训阶段，BERT模型是通过MLM和NSP在一个大型语料库上进行训练的。但是在整理过程中，例如试图根据另一文本对情感进行分类时，所有的BERT参数(110M+参数+最终分类层)都是更新的，还是仅仅是最终的分类层？在我一直在寻找的资源中找不到具体的答案。
提前谢谢你。
浏览 0提问于2020-09-04得票数 1
在BERT预训练中，CLS标记被嵌入到负责下一个句子预测任务(或者，在某些BERT变体中，与其他任务，如ALBERT的句子顺序预测)的分类器的输入中；这有助于对整个转换器进行预训练，也有助于使CLS位置随时可用于重新训练到其他“句子尺度”任务。
我想知道SEP是否也可以用同样的方式进行再培训。虽然CLS可能更容易重新训练，因为transformer已经被训练为在整个句子中将其嵌入的含义注入，而SEP没有这些“连接”(有人会假设)，但这仍然可以通过足够的微调来工作。
有了这个，可以为两个不同的分类任务重新训练相同的模型，一个使用CLS，另一个使用SEP。
我错过了什么吗？有没有什么原因导致这种方
浏览 26提问于2020-02-24得票数 1
回答已采纳
我已经设法让伯特模型工作在约翰斯诺实验室-火花-nlp库。我能够将“经过训练的模型”保存在磁盘上，如下所示。
拟合模型
df_bert_trained = bert_pipeline.fit(textRDD)
df_bert=df_bert_trained.transform(textRDD)
保存模型
df_bert_trained.write().overwrite().save("/home/XX/XX/trained_model")
然而，
首先，根据这里的文档，可以将模型加载为
EmbeddingsHelper.load(path, spark, format, r
浏览 2提问于2020-01-23得票数 1
我想通过训练更多的数据(而不是微调，将被训练的基本模型是‘伯特-基础-无“)来建立伯特模型。但是，我是否总是需要为一个模型创建自己的令牌程序？当我使用“bert-base-uncased”令牌器来训练模型时，它给了我一些错误。
Traceback (most recent call last):
File "log.py", line 10, in <module>
print(model(**input_idx))
File "/usr/local/lib/python3.8/dist-packages/torch/nn/modules/m
浏览 9提问于2022-03-20得票数 0
1回答
BERT序列标记
、、、
我正在使用一个由嵌入层和LSTM组成的模型来执行序列标记，在py电筒+ torchtext中。我已经把句子标记出来了。
如果我使用自我训练或其他预先训练过的字嵌入向量，这是很简单的。
但是，如果我使用Huggingface BertTokenizer.from_pretrained和BertModel.from_pretrained，则在句子的开头和结尾分别添加了'[CLS]'和'[SEP]'令牌。因此，模型的输出变成比标签/目标序列长两个元素的序列。
我不确定的是：
BertModel是否需要这两个标记来嵌入句子的每个标记“正确”？
如果需要，我是否可
浏览 0提问于2020-05-10得票数 0
回答已采纳
1回答
不同标记器之间的转换
、、、
如果这个问题太基本，不能在这里提出，很抱歉。我试过了，但我找不到解决办法。
我现在正在开发一个NLP项目，它需要使用两种不同的模型(BART用于总结，而BERT用于QA)。我想把这两种模式连在一起，这样我就可以同时训练它们，而不是单独训练它们。然而，这两个模型使用不同的令牌。是否有一种方法可以创建一个将第一层的输出映射到第二层的层？手工创建字典(映射令牌程序的每个可用值)是否有效？非常感谢!
浏览 1提问于2022-06-15得票数 0
回答已采纳
1回答
我正在尝试使用内部语料库更新预训练的BERT模型。我看过Huggingface的transformer文档，你会发现我有点困惑，below.My的目标是使用余弦距离计算句子之间的简单相似度，但我需要为我的特定用例更新预先训练的模型。
如果你看一下下面的代码，这正是Huggingface文档中的代码。我试图“重新训练”或更新模型，我假设special_token_1和special_token_2表示来自我的“内部”数据或语料库的“新句子”。这是正确的吗？总而言之，我喜欢已经预训练的BERT模型，但我想使用另一个内部数据集来更新或重新训练它。任何线索都将不胜感激。
import tensorfl
浏览 53提问于2019-10-30得票数 9
1回答
我正在使用进行文本分类项目。encode_plus函数为用户提供了一种生成输入ids、注意掩码、令牌类型ids等的方便方法。例如：
from transformers import BertTokenizer
pretrained_model_name = 'bert-base-cased'
bert_base_tokenizer = BertTokenizer.from_pretrained(pretrained_model_name)
sample_text = 'Bamboo poles, installation by an unknown buildin
浏览 2提问于2020-06-19得票数 1
回答已采纳
我正在读BERT模型论文。在预训练BERT模型的掩蔽语言模型任务中，本文表示模型将随机选择15%的令牌。在选择的标记( Ti )中，80%将被替换为掩码标记，10%的Ti保持不变，10%的Ti将替换为另一个单词。我认为模型只需要替换为掩码或其他单词就足够了。为什么模型必须随机选择一个单词并保持不变？预训练过程是只预测掩码令牌，还是预测15%的整个随机令牌？
浏览 151提问于2020-09-23得票数 2
回答已采纳
我读了很多文章，人们都说BERT对NLU有好处，而GPT对NLG有好处。但它们在结构上的关键区别在于是否在自我注意中添加了掩膜，并以不同的方式训练了模型。
从下面的代码中，如果我理解正确的话，我们可以自由选择是否添加注意掩码。
那么我能否得出这样的结论：“BERT的预训练参数对NLU有好处”，“GPT2的预训练参数对NLG有好处”？或者，这两者之间还有什么其他关键的区别，使人们得出我在开始时提到的结论？
浏览 8提问于2021-03-29得票数 0
我的数据集和自然语言处理任务与作者预先训练的模型(https://github.com/google-research/bert#pre-training-with-bert)的大型语料库有很大的不同，所以我不能直接微调。有没有什么示例代码/GitHub可以帮助我用自己的数据训练BERT？我希望得到像glove这样的嵌入。 非常感谢!
浏览 48提问于2019-06-13得票数 2
2回答
文本摘要的BERT
、、、、
我正在尝试使用Keras中的seq2seq架构来构建一个文本摘要模型。我遵循了本教程的，并使用嵌入层实现了它，它工作得很好。但现在我想用BERT。在这样的任务中可以使用预训练的BERT嵌入吗，通常我看到的是文本分类，而不是BERT使用的编码器-解码器架构。
我从TF集线器访问BERT模型，并从本教程中实现了一个层类，我还相应地使用BERT标记器进行标记化，下面是我的模型
enc_in_id = Input(shape=(None, ), name="Encoder-Input-Ids")
enc_in_mask = Input(shape=(None, ), name="
浏览 3提问于2019-08-21得票数 2
1回答
我想对一个预先训练好的BERT模型进行微调。但是，我的任务使用特定领域内的数据(比如生物医学数据)。此外，我的数据也是一种不同于英语的语言(比如荷兰语)。
现在，我可以微调荷兰bert-base-荷兰案例预训练模型。然而，我该如何对生物医学BERT模型进行微调，比如BioBERT，它属于正确的领域，但语言错误？
我曾经考虑过使用NMT，但我不认为它是可行的，也不值得为此付出努力。如果我在没有对模型进行任何更改的情况下进行微调，我担心模型不会很好地学习任务，因为它是在完全不同的语言上预先训练的。
浏览 4提问于2021-01-28得票数 2
1回答
在bert上训练新数据集
、、、、
我是新来伯特的 我有一个amazon评论数据集，我想要根据评论预测星级 我知道我可以使用预先训练好的bert模型，如here所示 但我想在我自己的数据集上训练bert模型。这就是here正在做的事情吗？我是否可以在任何数据集的预训练模型上应用这种“微调”，以获得更准确的结果，或者我是否必须做一些其他事情来从头开始训练模型 如果我确实想从头开始训练一个模型，我应该从哪里开始呢？
浏览 61提问于2021-10-03得票数 0
3回答
我试图解决一个多标签分类(数据集是tweet文本)结合使用伯特和CNN。作为一个基准，我会将它与其他单词嵌入进行比较，其中一个是Word2vec。经过多次尝试，Word2vec-CNN的表现似乎略好于伯特-CNN，这是我最后一次尝试的结果：
Word2vec-CNN
precision (macro): 0.89
recall (macro): 0.87
f1-score (macro): 0.88
accuracy (test set): 0.81
hamming loss: 0.062
BERT-CNN
precision (macro): 0.86
recall (macr
浏览 0提问于2021-04-18得票数 2
回答已采纳
1回答
我计划根据手头的数据(由人输入的笔记)从头开始训练ELMo或Bert模型。我现在拥有的数据都是由不同的人输入的。拼写、格式和句子中的不一致都有问题。在阅读了ELMo和伯特的论文之后，我知道这两种模式都使用了很多句子，比如维基百科。我还没有找到任何经过处理的培训样本，也没有为Emlo或Bert模型提供任何预处理教程。我的问题是：
Bert和ELMo模型是否有标准的数据预处理步骤或标准的处理数据格式？
基于我现有的脏数据，是否有任何方法对这些数据进行预处理，以便得到更准确的单词表示？
浏览 1提问于2019-03-01得票数 8
我们是否应该降低使用拥抱面训练BERT模型的案例输入数据？我调查了托马斯·沃尔夫()的这一反应，但不完全确定他是否是那个意思。
如果我们用小写的文字怎么办？
浏览 4提问于2020-06-19得票数 7
回答已采纳
1回答
具有填充和掩码令牌预测的Bert
、、、、
我正在尝试使用Bert预训练模型(bert-large-uncased with word-masking)我使用Huggingface来尝试它我第一次使用这段代码 m = TFBertLMHeadModel.from_pretrained("bert-large-cased-whole-word-masking")
logits = m(tokenizer("hello world [MASK] like it",return_tensors="tf")["input_ids"]).logits 在应用softmax之后，我使
浏览 20提问于2021-08-24得票数 2
回答已采纳
1回答
我已经建立了一个人工语料库(不是真正的语言)，每个文档都是由多个句子组成的，这些句子也不是真正的自然语言句子。
我想从这个语料库中训练一个语言模型(稍后使用它来完成下游任务，比如分类或使用语句BERT进行聚类)
如何标记文档？
我需要标记输入吗？
像这样：<s>sentence1</s><s>sentence2</s>
或<s>the whole document</s>
如何训练？
我是否需要训练传销机或NSP或两者兼备？
浏览 0提问于2022-02-15得票数 1
我在自己的语料库上使用MLM训练了一个SBERT模型，该模型在某种程度上是特定领域的，使用以下指南：
https://ireneli.eu/2021/03/28/deep-learning-19-training-mlm-on-any-pre-trained-bert-models/ https://github.com/huggingface/transformers/blob/main/examples/pytorch/language-modeling/run_mlm.py
当我用
tokenizer.save_pretrained(output_dir)
它创建了一组文件。因此，我打开
浏览 0提问于2022-10-30得票数 0
1回答
我想使用Bert来执行nlp任务。但我也有更多的功能，我想包括在内。
据我所见，通过微调，一个只改变标签和重新训练分类层。
是否有方法使用预先培训的伯特模型，并包括额外的功能？
浏览 0提问于2019-03-05得票数 9
回答已采纳
1回答
我想知道是否有预训练的多语种Bert在sparknlp中可用？如你所知，Bert经过了109种语言的预训练。我想知道是不是所有这些语言都在spark bert中？ 谢谢
浏览 24提问于2020-10-19得票数 2
我正在尝试在句子分类任务中使用转换器嵌入，而不对它们进行细化。我使用了BERT嵌入，这些实验给了我很好的结果。现在，我想使用GPT-2嵌入(没有微调)。所以我有两个问题
我可以使用这样的GPT-2嵌入(因为我知道Gpt-2是从左到右训练的)
在生成任务以外的分类任务中是否有使用GPT-2的示例？
如果我可以使用GPT-2嵌入，我应该如何做呢？
浏览 1提问于2020-03-07得票数 2
我正在尝试使用预先训练的Bert模型的tensorflow，它有约1.1亿帕拉姆，这是几乎不可能训练这些副秘书长使用我的gpu。整个层的冻结使得所有这些参数都无法训练。
是否有可能使该层部分可培训？就像有几百万个平行线是可以训练的，而其余的则是无法训练的？
input_ids_layer = tf.keras.layers.Input(shape=(max_len,), dtype=tf.int32, name='input_ids')
input_attention_layer = tf.keras.layers.Input(shape=(max_len,), dtype=
浏览 4提问于2022-03-25得票数 0
据我所知，GPT-2和BERT正在使用字节对编码，这是一个子词编码.由于使用了许多开始/结束令牌，例如<|startoftext|>和，正如我想象的那样，编码器应该将令牌编码为一个整体。
然而，当我使用pytorch BertTokenizer时，编码器似乎也将令牌分成了几个部分。这行为正确吗？
from pytorch_pretrained_bert import BertTokenizer, cached_path
tokenizer = BertTokenizer.from_pretrained('bert-base-cased', do_lower_case
浏览 0提问于2020-01-13得票数 2
回答已采纳
我在Colab中编写了一个Bert模型，并使用GPU对其进行了训练，并下载了权重以供进一步推断。对于预测，我不需要GPU，我在没有GPU的情况下在我的本地机器上测试。但是当我在本地PC上加载时，我得到了以下错误，而Colab上没有错误。我不知道如何继续下去。 File "/home/akash/anaconda3/lib/python3.7/site-packages/tensorflow/python/saved_model/load.py", line 909,
in load_internal str(err) + "\n If trying to load
浏览 88提问于2021-06-29得票数 0
我下载了基于bert的预训练模型。我编辑config.json (从512到256) "max_position_embeddings": 256, 然后我想使用bert模型， from transformers import BertForSequenceClassification
model = BertForSequenceClassification.from_pretrained(
MODEL_PATH,
num_labels = 2, # The number of output labels--2 for binary classifica
浏览 260提问于2020-10-23得票数 0
和word2vec / GloVe一样，我希望将我的领域特定语料库(大约1000万字)嵌入BERT从头开始。通过这些嵌入，我可以将它们用于句子相似(已经使用了SBERT)。但我不想使用任何预训练模型/数据(用于分类/下一句预测的精细调优模型)。
到目前为止，我没有找到任何解决方案/方法嵌入(自己)语料库与伯特，除了在这里使用的：。
有什么办法可以做到吗？谢谢。
浏览 1提问于2019-12-17得票数 0
回答已采纳
1回答
我想要建立一个多类分类模型，其中我有对话数据作为BERT模型的输入(使用伯特-基非)。
查询:我想问一个问题。
答:当然，问吧。
问:今天天气怎么样？
答:天气很好，阳光灿烂。
好的，很高兴知道。
答:你还想知道些什么吗？
除此之外，我还有两个输入。
我在想，我是否应该在谈话中加上特别的记号，使它对伯特模型更有意义，比如：
CLSQUERY:我想问一个问题。埃奥特
答:当然，问吧。埃奥特
问:今天天气怎么样？埃奥特
答:天气很好，阳光灿烂。埃奥特
好的，很高兴知道。埃奥特
答:你还想知道些什么吗？9月
但是我不能添加一个新的EOT特殊标记。
或者我应该使用SEP令牌来实现这一点？
编辑:
浏览 5提问于2021-09-15得票数 3
回答已采纳
我正在尝试使用transformer的huggingface预训练模型bert-base-uncased，但我想增加丢失率。在from_pretrained方法中没有提到这一点，但colab运行了下面的对象实例化，没有任何问题。我在classtransformers.BertConfig文档中看到这些dropout参数。 我是否以正确的方式使用bert-base-uncased并更改dropout？ model = BertForSequenceClassification.from_pretrained(
pretrained_model_name_or_path='
浏览 153提问于2020-11-22得票数 3
我想使用领域语料库(情感相关文本)预训练BERT和RoBERTa传销。使用50k~100k单词需要多长时间。由于RoBERTa没有经过训练来预测下一个句子的目标，比BERT少一个训练目标，并且具有更大的小批量和学习率，我假设RoBERTa会快得多？
浏览 28提问于2020-02-09得票数 1
回答已采纳
2回答
我正在使用SentenceTransformers库(这里：)来使用预训练模型bert-base-nli-mean tokens创建句子的嵌入。我有一个应用程序将部署到不能访问互联网的设备上。这里，已经回答了如何保存模型。然而，我被困在从本地保存的路径加载保存的模型。
当我尝试使用上面提到的技术保存模型时，输出文件如下：
('/bert-base-nli-mean-tokens/tokenizer_config.json',
'/bert-base-nli-mean-tokens/special_tokens_map.json',
'/bert-ba
浏览 197提问于2020-12-23得票数 5
我已经下载了伯特预训练过的模型‘伯特-基地-大小写。我无法在BertTokenizer的帮助下加载模型。我正在尝试伯特令牌。在伯特预训练-模型文件夹，我有config.json和pytorch_model.bin。
tokenizer = BertTokenizer.from_pretrained(r'C:\Downloads\bert-pretrained-model')
我面临的错误就像
OSError Traceback (most recent call last)
<ipython-input-
浏览 4提问于2021-03-04得票数 1
我正在尝试安装keras-bert，如这里所解释的：。本教程展示了如何使用R使用Keras加载和训练BERT模型。
但是，当我在Anaconda提示符(Windows)中运行：
conda install keras-bert
我得到以下错误：
Collecting package metadata (current_repodata.json): done
Solving environment: failed with initial frozen solve. Retrying with flexible solve.
Collecting package metadata (repod
浏览 7提问于2020-06-23得票数 1
回答已采纳
1回答
我想使用预先训练的BERT作为变压器模型的编码器。解码器具有与编码器相同的词汇表，我将使用共享嵌入。但我需要<SOS>，<EOS>令牌，它们没有经过伯特的训练。我该怎么弄到它们？我可以使用<CLS>令牌作为<SOS>，<SEP>作为<EOS>吗？或者我必须创建这两个嵌入作为可训练变量，并将它们连接到解码器输入/标签？
浏览 0提问于2021-02-14得票数 1
回答已采纳
1回答
我想用句子做一些有监督的二进制分类任务，并且一直在使用spaCy，因为它易于使用。我使用spaCy将文本转换为向量，然后将向量提供给机器学习模型(例如XGBoost)来执行分类。然而，结果并不是很令人满意。
在spaCy中，很容易加载 (例如BERT / Roberta / XLNet)来将单词/句子转换为nlp对象。然而，直接调用对象的向量将到令牌向量的平均值。
这里有两个问题：
1)我们能做得比简单地获得标记向量的平均值更好吗，比如使用spaCy获得上下文/顺序感知的句子向量？例如，我们能否从BERT转换器的上一层提取句子嵌入，而不是spaCy中的最终标记向量？
2)直接使用spaCy来训
浏览 17提问于2020-05-06得票数 0
1回答
我正在研究使用预训练的BERT ('bert-base-uncased')模型从一堆句子中提取上下文词级编码。 词块标记化将我输入中的一些单词分解为子词单元。这可能是一个微不足道的问题，但我想知道将子词标记的输出编码合并到词级编码中最合理的方法是什么。 平均子词编码是一种合理的方法吗？如果没有，有没有更好的选择？
浏览 18提问于2020-01-29得票数 1
回答已采纳
我的问题不是如何添加新的标记，或者如何使用特定于领域的语料库进行训练，我已经在这样做了。 问题是，我是应该在传销培训之前添加特定于领域的令牌，还是让Bert弄清楚上下文？如果我选择不包括令牌，我会得到一个像NER这样的糟糕的特定于任务的模型吗？ 为了让你更多地了解我的情况，我正在使用葡萄牙语训练一个关于医学文本的Bert模型，因此，我的语料库中存在死亡名称、药物名称和其他内容，但我不确定在训练之前是否必须添加这些标记。 我看到了这个：Using Pretrained BERT model to add additional words that are not recognized by t
浏览 15提问于2021-04-12得票数 2
回答已采纳
3回答
nlp任务中微调的意义
、、、、
迁移学习模式有两种类型。一种是特征提取，在对实际任务进行训练时，不改变预训练模型的权重，另一种是可以改变预训练模型的权值。
根据这些分类，静态词向量(如word2vec )是一个特征提取模型，每个向量都编码单词的意义。
这个词的意思改变了上下文。例如，“河岸”与“银行作为金融机构”。这些word2vec向量并不区分这些意义。
像Bert这样的当前模型考虑上下文。Bert是一种语言表示模型。这意味着，它内部可以用上下文词向量来表示单词。
默认情况下，伯特是一个微调模型.这就是我关于微调的想象力开始瓦解的地方。比如说，在Bert模型的基础上，我们创建了一些特定于任务的层。现在，如果我们微调，根据定
浏览 0提问于2019-05-27得票数 7
我使用Tokenizer训练Tokenizer并保存模型，如下所示 tokenizer = Tokenizer(BPE())
tokenizer.pre_tokenizer = Whitespace()
tokenizer.decoder = ByteLevelDecoder()
trainer = BpeTrainer(vocab_size=25000, show_progress=True, initial_alphabet=ByteLevel.alphabet())
tokenizer.train(files=["/content/drive/MyDrive/Work/NLP
浏览 93提问于2021-09-06得票数 1
2回答
我有一些定制的数据，我想使用进一步培训的伯特模型。到目前为止，我已经尝试了以下两种方法：
BertForPreTraining model)Starting 从一个预先培训的BERT检查点开始，并继续使用蒙面语言建模(MLM) +下一句预测(NSP)头进行预培训(例如使用带有MLM目标的预先训练的BERT模型(例如，假设我们不需要NSP作为培训前部分的BertForMaskedLM模型)。
但我仍然感到困惑的是，如果使用BertForPreTraining或BertForMaskedLM真的对伯特进行持续的预培训，或者这只是两个微调模型，分别使用MLM+NSP和MLM对伯特进行微调。在使用ML
浏览 5提问于2021-07-20得票数 5
回答已采纳
对于转换器模型，特别是对于BERT，以编程方式禁止以特殊令牌作为预测结果的模型是否有意义(并且在统计上是正确的)？这在最初的实现中是怎样的呢？在趋同过程中，模型必须学会不去预测这些，但这种干预是否会有所帮助(或相反)？
我主要考虑的是掩码CLS令牌
PAD令牌也可能有一些意义(但并不是在所有情况下)。
浏览 6提问于2021-02-13得票数 3
1回答
我正在详细研究BERT模型(you can found the description here)，我正在清楚地理解为什么需要在20%的时间内保留或替换随机单词，或者只是将掩码标记始终用于掩码语言模型。 我们尝试训练双向技术，文章解释了“在微调过程中看不到掩码令牌”，但对我来说，这是两个不同的步骤，我们首先训练双向，然后再进行下游任务。 如果有人能给我解释一下我的理解哪里错了。
浏览 20提问于2019-03-08得票数 0
回答已采纳
我正在研究一个帮助学生的聊天机器人。
因此，我想利用在数学上表现更好的bert模型，这导致了我的数学-bert，但是上面的论文说它仅仅是在数学语料库上训练的，这意味着它在一般句子(例如在图像中)上不会有很好的表现，那么有什么方法将句子-bert和数学-bert结合起来吗？
undefined
或者，唯一的方法是从零开始训练伯特模型，使用语料库进行句子-伯特和数学-伯特。
浏览 0提问于2022-12-25得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
