运行BERT模型后如何解决属性错误
BERT模型是一种基于Transformer架构的预训练语言模型，用于自然语言处理任务。在运行BERT模型时，解决属性错误的方法可以包括以下几个方面：
- 数据预处理：在使用BERT模型之前，需要对输入数据进行预处理。属性错误可能源自于数据中的错误标注或格式问题。因此，可以通过仔细检查数据集并修复或删除错误的属性标注，以确保输入数据的准确性。
- 模型调优：BERT模型通常需要在特定任务上进行微调，以适应具体的应用场景。在微调过程中，可以通过调整模型的超参数、优化器的选择以及训练策略的调整来解决属性错误。例如，可以尝试不同的学习率、批量大小和训练轮数，以找到最佳的模型性能。
- 错误分析和调试：在运行BERT模型后，可以对模型的输出进行错误分析和调试。通过检查模型预测结果中的错误属性，可以确定模型在哪些情况下容易出现属性错误。根据错误分析的结果，可以进一步优化模型的训练数据、模型架构或训练策略，以减少属性错误的发生。
- 模型集成和融合：属性错误可能是由于单一模型的局限性导致的。为了解决这个问题，可以考虑使用模型集成和融合的方法。通过将多个BERT模型的预测结果进行集成和融合，可以提高模型的性能和鲁棒性，减少属性错误的发生。
总之，解决BERT模型运行后的属性错误需要综合考虑数据预处理、模型调优、错误分析和调试以及模型集成和融合等方面的方法。具体的解决方案可以根据具体的应用场景和问题进行调整和优化。
相关·内容
嗨，我从这里下载了伯特预培训模型(https://storage.googleapis.com/bert_模型/2018年_10_18/外壳_L-12_H-768_A-12.zip)，并保存到gogole colab和本地的一个目录中。
当我试图在colab中加载模型时，得到“我们假设”/content/驱动器/My Drive/bert_training/uncased_L-12_H-768_A-12/config.json“。尝试在局部机器上对模型进行laod，得到相同的误差。
我就是这样加载模型的:从变压器导入BertForMaskedLM BertForMaskedLM
这是正确的方式
浏览 0提问于2019-12-06得票数 5
回答已采纳
2回答
我正在使用SentenceTransformers库(这里：)来使用预训练模型bert-base-nli-mean tokens创建句子的嵌入。我有一个应用程序将部署到不能访问互联网的设备上。这里，已经回答了如何保存模型。然而，我被困在从本地保存的路径加载保存的模型。
当我尝试使用上面提到的技术保存模型时，输出文件如下：
('/bert-base-nli-mean-tokens/tokenizer_config.json',
'/bert-base-nli-mean-tokens/special_tokens_map.json',
'/bert-ba
浏览 197提问于2020-12-23得票数 5
我使用的是Google，下面的导入不知何故不起作用：
from bert.tokenization import FullTokenizer
我得到了这个错误：
ModuleNotFoundError: No module named 'bert.tokenization'
我试图通过运行以下命令来安装bert：
!pip install --upgrade bert
知道如何解决这个错误吗？
浏览 8提问于2019-06-12得票数 11
回答已采纳
1回答
我正试着在Colab多核TPU上运行我的模型，但我真的不知道怎么做。我尝试了，但我得到了一些错误，我不能修复它，但我认为可能有更简单的等待来完成它。
关于我的模型：
class BERTModel(nn.Module):
def __init__(self,...):
super().__init__()
if ...:
self.bert_model = XLMRobertaModel.from_pretrained(...) # huggingface XLM-R
elif ...:
浏览 2提问于2020-12-03得票数 1
我正在寻找一种方法来用BERT运行一个简单的例子。如何使用谷歌BERT分析上下文？https://github.com/google-research/bert例如，我有一段维基百科文本，以及来自谷歌的预训练BERT模型。如何将段落传递给BERT并获得主要上下文的文本表示？谢谢! EDTED： 示例:我们有一个段落 “我正在寻找一种使用BERT运行一个简单示例的方法。如何使用谷歌BERT分析上下文？https://github.com/google-research/bert例如，我有一段维基百科文本，以及来自谷歌的预先训练的BERT模型。如何将该段落传递给BERT并获得主要上下文的文本表示
浏览 18提问于2019-01-16得票数 1
回答已采纳
我有一段代码用于加载一个执行良好的BERT模型，但现在它引发了一个错误。
这是代码
model = load_trained_model_from_checkpoint( config_path、checkpoint_path、trainable=True、seq_len=SEQ_LEN、output_layer_num=4 )
现在它引发的错误是：
AttributeError：'tuple‘对象没有属性'layer’
环境设置如下：
keras-bert=0.85.0
keras=2.4.3
tensorflow=1.15.2
事先非常感谢
浏览 5提问于2022-02-03得票数 0
加载从分布式模式下的模型保存的模型时，模型名称不同，从而导致此错误。我该如何解决这个问题？ File "/code/src/bert_structure_prediction/model.py", line 36, in __init__
self.load_state_dict(state_dict)
File "/usr/local/lib/python3.8/dist-p
浏览 55提问于2021-07-15得票数 0
回答已采纳
1回答
Bert是一个非常强大的文本分类模型，但bert的实现需要比任何其他模型多得多的代码。bert-text是pypi包，为开发人员提供了一个现成的解决方案。我已经安装了它，我已经尝试导入，它抛出错误ModuleNotFoundError:没有名为‘bert_text’的模块。我已经正确地写入了名称bert_text。我已经在Kaggle，Colab和本地机器上尝试过了，但是错误是一样的。
浏览 24提问于2019-10-14得票数 0
1回答
拥抱面模型的OSError
、、、、
我正在尝试使用拥抱面模型()，但是在加载令牌程序:代码时会出现错误：
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("CAMeL-Lab/bert-base-arabic-camelbert-ca")
model = AutoModelForMaskedLM.from_pretrained("CAMeL-Lab/bert-base-arabic-camelbert-ca")
错误：
OSError: Ca
浏览 19提问于2022-03-15得票数 0
1回答
我正在尝试从TensorFlow集线器微调BERT模型。我加载了预处理层和编码器，如下所示：
bert_preprocess_model = hub.KerasLayer('https://tfhub.dev/tensorflow/bert_multi_cased_preprocess/3')
bert_model = hub.KerasLayer('https://tfhub.dev/tensorflow/small_bert/bert_en_uncased_L-4_H-512_A-8/1')
这是我的模型定义：
def build_classifier_mo
浏览 9提问于2021-03-10得票数 0
我已经创建了一个接受形状输入的模型(无，512)。下面是我的模型的总结
训练特征形状
train_ids.shape
(10, 512)
训练响应变量的形状
indus_cat_train.shape
(10, 49)
我的模型运行完美，如果我使用
history = model.fit(
train_ids, indus_cat_train, epochs=2, validation_data=(
valid_ids, indus_cat_valid))
然而，我的实际数据集非常大，同时为完成的数据集提供大量内存并关闭所有进程。
我想分批或一个一个地提供所有
浏览 2提问于2020-07-13得票数 1
1回答
重新训练BERT模型
、、、、
我已经使用pytorch为分类任务训练了大约一百万个文本数据的BERT模型。在用新数据测试这个模型后，我得到了假阳性和假阴性。现在我只想用FN和FP重新训练现有的模型。我不想将FN和FP附加到现有的数据集，然后再次训练整个模型。如何仅使用这些FN和Fp重新训练此bert模型，而不是先前训练的模型。
浏览 31提问于2021-11-23得票数 0
有谁有使用SentenceTransformer (伯特)的经验吗？
我的代码：
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('roberta-large-nli-stsb-mean-tokens')
我的错误：
FileNotFoundError: [Errno 2] No such file or directory: 'C:\\Users\\ga2943/.cache\\torch\\sentence_transformers\\public.u
浏览 7提问于2020-02-14得票数 3
回答已采纳
例如，我想使用现有配置从头开始训练一个BERT模型。下面的代码是正确的方法吗？ model = BertModel.from_pretrained('bert-base-cased')
model.init_weights() 因为我认为init_weights方法会重新初始化所有的权重。 第二个问题，如果我想稍微改变一下配置，比如隐藏层的数量。 model = BertModel.from_pretrained('bert-base-cased', num_hidden_layers=10)
model.init_weights() 我想知道以上是不是正确的
浏览 156提问于2020-08-19得票数 4
回答已采纳
2回答
我试着用TPU来完成谷歌上的BERT模型。但我总是会遇到以下错误：
'bert_layer_module/bert/encoder/layer_10/attention/output/LayerNorm/beta:0‘：ValueError:变量(tf.Variable shape=(768，) dtype=float32)不是在0x7f6a1fad3390的(tensorflow.python.distribute.tpu_strategy.TPUStrategyV1对象的分发策略范围中创建的。这很可能是因为并非所有层或模型或优化器都是在分发策略范围之外创建的。试着确保您的代码看起
浏览 2提问于2019-08-02得票数 1
我已经创建了自己的BertClassifier模型，从预先训练开始，然后添加由不同层组成的自己的分类头。微调之后，我想使用model.save_pretrained()保存模型，但当我打印它时，从预先训练过的上传它，我没有看到我的分类器头。代码如下。如何将所有的结构保存在我的模型中，并使其完全可以使用AutoModel.from_preatrained('folder_path')访问？谢谢!
class BertClassifier(PreTrainedModel):
"""Bert Model for Classification Tasks
浏览 33提问于2022-06-04得票数 0
回答已采纳
1回答
我的问题：如何让我的“问答”模型运行，给出一个大的(>512 b) .txt文件？
Context：我正在使用谷歌的word嵌入模型BERT创建一个问答模型。当我导入一个带有几个句子的.txt文件时，该模型工作得很好，但是当.txt文件超过了作为模型学习上下文的512 b单词的限制时，该模型将不会回答我的问题。
我试图解决问题：我在编码部分设置了一个max_length，但这似乎解决不了问题(我的尝试代码在下面)。
from transformers import AutoTokenizer, AutoModelForQuestionAnswering
import torch
max
浏览 1提问于2020-12-19得票数 1
回答已采纳
1回答
我正尝试在Colab中用ktrain运行DistilBert，但是我得到了“错误，太多的值无法解包”。我正在尝试执行有毒评论分类，我从CivilComments上传了'train.csv‘，我可以运行BERT，但不能运行DistilBert #prerequisites:
!pip install ktrain
import ktrain
from ktrain import text as txt
DATA_PATH = '/content/train.csv'
NUM_WORDS = 50000
MAXLEN = 150
label_columns = [&#
浏览 36提问于2021-04-23得票数 1
如何用拥抱式变压器在rasa中实现BERT，在rasa中运行Bert模型需要什么？
recipe: default.v1
*# Configuration for Rasa NLU.
# https://rasa.com/docs/rasa/nlu/components/*
language: en
pipeline:
*# how to implement this BERT in rasa*
- name: HFTransformersNLP
model_weights: "bert-base-uncased"
model_name: "ber
浏览 13提问于2022-01-04得票数 0
回答已采纳
2回答
如何离线使用列车？
、、、、
我训练我的英语模型跟随这个笔记本()。我能够保存我的预先训练的模型，并运行它没有问题。
然而，我需要再次运行它，但是离线运行，而且它不起作用，我知道我需要下载这个文件，并做一些类似于这里所做的事情。
然而，我无法理解我需要在哪里改变火车的设置。
我负责这个：
ktrain.load_predictor('Functions/my_english_nermodel')
这就是我遇到的错误：
Traceback (most recent call last):
File "Z:\Functions\NER.py", line 155, in load_bert
浏览 4提问于2020-06-02得票数 0
回答已采纳
3回答
我正在使用预训练的BERT模型将文本标记化为有意义的标记。然而，文本中有许多特定的单词，我不希望BERT模型将它们分成几个单词。有什么解决方案吗？例如：
tokenizer = BertTokenizer('bert-base-uncased-vocab.txt')
tokens = tokenizer.tokenize("metastasis")
像这样创建令牌：
['meta', '##sta', '##sis']
但是，我希望将整个单词保留为一个标记，如下所示：
['metastasis']
浏览 0提问于2020-05-29得票数 4
在实现我的模型时，我得到了这个错误。我认为错误来自我进口的bert模型。
def create_text_encoder(
num_projection_layers, projection_dims, dropout_rate, trainable=False
):
# Load the BERT preprocessing module.
preprocess = hub.KerasLayer(
"https://tfhub.dev/tensorflow/bert_en_uncased_preprocess/2",
n
浏览 10提问于2022-06-29得票数 0
回答已采纳
目标:使用这个对albert-base-v2模型执行量化。
内核：conda_pytorch_p36.
第1.2和2.2节中的输出显示：
将香草BERT从PyTorch转换为ONNX，保持相同大小的，417.6 MB。
量化模型的比香草BERT、PyTorch 173.0 MB和ONNX 104.8 MB小。
但是，当运行ALBert时
PyTorch和ONNX模型的尺寸是不同的。
量化模型尺寸比香草大。
我认为这是模型性能较差的原因，与香草ALBert相比，ALBert的两种量化ALBert方法的模型性能都较差。
PyTorch：
Size (MB): 44
浏览 35提问于2022-01-20得票数 0
回答已采纳
1回答
我想用Electra模型而不是Bert模型来运行模型。但是，我在Electra模型中得到了一条错误消息，但是在Huggingface文档中找不到关于如何修复它的提示。
我尝试不同的伯特模型，如罗伯塔基地，伯特基地德国大小写或spanbert/spanbert基大小写。一切正常。但是如果我尝试一个Electra模型，比如google/electra鉴别器，或者是德国nlp-组/electra-基德国模式，那么它就不能工作了。
显示的错误：
out, _ = self.bert(subwords_batches_tensor, attention_mask=torch.tensor(attent
浏览 12提问于2022-06-19得票数 0
我是第一次运行一个用于文本分类的BERT模型。我按照说明和源代码提供，包括以下导入语句：
from fastai.text import *
from fastai.callback.all import * # instead of from fastai.callbacks import *
from pytorch_pretrained_bert.modeling import BertConfig, BertForSequenceClassification
from pytorch_pretrained_bert import BertTokenizer
但是，我从这一行中得到了一
浏览 5提问于2021-05-18得票数 0
2回答
我在Jetson有一个NLP模型，在Py手电筒上训练。我安装了Jetson来监控CPU和GPU的使用情况。当我运行Python脚本时，只有CPU内核才能加载，GPU条不会增加.我在Google上搜索过这方面的关键词，比如“如何检查Py手电是否使用GPU?”根据他们对面临类似问题的其他人的建议，cuda是可用的，我的Jetson中也有cuda设备。但是，我不明白为什么GPU条不改变，CPU核心条走到尽头。
我不想使用CPU，计算时间太长了。在我看来，它使用的是CPU而不是GPU。我如何确定，如果它使用CPU，如何将它更改为GPU？
注：模型取自拥抱式变压器库。我尝试在模型上使用cuda()方法。
浏览 8提问于2020-09-15得票数 0
回答已采纳
我正在尝试进行二进制分类，我的数据的每个条目都由一个特性列表(以前生成的tensor.numpy.flatten特性保存在csv上并加载为熊猫数据)和一个标签(0或1值)组成。
然后，我创建了一个简单的模型(只是为了测试)，它包含了一个密集的16个relu层和一个密集的1个乙状结肠层。我用BinaryCrossentropy损失和Adam优化器编译了模型。
当我运行模型拟合时，我得到了错误，
ValueError: Dimension 0 in both shapes must be equal, but are 2 and 1. Shapes are [2] and [1]. for
浏览 5提问于2021-08-17得票数 0
我正在学习拥抱脸变压器模型，并看了这个。
我看到了下面的一些代码示例，并做了一些额外的google搜索，并意识到下面这样的事情可以完成。我决定浏览文档，搜索完TFAutoModelForSequenceClassification后，google搜索返回了这个。
但该页面没有解释方法/函数/属性(如model.summary()或model2.layers[0].trainable )。它甚至没有提到在num_labels中有一个参数TFAutoModelForSequenceClassification.from_pretrained。我意识到这些是因为我的其他谷歌搜索返回了
有没有更好的文
浏览 11提问于2021-12-29得票数 -2
4回答
如何在本地使用tf-hub模型
、、、、
我一直在尝试使用tf-hub https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/2的BERT模型。 import tensorflow_hub as hub
bert_layer = hub.keras_layer('./bert_en_uncased_L-12_H-768_A-12_2', trainable=True) 但问题是，它每次运行后都会下载数据。 所以我从tf-hub https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/2
浏览 172提问于2020-07-01得票数 1
我正在与TensorFlow和凯拉斯在TPU上工作，我需要加载预先训练的BERT模型并将其转换为TPU模型。我首先加载了模型，它工作得很好。 def _load_bert(self):
logging.info('Loading BERT from %s', self.bert_path)
config_path = os.path.join(self.bert_path, 'bert_config.json')
checkpoint_path = os.path.join(self.bert_path, 'bert_mode
浏览 62提问于2019-07-02得票数 1
回答已采纳
1回答
描述
我正在R中创建一个函数，它使用Python的sentence_transformers库嵌入句子。
由于一些未知的原因，在同一个变量名下多次创建对象，最终导致内存空间不足，无法分配转换器。复制：
sentence_transformers <- reticulate::import("sentence_transformers")
for (i in 1:10) {
print(i)
bert_encoder <- sentence_transformers$SentenceTransformer("bert-large-nli-stsb-me
浏览 12提问于2020-07-16得票数 2
回答已采纳
嗨，我在保存和加载一个tensorflow模型时遇到了一些严重的问题，这个模型结合了人脸转换器和一些自定义的层来进行分类。我使用的是最新的Huggingface transformers keras版本。其思想是使用distilbert提取特征，然后通过CNN运行特征进行分类和提取。只要得到正确的分类，我已经做好了所有的工作。
问题是在训练后保存模型，然后再次加载模型。
我使用的是tensorflow keras和tensorflow版本2.2
以下是设计模型、训练模型、评估模型，然后保存和加载模型的代码
bert_config = DistilBertConfig(dropout=0
浏览 31提问于2020-05-17得票数 3
我正在尝试使用来自Keras集线器()的BERT多语言作为TensorFlow模型中的一个层。在不使用分发策略的情况下训练模型效果很好。但是，当尝试通过分发策略利用Google Cloud TPU时，训练模型失败，并出现以下错误：
ValueError: Variable (<tf.Variable 'bert/embeddings/word_embeddings:0' shape=(119547, 768) dtype=float32>) was not created in the distribution strategy scope of (<tens
浏览 4提问于2020-01-08得票数 1
我正在使用BERT模型对蒸汽评论数据集进行情绪分析，其中我有两个标签:正标签和否定标签。我用两个线性层对模型进行了精细的调整，代码如下所示。
bert = BertForSequenceClassification.from_pretrained("bert-base-uncased",
num_labels = len(label_dict),
output_attentions
浏览 22提问于2021-07-14得票数 2
回答已采纳
使用以下函数定义创建模型
def create_model(max_length = 256):
bert_model = TFBertModel.from_pretrained('bert-base-uncased')
for layer in bert_model.layers:
layer.trainable = False
input_ids = tf.keras.Input(shape = (max_length, ), dtype = tf.int32, name = 'input_ids')
attention_masks
浏览 7提问于2021-11-16得票数 0
回答已采纳
我将在这里描述我的意图。我想通过tf-hub函数hub.module(bert_url，trainable = True)导入BERT预训练模型，并将其用于文本分类任务。我计划使用一个大型语料库来微调BERT的权重，以及几个输入为BERT输出的密集层。然后我想冻结BERT的层，只训练BERT之后的致密层。我怎样才能有效地做到这一点呢？
浏览 25提问于2020-03-29得票数 0
我刚刚安装了Anaconda模块和Bert提取摘要程序包。我在导入模块时遇到以下错误：
from transformers import *
from summarizer import Summarizer
~\anaconda3\lib\site-packages\summarizer\model_processors.py in <module>
----> 1 from summarizer.bert_parent import BertParent
2 from summarizer.cluster_features import ClusterFeat
浏览 1提问于2020-03-13得票数 0
1回答
我正在尝试让pytorch模型运行在句子分类任务上。在处理医学笔记时，我使用的是ClinicalBert (https://github.com/kexinhuang12345/clinicalBERT)，并希望使用其预先训练好的权重。不幸的是，ClinicalBert模型只将文本分类为1个二进制标签，而我有281个二进制标签。因此，我正在尝试实现此代码https://github.com/kaushaltrivedi/bert-toxic-comments-multilabel/blob/master/toxic-bert-multilabel-classification.ipynb，其
浏览 94提问于2020-04-14得票数 6
我在docker容器中运行机器学习模型。该模型将经历训练、评估、测试和交互4个过程。我使用以下方法启动docker：
sudo docker run --runtime=nvidia --name tensorflow_bert_dst -it -p 8888:8888 tensorflow/tensorflow:1.13.2-gpu-py3-jupyter
训练的过程很长，所以我关闭了终端，让docker在服务器上运行。几个小时后，我想使用以下方法检查结果并与模型交互。
docker attach tensorflow_bert_dst
但是docker挂起了，没有显示任何结果，如何进入
浏览 22提问于2019-11-01得票数 1
回答已采纳
2回答
我们对bert-base-uncased( BERT )模型和CoLA数据集进行了精细调整，以完成句子分类任务.数据集是有语法错误和没有语法错误的句子的组合。然后，再训练的模型被用来识别有或没有错误的句子。除了建立分类器外，我们还可以使用BERT的其他方法吗？
浏览 0提问于2021-01-06得票数 3
1回答
我是自然语言处理的新手，我想为情绪分析建立一个bert模型，所以我遵循这个教程https://curiousily.com/posts/sentiment-analysis-with-bert-and-hugging-face-using-pytorch-and-python/，但我得到了下面的错误 bert_model = BertModel.from_pretrained(PRE_TRAINED_MODEL_NAME)
last_hidden_state, pooled_output = bert_model(
input_ids=encoding['input_ids&
浏览 83提问于2020-12-27得票数 0
1回答
如何在训练过程中保持模型固定？
、、、、
我正在尝试实现一个模型，该模型使用来自不同数据集的多个预训练BERT模型的编码，并使用完全连接层获得组合表示。在这方面，我希望BERT模型应该保持固定，只有完全连接的层应该得到训练。在huggingface-transformers中实现这一点是可能的吗？我没有看到任何允许我这样做的标志。 PS:我不想把每个BERT模型的输入编码都去掉，然后把它们当作输入。
浏览 29提问于2020-04-28得票数 0
回答已采纳
在将模型预测发送到模型中时，我在PyTorch中得到了以下错误输出。有人知道这是怎么回事吗？
下面是我创建的体系结构模型，在错误输出中，它显示问题存在于x= self.fc1(cls_hs)行中。
class BERT_Arch(nn.Module):
def __init__(self, bert):
super(BERT_Arch, self).__init__()
self.bert = bert
# dropout layer
self.dropout = nn.Dropout(0.1)
浏览 0提问于2020-12-01得票数 5
我对我的bert模型的测试集的评估有疑问。在eval部分中，param.requires_grad应该是真还是假？如果我在训练期间做了一次完全的微调，那将是独立的。我的模型是model.eval()模式，但是当我调用它进行评估时，我希望确保在Model()类中没有任何错误。谢谢！
if freeze_bert == 'True':
for param in self.bert.parameters():
param.requires_grad = False
#logging.info('freeze_
浏览 9提问于2022-06-20得票数 -1
回答已采纳
(我正在学习关于BERT word嵌入的 author教程，在本教程中，作者访问了BERT模型的中间层。)
我想要的是使用HuggingFace的Transformers库访问TensorFlow2中BERT模型的单个输入令牌的最后4层。因为每个层输出一个长度为768的向量，所以最后4个层的形状为4*768=3072 (对于每个令牌)。
如何在TF/keras/TF2中实现这一点，以获得输入令牌的预训练模型的中间层？(稍后，我将尝试为句子中的每个令牌获取令牌，但现在一个令牌就足够了)。
我正在使用HuggingFace的BERT模型：
!pip install transformers
fro
浏览 8提问于2020-04-27得票数 7
回答已采纳
我在直接下载Bert模型(公司的隐私政策)时遇到连接问题，所以我在https://github.com/huggingface/transformers/blob/master/src/transformers/tokenization_bert.py下载了BertTokenizer 并得到了我的模型令牌器的txt文件。“bert-base-多语言大小写”："https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-cased-vocab.txt"， 但是当我导入记号赋予器模型时，得到
浏览 13提问于2020-01-13得票数 0
回答已采纳
1回答
我想对一个预先训练好的BERT模型进行微调。但是，我的任务使用特定领域内的数据(比如生物医学数据)。此外，我的数据也是一种不同于英语的语言(比如荷兰语)。
现在，我可以微调荷兰bert-base-荷兰案例预训练模型。然而，我该如何对生物医学BERT模型进行微调，比如BioBERT，它属于正确的领域，但语言错误？
我曾经考虑过使用NMT，但我不认为它是可行的，也不值得为此付出努力。如果我在没有对模型进行任何更改的情况下进行微调，我担心模型不会很好地学习任务，因为它是在完全不同的语言上预先训练的。
浏览 4提问于2021-01-28得票数 2
2回答
我是个新手！我正在尝试在Kaggle内核上从头开始训练BERT模型。无法使BERT run_pretraining.py脚本在TPU上工作。不过，它在CPU上运行良好。我猜问题出在$TPU_NAME环境变量上。
!python run_pretraining.py \
--input_file='gs://xxxxxxxxxx/*' \
--output_dir=/kaggle/working/model/ \
--do_train=True \
--do_eval=True \
--bert_config_file=/kaggle/input/bert-bangla-test
浏览 6提问于2020-08-05得票数 1
我已经下载了伯特预训练过的模型‘伯特-基地-大小写。我无法在BertTokenizer的帮助下加载模型。我正在尝试伯特令牌。在伯特预训练-模型文件夹，我有config.json和pytorch_model.bin。
tokenizer = BertTokenizer.from_pretrained(r'C:\Downloads\bert-pretrained-model')
我面临的错误就像
OSError Traceback (most recent call last)
<ipython-input-
浏览 4提问于2021-03-04得票数 1
1回答
张量流模型的保存与模型平均计算
、、、、
我正在尝试实现和复制在纸中属于联邦Bert的结果。
我更喜欢使用伯特预培训的TensorFlow代码。
对于以联邦方式进行的培训，最初，我将数据集分为3个不同的筒仓(每个筒仓包含50名患者的出院总结，使用的是模拟-3数据)。然后使用TensorFlow实现对每个数据集的Bert模型进行预训练，从Bert的正式发布开始进行Bert预培训。
现在我有三种不同的模型，它们都是从不同的数据集中预先训练出来的。对于模型聚合，我需要所有三种模型的平均值。由于每个筒仓的音符数量是相等的，所以为了平均，我需要对所有模型进行求和，然后除以3。如何像论文中所做的那样获得模型的avg？，有人，请给我一些见解来正确地
浏览 7提问于2020-06-17得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
