我想通过tf-hub函数hub.module(bert_url，trainable = True)导入BERT预训练模型，并将其用于文本分类任务。我计划使用一个大型语料库来微调BERT的权重，以及几个输入为BERT输出的密集层。然后我想冻结BERT的层，只训练BERT之后的致密层。我怎样才能有效地做到这一点呢？
浏览 25提问于2020-03-29得票数 0
3回答
微调BERT的最后x层
、、、
我试着微调BERT只在特定的最后一层(比方说最后三层)。我想使用谷歌Colab进行TPU培训。我使用hub.Module加载BERT并对其进行微调，然后将微调后的输出用于我的分类任务。bert_module = hub.Module(BERT_MODEL_HUB, tags=tags, trainable=True) hub.Module可以选择将模型设置为可训练
浏览 67提问于2019-05-08得票数 2
3回答
预先训练的变压器(GPT2，Bert，XLNET)由于其传输学习能力而广受欢迎和有用。
作为提醒:迁移学习的目的是传递从一个领域/任务中获得的知识，并使用该转移/使用该知识来解决一些相关任务。这是通过对大量标签数据(我们已经拥有并且可能很容易获得)进行模型培训来完成的，然后删除最后几层，用与任务相关的数据集对新的相关任务进行微调。我拿了谷歌最近发布的一个名为XLNET的预培训转换器，从上面添加了分类层</e
浏览 0提问于2020-08-12得票数 4
我试图解决一个由25K样本组成的相对平衡训练集和由~5K样本组成的评价集的10个类的多标签分类任务。并取得了较好的结果(ROC AUC = 0.98)。但是，我看到了一些奇怪的行为，我似乎没有意识到-for param in model.bert.parameters():gives当像这样配置模型时，训练模型
浏览 0提问于2020-10-25得票数 4
4回答
我想在特定的域上对BERT进行微调。我在文本文件中有该域的文本。我如何使用这些来微调BERT？我目前正在寻找。
我的主要目标是使用BERT实现句子嵌入。
浏览 3提问于2020-05-23得票数 6
BERT对基本模型的预训练是通过一种语言建模方法完成的，在这种方法中，我们在句子中掩蔽了一定百分比的标记，并让模型学习那些缺失的掩码。然后，我认为，为了完成下游任务，我们添加了一个新的初始化层，并对模型进行了微调。
然而，假设我们有一个巨大的句子分类数据集。从理论上讲，我们能否从零开始初始化BERT的基本体系结构，同时训练额外的下游任务特定层+基模型权值，只使用这个句子分类数据集形
浏览 2提问于2020-05-15得票数 7
回答已采纳
3回答
什么是冻结/解冻一层神经网络？
、、、、
我已经和神经网络玩了很长一段时间了，最近我在训练神经网络之前遇到了“冻结”和“解冻”这两个术语，同时读到了关于迁移学习的知识&我很难理解它们的用法。
我如何确定我是否需要解冻？如果是这样的话，我如何确定哪些层需要解冻和培训以提高模型的
浏览 3提问于2020-06-06得票数 6
回答已采纳
1回答
我决定把伯特的模型加载成一个预先训练过的模型，并对其进行微调，以解决我的问题。事情是，训练是非常缓慢的(在GPU上)，而我确保冻结伯特的层，所以我只需要训练一个密集的一层结束。tensorflow.keras import Model
distil_bert= 'di
浏览 1提问于2020-10-28得票数 1
我通过冻结除分类器层之外的所有层对预训练模型here进行了微调。并且我用pytorch作为.bin格式保存了体重文件。现在不加载400mb的预训练模型，有没有办法加载我重新训练的just分类器层的参数？顺便说一句，我知道我必须加载原始的预训练模型，我只是不想加载整个微调的模型。由于内存问题。classifier' not in name: # classifier layer
浏览 40提问于2021-08-17得票数 4
回答已采纳
在预先训练的word2vec嵌入的情况下，损失函数是如何工作的，因为在training.Then期间没有更新权值，反向传递是如何工作的，以及它更新了什么来进行预测？
浏览 1提问于2019-03-26得票数 0
回答已采纳
我关注了一篇关于如何从头开始实现vgg16-model的博客，我想用Keras的预训练模型来做同样的事情。我查了一些其他的博客，但我想找不到合适的解决方案。我在一篇论文中看到，他们使用vgg16的预训练imagenet模型进行织物缺陷检测，他们冻结了前七层，并针对自己的问题对后九层进行了微调。(来源：https://journals.sagepub.com/doi/full&#
浏览 14提问于2020-07-15得票数 0
回答已采纳
1回答
预训练卷积神经网络的微调
、、、
当我阅读和搜索关于预先训练的网络微调的内容时，它分为以下两个步骤(简单地说)：
如果你想要更多的信息来澄清这个问题，请告诉我。
浏览 2提问于2017-12-11得票数 0
回答已采纳
2回答
我想使用预训练的神经网络，并根据我的特定需求对其进行微调。我想使用Python和Lasagne框架来实现这一点。在以下位置：
我找到了一个如何对特定图像使用预训练网络的示例。我的问题是，我想使用上面链接中描述的网络作为起点，并在其上添加最后一层，使其实现两类分类器，这是我所需要的。因此，我希望冻结网络中的所有层，并只允许在我最后添加的层中进行训练</em
浏览 2提问于2016-03-31得票数 2
当我过去使用textcnn进行分类工作时，我有经验使用预先训练过的单词嵌入(比如Word2Vec和fasttext文本)来细化textcnn。我想，“由于使用BERT预训练的嵌入到初始其他网络的嵌入层和细化应该没有什么不同，所以应该很容易！”但事实上，昨天我试了一整天，但还是做不到。得到每个sentence.Put的单词嵌入从2到textcnn，并训练。通过使用这种方法，我终于可以训练，但认真思考，我认为我根本没有做一个最后的……
因
浏览 4提问于2021-01-20得票数 0
2回答
例如，现在，假设我想使用BERT作为电影标签推荐。有什么理由让我在电影相关数据集上从无到有地培训一个新的伯特模型？
我的模型能变得更准确吗，因为我把它训练成电影相关的文本而不是一般的文本？
浏览 0提问于2021-02-07得票数 1
回答已采纳
我需要对已经经过培训的现有deeplearning4j (DL4J)模型进行更改。网络由一个输入层、一个Graves LSTM和一个RNN输出层组成。我的问题是:是否有可能在LSTM层中添加一个或多个未经训练的神经元，而不必重新构建新的配置模型(我认为这需要再培训)？我想做这样的事情，比如，将一个或多个神经元添加到一个现有的层中，或者将一个完整的层(未经训练)添加到一个经过训练的模型中。
这些有可能吗？请忽略这一事实，它将搞垮了<em
浏览 2提问于2018-05-27得票数 3
回答已采纳
1回答
在TensorFlow中，这是可能的--我可以加载各种预先训练过的网络，并直接使用它们的层。为了对网络进行微调，我可以冻结中间层的训练，只训练最后一层，或者只利用中间层的输出作为特征向量输入到另一个分类器中。
我如何在NiftyNet中做到这一点？此外，我训练网络的唯一方法似乎是运行net_classify train，使用配置文件中的各种TRAIN配置选项，它们都没有冻结网络的选项。niftyne
浏览 0提问于2018-06-08得票数 4
我正在用ResNet50模型进行微调，以便使用数据拼凑来进行人脸识别，但观察到模型的精度在提高，但从一开始就没有提高验证的准确性，我没有搞错哪里，请检查我的代码。
浏览 3提问于2018-10-28得票数 4
回答已采纳
3回答
这一层对于每一个可以想象的计数来说都是一个特例。这里有几件事要记住。
BatchNormalization包含2个不可训练的重量，在训练期间得到更新。这些是跟踪输入的均值和方差的变量。设置bn_layer.trainable = False时，BatchNormalization层将以推理模式运行，不会更新其均值和方差统计信息。对于一般的其他层，就不是这样了。当您解冻包含BatchNormalization层的模型以进行微调时，您应该在调用基
浏览 7提问于2021-06-08得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
