在我的序列分类模型的微调BERT上应用LIME解释？
在我的序列分类模型的微调BERT上应用LIME解释是指在使用BERT进行序列分类任务时，通过LIME（Local Interpretable Model-Agnostic Explanations）方法来解释模型的预测结果。
LIME是一种解释机器学习模型预测结果的方法，它通过对输入样本进行局部特征权重的分析，以解释模型预测结果的原因。在微调BERT模型上应用LIME解释可以帮助我们理解BERT模型在分类任务中的决策过程，并得出哪些输入特征对于模型预测起到关键作用。
具体步骤如下：
- 数据预处理：将输入序列样本进行分词、编码等预处理操作，以符合BERT模型的输入要求。
- 微调BERT模型：使用已标注的训练数据对BERT进行微调，生成一个序列分类模型。
- 提取特征：对待解释的输入序列进行特征提取，可以使用BERT模型的隐藏层输出或者其他方法。
- 生成解释：运用LIME方法，通过对输入序列进行扰动，生成一系列近似样本，然后通过这些近似样本在微调的BERT模型上进行预测，得到每个特征的重要性权重。
- 解释结果可视化：将特征的重要性权重可视化，以便理解BERT模型在分类任务中的决策过程。
应用场景：
- 在自然语言处理领域中，当需要对BERT模型的预测结果进行解释时，可以使用LIME方法对模型进行解释，从而得到对模型预测结果的理解和信任度评估。
推荐的腾讯云相关产品： 腾讯云提供了一系列与云计算、人工智能相关的产品和服务，其中与BERT模型微调和解释相关的产品如下：
- 自然语言处理（NLP）：腾讯云的NLP产品提供了一系列基于自然语言处理技术的服务，如文本分类、情感分析等。可以使用这些服务来辅助进行BERT模型的微调和解释。
- 机器学习平台（AI Lab）：腾讯云的机器学习平台提供了一系列用于训练、部署和管理机器学习模型的工具和服务，可以用于微调和解释BERT模型。
- 可视化智能（VI）：腾讯云的可视化智能产品提供了一系列基于人工智能技术的图像和视频分析服务，虽然与文本分类不直接相关，但可以提供更多解释模型预测结果的手段。
腾讯云产品介绍链接：
- 自然语言处理（NLP）：https://cloud.tencent.com/product/nlp
- 机器学习平台（AI Lab）：https://cloud.tencent.com/product/tia
- 可视化智能（VI）：https://cloud.tencent.com/product/vi
相关·内容
我使用ktrain对文本分类的bert模型进行了微调。同样，我想在另一个文本分类数据上对此模型进行微调。我该怎么做？
浏览 23提问于2021-04-29得票数 1
我想要创建序列分类bert模型。模型输入为2句。但是，我想用大上下文数据对模型进行微调，该数据由多个句子组成(标记的数量可能超过512)。如果训练数据的大小和实际输入数据的大小不同，可以吗？
谢谢
浏览 0提问于2022-03-25得票数 1
我想用huggingface做中文文本相似度： tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = TFBertForSequenceClassification.from_pretrained('bert-base-chinese') 它不工作，系统报告错误： Some weights of the model checkpoint at bert-base-chinese were not used when initializing TFBertForSequenc
浏览 460提问于2020-07-13得票数 1
我需要完成一个句子分类任务的BERT模型(来自拥抱脸存储库)。然而，我的数据集真的很小，我有12K句，其中只有10%来自积极类。这里有谁有过在小数据集中整理bert的经验吗？您对学习速度、批次大小、划期次数、热身步骤等有何建议？
浏览 0提问于2019-12-10得票数 11
我正在寻找一种方法来用BERT运行一个简单的例子。如何使用谷歌BERT分析上下文？https://github.com/google-research/bert例如，我有一段维基百科文本，以及来自谷歌的预训练BERT模型。如何将段落传递给BERT并获得主要上下文的文本表示？谢谢! EDTED： 示例:我们有一个段落 “我正在寻找一种使用BERT运行一个简单示例的方法。如何使用谷歌BERT分析上下文？https://github.com/google-research/bert例如，我有一段维基百科文本，以及来自谷歌的预先训练的BERT模型。如何将该段落传递给BERT并获得主要上下文的文本表示
浏览 18提问于2019-01-16得票数 1
回答已采纳
1回答
我想知道，当人们说预训练的bert模型时，是否只训练了最终的分类神经网络 或 通过反向传播和分类神经网络，transformer内部是否有任何更新
浏览 121提问于2021-02-04得票数 1
回答已采纳
我对使用BERT进行各种NLP/文本挖掘任务有了基本的了解。当谈到伯特的微调时，我总是看到微调是使用一些分类任务来执行的。那么，当我有一组完全没有标签的文档时，我应该如何改进BERT模型给出的单词/句子嵌入向量？我知道，BERT模型最初是针对没有标签的数据进行培训的，所以必须有一些方法。
浏览 0提问于2020-05-27得票数 2
根据本文，"用于意图分类的系统包含以下内容的两个组件:字嵌入和分类器。“本文还对BERT+SVM和Word2Vec+SVM进行了评估。
我试图做的相反，比较两个不同的分类器(RNN和SVM)使用伯特的字嵌入。
我发现的大多数Python代码都使用BERT来解决整个意图分类问题，这使我感到困惑。示例
我只想用BERT将单词映射到向量中，并将结果输入到分类器(SVM/RNN)中。伯特同时支持文字嵌入和文本分类吗？有人有解释吗？我尝试用Python测试的内容可行吗？
我有一个有两列的dataframe :意图和问题。这是个小数据集。
谢谢!
浏览 0提问于2020-08-04得票数 4
3回答
如何微调微调GitHub副驾驶？
、、、、
我们可以微调语言模型，如BERT、GPT-3。
我可以微调GitHub Copilot模型吗？
我已经看过了的例子，但找不到细节。
如果有人能很好地调好吉顿副驾驶仪，我会很感激的。
浏览 26提问于2022-06-09得票数 1
回答已采纳
我正在bert架构上做实验，发现大多数微调任务都以最终的隐藏层作为文本表示，然后他们将其传递给其他模型以完成进一步的下游任务。
伯特的最后一层看起来如下：
我们取每句话的CLS标记：
我对这个、、进行了很多讨论--大多数数据科学家给出了这样的解释：
BERT是双向的，通过多层编码过程对CLS进行编码，包括所有令牌的所有代表性信息。在不同的句子中，CLS的表现形式是个体的。
我的问题是，为什么作者忽略了其他信息(每个令牌的向量)，而采用平均、max_pool或其他方法来使用所有信息，而不是使用CLS令牌进行分类？
这个CLS令牌与所有令牌向量的平均值相比有什么帮助？
浏览 6提问于2020-07-02得票数 37
1回答
我想在未标记的数据上对特定领域的BERT进行微调，并让输出层检查它们之间的相似性。我该怎么做呢？我是否需要首先微调分类器任务(或问题答案等)。然后拿到嵌入物？或者我可以只使用预训练的Bert模型，而不使用任务，并使用我自己的数据进行微调？
浏览 2提问于2020-04-22得票数 3
BERT对基本模型的预训练是通过一种语言建模方法完成的，在这种方法中，我们在句子中掩蔽了一定百分比的标记，并让模型学习那些缺失的掩码。然后，我认为，为了完成下游任务，我们添加了一个新的初始化层，并对模型进行了微调。
然而，假设我们有一个巨大的句子分类数据集。从理论上讲，我们能否从零开始初始化BERT的基本体系结构，同时训练额外的下游任务特定层+基模型权值，只使用这个句子分类数据集形成scratch，并且仍然取得了良好的效果？
谢谢。
浏览 2提问于2020-05-15得票数 7
回答已采纳
2回答
目前正在学习和阅读变压器模型，我发现在预培训阶段，BERT模型是通过MLM和NSP在一个大型语料库上进行训练的。但是在整理过程中，例如试图根据另一文本对情感进行分类时，所有的BERT参数(110M+参数+最终分类层)都是更新的，还是仅仅是最终的分类层？在我一直在寻找的资源中找不到具体的答案。
提前谢谢你。
浏览 0提问于2020-09-04得票数 1
1回答
Bert分类器模型的量化
、、、
我目前正在尝试量化一个bert分类器模型，但遇到了错误，我想知道目前是否支持这一点？为了清楚起见，我想问一下tensorflow-model-garden中的BERT分类器超类是否支持量化？提前感谢您的帮助！
浏览 10提问于2020-11-12得票数 0
1回答
在互联网上，我找到的只是分类tasks.But的例子，在我的问题中没有标签。(我只有一组tweet)。我的任务如下:使用BERT生成单词嵌入，现在在下一个任务中使用这个单词嵌入。我的目标:我想对BERT进行微调，以产生更好的单词嵌入。如何做到这一点？
浏览 15提问于2021-11-12得票数 0
1回答
Bert和SVM分类
、、、
我试图理解标题中的概念，以及它们如何适应二进制分类的任务。根据我的理解，到目前为止，你可以用各种特征提取方法对文本进行编码，这样一个词包。然后，您可以使用类似lib线性的方法来获得一个支持向量机liblinear模型，该模型能够对数据进行分类。另一方面，您可以通过将Bert与稠密层连接起来来建立模型。然后您可以微调这个模型，然后再一次获得一个分类器。你会在哪里使用其中的一个，为什么？
浏览 0提问于2021-01-22得票数 1
我对基于深度学习的NLP是新手，我有一个疑问--我正在尝试建立一个NER模型，我发现了一些人们依赖于BERT-BiLSTM模型的期刊。据我所知，BERT是一种语言模型，它从两个方向扫描上下文，并根据上下文嵌入单词。现在我的问题是--如果上下文是在使用BERT嵌入word的过程中捕获的，为什么我们需要另一层BiLSTM呢？
浏览 0提问于2021-01-06得票数 5
回答已采纳
1回答
我试图微调‘基于伯特的数据集’的基础上的文本分类任务。下面是我下载模型的方式：
import tensorflow as tf
from transformers import TFAutoModelForSequenceClassification, AutoTokenizer
model = TFAutoModelForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=num_labels)
tokenizer = AutoTokenizer.from_pretrained(
浏览 16提问于2022-03-03得票数 1
回答已采纳
如何使用Bert模型进行序列分类：
from transformers import BertTokenizer, BertForSequenceClassification
import torch
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')
input_ids = torch.tensor(tokenizer.encode(&
浏览 2提问于2020-02-11得票数 2
回答已采纳
在BERT预训练中，CLS标记被嵌入到负责下一个句子预测任务(或者，在某些BERT变体中，与其他任务，如ALBERT的句子顺序预测)的分类器的输入中；这有助于对整个转换器进行预训练，也有助于使CLS位置随时可用于重新训练到其他“句子尺度”任务。
我想知道SEP是否也可以用同样的方式进行再培训。虽然CLS可能更容易重新训练，因为transformer已经被训练为在整个句子中将其嵌入的含义注入，而SEP没有这些“连接”(有人会假设)，但这仍然可以通过足够的微调来工作。
有了这个，可以为两个不同的分类任务重新训练相同的模型，一个使用CLS，另一个使用SEP。
我错过了什么吗？有没有什么原因导致这种方
浏览 26提问于2020-02-24得票数 1
回答已采纳
2回答
文本摘要的BERT
、、、、
我正在尝试使用Keras中的seq2seq架构来构建一个文本摘要模型。我遵循了本教程的，并使用嵌入层实现了它，它工作得很好。但现在我想用BERT。在这样的任务中可以使用预训练的BERT嵌入吗，通常我看到的是文本分类，而不是BERT使用的编码器-解码器架构。
我从TF集线器访问BERT模型，并从本教程中实现了一个层类，我还相应地使用BERT标记器进行标记化，下面是我的模型
enc_in_id = Input(shape=(None, ), name="Encoder-Input-Ids")
enc_in_mask = Input(shape=(None, ), name="
浏览 3提问于2019-08-21得票数 2
2回答
我们对bert-base-uncased( BERT )模型和CoLA数据集进行了精细调整，以完成句子分类任务.数据集是有语法错误和没有语法错误的句子的组合。然后，再训练的模型被用来识别有或没有错误的句子。除了建立分类器外，我们还可以使用BERT的其他方法吗？
浏览 0提问于2021-01-06得票数 3
我目前的一个任务是将任何文本分类问题的基于keras BERT的模型转换为.pb文件。为此，我已经有了一个函数，它接受keras模型，但重点是，当我试图下载任何预训练版本的BERT时，它们总是没有任何用于分类的顶层，因此我应该在BERT之前手动添加tf.keras.layers.Input层，并在BERT之上添加任何神经网络架构(在CLS嵌入之后)。我的最终目标是摆脱微调的需要，并获得一些已经进行了微调的现成模型。我发现transformer库可能对此很有用，因为他们为某些数据集准备了一些基于BERT的模型。无论如何，使用他们的文档中的以下代码可以通过隐藏维度返回形状1的张量和标记数量。
fr
浏览 1提问于2021-04-06得票数 0
3回答
nlp任务中微调的意义
、、、、
迁移学习模式有两种类型。一种是特征提取，在对实际任务进行训练时，不改变预训练模型的权重，另一种是可以改变预训练模型的权值。
根据这些分类，静态词向量(如word2vec )是一个特征提取模型，每个向量都编码单词的意义。
这个词的意思改变了上下文。例如，“河岸”与“银行作为金融机构”。这些word2vec向量并不区分这些意义。
像Bert这样的当前模型考虑上下文。Bert是一种语言表示模型。这意味着，它内部可以用上下文词向量来表示单词。
默认情况下，伯特是一个微调模型.这就是我关于微调的想象力开始瓦解的地方。比如说，在Bert模型的基础上，我们创建了一些特定于任务的层。现在，如果我们微调，根据定
浏览 0提问于2019-05-27得票数 7
1回答
我只想使用Bert嵌入和使用Bert输出作为一个分类网的输入，我将从零开始构建。
我不确定我是否想为这个模型做修改。
我认为相关的类是BertModel或BertForPreTraining。
头包含两个“动作”：self.predictions是MLM (蒙面语言建模)，它赋予了BERT修正语法错误的能力，self.seq_relationship是NSP (下一句预测)，通常被称为分类头。
class BertPreTrainingHeads(nn.Module):
def __init__(self, config):
super().__init__()
浏览 8提问于2021-03-12得票数 4
回答已采纳
我使用下面的代码为我的文本分类生成嵌入。
import tensorflow as tf
import tensorflow_hub as hub
import tensorflow_text as text
bert_preprocess =hub.KerasLayer("https://tfhub.dev/tensorflow/bert_en_uncased_preprocess/3")
bert_encoder = hub.KerasLayer("https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-1
浏览 8提问于2022-02-04得票数 0
目前，我的工作是生产一个新的模式在星火。我有一个当前的实现，即在TokenClassification头上使用Huggingface，但是由于性能有点慢，而且代价很高，所以我试图找到优化的方法。
我检查了SPARKNLP实现，该实现缺乏经过预先培训的DISTILBERT，我是否认为有一种不同的方法，因此出现了一些有关这方面的问题：
Huggingface使用整个BERT模型，并为令牌分类添加了一个头。这与获取BERT嵌入并将它们提供给另一个NN相同吗？我这样问是因为这是SPARKNLP方法，它帮助获取这些嵌入并将其用作另一个复杂NN的特性。这难道不是失去了伯特内部的一些知识吗？，SPARKNL
浏览 2提问于2020-10-30得票数 2
回答已采纳
1回答
我正在制作一个句子分类模型，并在其中使用BERT单词嵌入。由于数据集非常大，我将所有句子组合在一个字符串中，并在由这些句子生成的标记上进行嵌入。 s = " ".join(text_list)
len(s) 这里s是字符串，text_list包含我想要在其上嵌入单词的句子。 然后我将字符串标记化。 stokens = tokenizer.tokenize(s) 我的问题是，BERT是在一次给出的整个句子上表现得更好，还是在整个字符串的标记上嵌入也没问题？ 下面是我的嵌入生成器的代码 pool = []
all = []
i=0
while i!=600000:
stoke
浏览 20提问于2020-08-27得票数 1
1回答
我在分类任务中对BERT进行了微调。 bert-as-a-service允许获取单词嵌入，但我想获取输入文本的类。 这个问题最好在这里描述：https://github.com/hanxiao/bert-as-service/issues/213 你有什么建议吗？
浏览 10提问于2019-09-19得票数 0
1回答
在bert上训练新数据集
、、、、
我是新来伯特的 我有一个amazon评论数据集，我想要根据评论预测星级 我知道我可以使用预先训练好的bert模型，如here所示 但我想在我自己的数据集上训练bert模型。这就是here正在做的事情吗？我是否可以在任何数据集的预训练模型上应用这种“微调”，以获得更准确的结果，或者我是否必须做一些其他事情来从头开始训练模型 如果我确实想从头开始训练一个模型，我应该从哪里开始呢？
浏览 61提问于2021-10-03得票数 0
我正在做一个二进制分类任务，我想尝试在huggingface BERT模型的最后一个隐藏层之上添加lstm层，但是，我无法到达最后一个隐藏层。有没有可能将BERT与LSTM结合起来？ tokenizer = BertTokenizer.from_pretrained(model_path)
tain_inputs, train_labels, train_masks = data_prepare_BERT(
train_file, lab2ind, tokenizer, content_col, label_col,
max_seq_length)
validation_i
浏览 156提问于2021-01-18得票数 1
我下载了基于bert的预训练模型。我编辑config.json (从512到256) "max_position_embeddings": 256, 然后我想使用bert模型， from transformers import BertForSequenceClassification
model = BertForSequenceClassification.from_pretrained(
MODEL_PATH,
num_labels = 2, # The number of output labels--2 for binary classifica
浏览 260提问于2020-10-23得票数 0
我知道BERT有能力预测句子中缺失的单词，这在语法上是正确的，在语义上也是连贯的。以下是示例代码：
import torch
from pytorch_pretrained_bert import BertTokenizer, BertForMaskedLM
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForMaskedLM.from_pretrained('bert-base-uncased')
model.eval(); # turning off t
浏览 36提问于2020-03-02得票数 1
回答已采纳
1回答
我想对一个预先训练好的BERT模型进行微调。但是，我的任务使用特定领域内的数据(比如生物医学数据)。此外，我的数据也是一种不同于英语的语言(比如荷兰语)。
现在，我可以微调荷兰bert-base-荷兰案例预训练模型。然而，我该如何对生物医学BERT模型进行微调，比如BioBERT，它属于正确的领域，但语言错误？
我曾经考虑过使用NMT，但我不认为它是可行的，也不值得为此付出努力。如果我在没有对模型进行任何更改的情况下进行微调，我担心模型不会很好地学习任务，因为它是在完全不同的语言上预先训练的。
浏览 4提问于2021-01-28得票数 2
在我发现的关于基于单词的RNN模型(LSTM或GRU)的文本生成的许多来源中，对模型进行了训练，以执行跨词汇表的分类任务(例如，使用分类交叉熵损失)来预测下一个单词。可以为启动器找到一个示例这里。在一个庞大的词汇表上，这在计算上非常昂贵。
在我看来，首先使用像伯特这样的预先训练过的模型，为训练/测试数据集中的每个单词获取上下文嵌入似乎要实际得多。然后，序列模型可以使用一个损失函数来预测单词，该函数使用MSE或余弦相似度(CosineEmbeddingLoss)度量预测与实际嵌入之间的距离。嵌入空间中的查找可以返回与每个预测最接近的单词，从而使输出具有可读性。
概述的方法有什么问题吗?还是对文本
浏览 0提问于2022-07-10得票数 1
回答已采纳
我试图解决一个由25K样本组成的相对平衡训练集和由~5K样本组成的评价集的10个类的多标签分类任务。
我用的是拥抱脸：
model = transformers.BertForSequenceClassification.from_pretrained(...
并取得了较好的结果(ROC AUC = 0.98)。
但是，我看到了一些奇怪的行为，我似乎没有意识到-
我添加了以下代码行：
for param in model.bert.parameters():
param.requires_grad = False
在确保学习模型的其他层的同时，也就是：
[param[0] for pa
浏览 0提问于2020-10-25得票数 4
1回答
词同义词/反义词检测
、、、、
我需要创建一个分类器，它使用两个单词并确定它们是同义词还是反义词。我试过nltk的antsyn-net，但是它没有足够的数据。
示例：
我在考虑采用BERT模型，因为其中的一些关系可能会嵌入其中，并在我发现的数据集上进行传输-学习。
浏览 2提问于2020-11-01得票数 0
回答已采纳
我正在bert架构上做实验，发现大多数微调任务都以最终的隐藏层作为文本表示，然后他们将其传递给其他模型以完成进一步的下游任务。
伯特的最后一层看起来如下：
📷
我们取每句话的日志服务标记：
📷
图像源
我对这个拥抱面问题、数据科学论坛问题、github问题进行了很多讨论--大多数数据科学家给出了这样的解释：
日志服务是双向的，通过多层编码过程对所有令牌的所有代表性信息进行编码。日志服务的表现形式是不同句子中的个体表现形式。
我的问题是，为什么作者忽略了其他信息(每个令牌的向量)，而采用平均、max_pool或其他方法来使用所有信息，而不是使用日志服务令牌进行分类？
这个日志服务令牌与所有令牌向
浏览 0提问于2020-07-02得票数 8
1回答
我试图弄清楚嵌入层是如何为预先训练的伯特基模型工作的。我正在使用火把，并试图解剖以下模型：
import torch
model = torch.hub.load('huggingface/pytorch-transformers', 'model', 'bert-base-uncased')
model.embeddings
这个BERT模型有199个不同的命名参数，其中前5个属于嵌入层(第一层)。
==== Embedding Layer ====
embeddings.word_embeddings.weight
浏览 0提问于2021-05-03得票数 3
回答已采纳
2回答
据我所知，利用BERT进行某些NLP分类任务有两种方法：
BERT可以执行“特征提取”，其输出将进一步输入到另一个(分类)模型中。
另一种方法是微调一些文本分类任务的BERT，方法是在预培训的BERT中添加一个或多个输出层，并对整个过程进行再培训(有不同数量的BERT层固定)。
但是，如果在第二种情况下，我们修复了所有的层，并且添加了分类模型中的所有层，那么第一种和第二种方法实际上是相同的，对吗？
浏览 0提问于2020-03-26得票数 1
1回答
事实上，我不太理解令牌。当我阅读googleresearch/bert模型时，我看到了这些词。
# In the demo, we are doing a simple classification task on the entire
# segment.
#
# If you want to use the token-level output, use model.get_sequence_output() # instead.
有人能做一个关于令牌级和段级分类的例子吗？
浏览 0提问于2018-11-23得票数 2
回答已采纳
1回答
我有自己的纯文本语料库。我想在TensorFlow中训练一个伯特模型，类似于gensim的word2vec，以得到每个单词的嵌入向量。
我已经发现，所有的例子都与任何下游NLP任务相关，比如分类。但是，我想用我的自定义语料库来训练一个Bert模型，然后我可以得到一个给定单词的嵌入向量。
任何线索都会有帮助。
浏览 0提问于2020-04-02得票数 2
我正在从事一个项目，在那里我希望模型能够基于Role, Industry, Skills生成职务描述。我已经训练了我的数据并得到了结果输出。
我知道T5 model是以无监督的方式接受关于C4数据的培训的。应用的各种不同的技术，包括去噪、破坏span等，但我无法理解它是如何用于分类问题的。
我关心的是，如果我通过我的输入和目标变量来训练模型的训练方式。此外，给我一个简单的想法，作为模型将如何反应输入和输出数据。
任何链接，资源都是非常感谢的。谢谢你。
浏览 0提问于2021-10-21得票数 0
我正在尝试为句子分类任务训练一个模型。输入是一个句子(整数的向量)，输出是一个标签(0或1)。我在各处看到过一些关于使用Bert和GPT2执行文本分类任务的文章。然而，我不确定我应该从哪一个开始。在自然语言处理中的这些最新模型中，您会使用原始变压器模型、Bert、GPT2、XLNet中的哪些模型作为开始？为什么？我更愿意在Tensorflow中实现，但我也可以灵活地使用PyTorch。谢谢!
浏览 5提问于2019-09-09得票数 8
1回答
我试图对从堆栈溢出中获取的源代码片段进行分类。我正在探索各种技术，如Tf-以色列国防军，角嵌入层与CNN，bert等。因为源代码分类与正常的文本分类问题有很大的不同，所以我正在寻找一些应该最适合当前问题的技术。
到目前为止，我已经申请了Tf-以色列国防军，而且我获得了大约75%的精确性。当使用文字CNN与角化嵌入层，我得到60%。我计划下一步实现与伯特相关的模型。我也读过实现‘代码-bert’的论文，但它们仅限于6-8种语言。我的数据集有超过20种语言。我想了解在底层哪种技术对源代码最有效。
浏览 11提问于2022-11-09得票数 0
1回答
我在我的引文分类中做了一篇论文。我刚刚实现了引用分类的Bert模型。我有4个输出类，我给出了一个输入语句，我的模型返回一个输出，该输出告诉引用类别。现在我的上司又给了我一项任务。
您必须搜索是否可以使用手动特性扩展BERT或任何转换器模型。例如，你目前给出的句子是它的类后面唯一的输入。如果你可以给出一个句子，以及其他一些特征作为输入，就像我们在其他量词中所做的那样呢？
我需要一些关于这个问题的指导。如何在我的伯特模型中添加一个额外的功能，这个特性将是绝对的，而不是数字的。
浏览 20提问于2022-09-01得票数 1
回答已采纳
3回答
我正在尝试在我的1000+文档数据集中发现异常。我正在使用LIME解释器来解释模型(隔离森林)预测。在一个参数“模式”中，我可以在分类和回归之间进行选择。我没有一组具有已知异常的文档。由于隔离森林是一种无监督学习方法，而分类是一种监督学习，用于将观察结果分类为两个或更多类别，因此我最终使用回归。在另一边，我有结果异常或没有异常。
在这里使用什么是正确的？
致以最好的问候，Elle
浏览 15提问于2020-09-17得票数 0
1回答
我已经针对分类任务对BERT模型(使用huggingface库)进行了微调，以预测两种类型的帖子类别(例如，1和0 )。但是，我需要检索被预测为类别1的文档的“相关令牌”(例如)。我知道，一旦我用BERT模型将所有帖子标记为1(例如)，我就可以使用传统的TF-IDF方法。但我有以下问题:有没有可能用经过微调的BERT模型的架构来完成同样的任务？我的意思是，访问编码器的最后一层(预测层)，并使用注意力机制，获得使te预测为1的“相关”标记(例如)？这样做有可能吗？有没有人知道类似的教程？
浏览 19提问于2021-03-30得票数 0
我已经成功安装了来自DeepPavlov(ner_ontonotes_bert_mult)的多语言NER模型。我想用阿尔巴尼亚language.Is中的新数据(与他们在页面中建议的格式相同)重新训练这个模型(用不同语言的数据从DeepPavlov重新训练多语言NER模型)，或者只有在我们有英语数据的情况下才能进行重新训练？？
浏览 33提问于2021-05-21得票数 1
回答已采纳
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
腾讯云开发者
