除了谷歌和HuggingFace之外，有没有原始BERT的TF实现？
除了谷歌和HuggingFace之外，还有很多第三方组织和个人也进行了原始BERT的TensorFlow实现。其中比较著名的有以下几个：
- "BERT-as-Service"：这是一个开源项目，提供了一个简单的方式将BERT模型作为一个服务来使用。它使用TensorFlow实现了原始的BERT模型，并提供了RESTful API进行使用和调用。该项目的GitHub链接地址为：https://github.com/hanxiao/bert-as-service
- "bert"：这是一个由Zihan Wang开发的Python库，用于对原始的BERT进行封装和调用。它提供了丰富的接口和函数，可以方便地使用BERT进行文本分类、序列标注等任务。该项目的GitHub链接地址为：https://github.com/ZihanWangKi/C-BERT
- "Kashgari"：这是一个基于TensorFlow和Keras的自然语言处理（NLP）库，它支持包括原始BERT在内的多种NLP模型。它提供了简单的接口和示例代码，使得使用BERT进行文本分类、命名实体识别等任务变得更加容易。该项目的GitHub链接地址为：https://github.com/BrikerMan/Kashgari
这些第三方实现的原始BERT在使用上可能会有一些差异，所以在选择使用时需要根据具体需求进行评估。另外，腾讯云也提供了自己的NLP相关产品，如自然语言处理（NLP）和语音识别（ASR）等，可以根据实际需求选择适合的产品进行使用。
相关·内容
正在尝试查找original BERT model trained using MLM/NSP的任何Tensorflow/Keras实现。官方的谷歌和HuggingFace实现非常复杂，并且有如此多的附加功能。但是我想学习和实现BERT，仅仅是为了学习它的工作原理。 有什么线索会有帮助吗？
浏览 22提问于2021-05-07得票数 1
回答已采纳
BERT是Google开发的NLP模型。最初的BERT模型是由TensorFlow团队建立的，也有一个使用PyTorch构建的BERT版本。这两种模式的主要区别是什么？
浏览 0提问于2020-05-07得票数 1
回答已采纳
我对NLP很感兴趣，我想出了Tensorflow和Bert，两者似乎都来自谷歌，似乎都是目前情绪分析最好的东西，但我不明白它们到底是什么，它们之间有什么区别.有人能解释一下吗？
浏览 3提问于2021-05-02得票数 0
回答已采纳
我正试图建立这幅图中所示的模型：
我从HuggingFace的transformers获得了一个经过预先训练的BERT和相应的标记器，其方式如下：my_phrase = "
浏览 18提问于2021-09-15得票数 8
回答已采纳
1回答
我已经针对分类任务对BERT模型(使用huggingface库)进行了微调，以预测两种类型的帖子类别(例如，1和0 )。但是，我需要检索被预测为类别1的文档的“相关令牌”(例如)。我知道，一旦我用BERT模型将所有帖子标记为1(例如)，我就可以使用传统的TF-IDF方法。但我有以下问题:有没有可能用经过微调的BERT模型的架构来完成同样的任务？我
浏览 19提问于2021-03-30得票数 0
当尝试转换自我训练的tensorflow BERT模型(使用谷歌的脚本)的检查点时，使用Huggingface的将检查点转换为Py手电筒模型。当涉及到BertEmbeddings中的层规范化时，脚本会产生一个错误。以前有没有其他人对这个错误进行过掩饰？你是怎么解决的？这又是一次堆叠的痕迹： File "convert
浏览 8提问于2020-09-01得票数 0
3回答
我有这个代码的语义搜索引擎建立使用预先训练的bert模型。我想将此模型转换为tflite，以便将其部署到google mlkit。我想知道如何转换它。我想知道是否有可能将其转换为tflite。但我不知道从何说起 代码： from sentence_transformers import SentenceTransformer
# Load the BERT model.sentence-transformers/blob/master/docs/pretrained-models&
浏览 59提问于2020-04-01得票数 3
1回答
我想在预先训练好的TFDistilBertModel，TFXLNetModel和TFRobertaModel Huggingface模型之后添加额外的Dense层。我已经了解了如何使用TFBertModel实现这一点，例如output = output[1]
output= tf.keras.layers.Dense(32,activation='relu&#x
浏览 4提问于2020-08-01得票数 4
回答已采纳
3回答
我正在尝试使用Tensorflow对Huggingface中预先训练好的BERT模型进行微调。一切都很顺利，模型的构建和训练都没有错误。我正在使用谷歌Colab和TPU。 output = output[:, 0, :]
output = tf.keras.layers.Dense], outputs=outpu
浏览 22提问于2021-03-10得票数 3
1回答
我不确定这是否是提交这类问题的最佳地点，也许CrossValdation会更好。 我正在研究一个文本多类分类问题。我构建了一个基于BERT概念的模型，并在PyTorch (huggingface transformer library)中实现。该模型执行得很好，除非输入句子有OCR错误或等效地拼写错误。例如，如果输入是"NALIBU DRINK“，Bert标记器会生成'na'，'##lib'，'##u'，'d
浏览 38提问于2020-04-04得票数 0
1回答
它没有在Colab中运行
、、、、
我试图在Colab内部使用BERT文本摘要器，但我得到了以下错误我得到的错误如下，
--------------------
浏览 17提问于2021-12-25得票数 1
2回答
我试着用TPU来完成谷歌上的BERT模型。这很可能是因为并非所有层或模型或优化器都是在分发策略范围之外创建的。试着确保您的代码看起来类似于下面的代码。我有一个肋层BertLayer，它显然是在范围之外创建的： def __init__(self, n_fine_tune_layersdense = tf.keras.layers.
浏览 2提问于2019-08-02得票数 1
我尝试在python3.8中使用BERT和bert-serving-start，但是它没有初始化并抛出错误：这可能与路径未被识别有关，但我按照以下说明操作：C:\Users\g\PycharmProjects\Project1\cased_L-12_Hbert-serving-start
-model_dir \Users\g\Pycha
浏览 1提问于2020-06-11得票数 3
1回答
我收集了大量的技能，从不同的在线来源收集/刮取。我们的团队付出了巨大的努力。java 2.x (or) java 3.x (or) java我不太清楚如何解决这个问题。有人能建议我一些很好的方法来解
浏览 0提问于2020-11-13得票数 1
1回答
在伯特纸中，我了解到BERT是只使用编码器的模型，也就是说它只涉及变压器编码器块。我猜有什么区别。我知道编码器和解码器块之间的区别: GPT解码器只查看以前生成的令牌，并向它们学习，而不是在右侧令牌中学习。伯特编码器关注双方的令牌。Q1。one 2，3侧重于新/一/零短期学习。难道我们不能建立新的/一/零短学习模型，像伯特这样只使用编码器的</em
浏览 0提问于2021-11-26得票数 8
我正在使用tensorflow的预训练BERT模型进行基于标记的分类，以自动标记句子中的因果。为了访问BERT，我使用了来自huggingface：的TFBertForTokenClassification-Interface
我用来训练的句子都是根据BERT-tokenizer转换成记号(基本上是单词到数字的映射然而，在训练和评估期间，我的模型也对PAD-tokens进行预测，它
浏览 0提问于2020-07-08得票数 1
Huggingface tranformers有一个在Squad数据集上进行问答调优的管道。 我需要做什么才能为一个提问管道开发一个管道？这将使用上下文、问题和答案来生成带有上下文答案的问题。有没有创建新的驼背管道的例子？
浏览 8提问于2020-04-10得票数 0
1回答
我执行了这个优秀的教程：def create_model(bert_config, is_training, input_ids, input_mask, segment_ids,use_one_hot_embeddings):
"""Creates a classification model.&qu
浏览 0提问于2021-02-18得票数 0
3回答
我正在使用HuggingFace Transformers包访问预先训练好的模型。因为我的用例需要英语和阿拉伯语的功能，所以我使用预训练模型。我需要能够使用诸如余弦相似性之类的东西来比较句子的相似性。要使用它，我首先需要获得每个句子的嵌入向量，然后才能计算余弦相似度。
首先，从BERT模型中提取语义嵌入的最佳方法是什么？在输入句子后获取模型的最后一个隐藏状态是否足够？BertModel, BertT
浏览 2提问于2020-03-03得票数 21
回答已采纳
我试图使用HuggingFace的BERT模型来实现twitter情绪分析模型的梯度积累。但是，当我以64批大小实现梯度累积时，我会得到可怕的"OOM“错误。奇怪的是，当我以64的批次大小运行相同的模型，而不使用梯度积累时，它就会一直训练。有人知道这是为什么和/或我的代码是错误的吗？batch_size = 32
tokenizer = Ber
浏览 4提问于2020-07-05得票数 1
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
腾讯云开发者
