首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

除了谷歌和HuggingFace之外,有没有原始BERT的TF实现?

除了谷歌和HuggingFace之外,还有很多第三方组织和个人也进行了原始BERT的TensorFlow实现。其中比较著名的有以下几个:

  1. "BERT-as-Service":这是一个开源项目,提供了一个简单的方式将BERT模型作为一个服务来使用。它使用TensorFlow实现了原始的BERT模型,并提供了RESTful API进行使用和调用。该项目的GitHub链接地址为:https://github.com/hanxiao/bert-as-service
  2. "bert":这是一个由Zihan Wang开发的Python库,用于对原始的BERT进行封装和调用。它提供了丰富的接口和函数,可以方便地使用BERT进行文本分类、序列标注等任务。该项目的GitHub链接地址为:https://github.com/ZihanWangKi/C-BERT
  3. "Kashgari":这是一个基于TensorFlow和Keras的自然语言处理(NLP)库,它支持包括原始BERT在内的多种NLP模型。它提供了简单的接口和示例代码,使得使用BERT进行文本分类、命名实体识别等任务变得更加容易。该项目的GitHub链接地址为:https://github.com/BrikerMan/Kashgari

这些第三方实现的原始BERT在使用上可能会有一些差异,所以在选择使用时需要根据具体需求进行评估。另外,腾讯云也提供了自己的NLP相关产品,如自然语言处理(NLP)和语音识别(ASR)等,可以根据实际需求选择适合的产品进行使用。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

横扫各项NLP任务BERT模型有了PyTorch实现!提供转换脚本

---- 新智元报道 来源:GitHub 作者:huggingface 编译:肖琴 【新智元导读】谷歌NLP模型官方TensorFlow实现很强,现在,它PyTorch版本来了!...只需简单运行一次转换脚本,就可得到一个PyTorch模型,且结果与原始版本相近,甚至更好。 上周,谷歌最强NLP模型BERT开源了官方TensorFlow代码预训练模型,引起大量关注。.../huggingface/pytorch-pretrained-BERT 这个实现可以为BERT加载任何预训练TensorFlow checkpoint(特别是谷歌官方预训练模型),并提供一个转换脚本...其结果如下: 在序列级MRPC分类任务上,该实现使用小型BERT-base模型再现了原始实现84%-88%准确率。...BERT模型PyTorch实现 这个存储库包含了谷歌BERT模型官方TensorFlow存储库op-for-op PyTorch重新实现

2.2K20

Pytorch | BERT模型实现,提供转换脚本【横扫NLP】

这个实现可以为BERT加载任何预训练TensorFlow checkpoint(特别是谷歌官方预训练模型),并提供一个转换脚本。...其结果如下: 在序列级MRPC分类任务上,该实现使用小型BERT-base模型再现了原始实现84%-88%准确率。...在token级SQuAD 任务上,该个实现使用小型BERT-base模型再现了原始实现88.52 F1结果。 作者表示,正致力于在其他任务以及更大BERT模型上重现结果。...BERT模型PyTorch实现 这个存储库包含了谷歌BERT模型官方TensorFlow存储库op-for-op PyTorch重新实现。...这个实现可以为BERT加载任何预训练TensorFlow checkpoint(特别是谷歌预训练模型),并提供了一个转换脚本(见下文)。

1.8K10
  • 利用BERT训练推特上COVID-19数据

    BERT-LARGE主要用于训练英文维基百科(3.5B字)免费书籍语料库(0.8B字)等大型原始文本数据集,虽然这些数据集中包含了海量数据,但是它却没有包含特殊子领域相关信息,在一些特定专业领域...在训练之前,先将原始语料库里转发标签清洗掉,利用一个通用文本替换掉每条推文用户名称,对所有的URL程序网页都执行类似操作。...图1 Huggingfacehuggingface中加载预先训练好模型: 图2 可以使用内置管道来预测内部标识: 图3 从TF-Hub中加载预先训练好模型: 图4 用以下脚本对CT-BERT...如果是做研究工作的话,可以申请访问TPU/或谷歌云。 安装 递归地克隆存储仓库: 图5 代码是使用tf-nightly开发,并确保它向后兼容,以便能在tensorflow 2.2上运行。...图18:评估数据集概览:所有五个评估数据集都是带标签多分类数据集,通过标签栏中比例栏宽度来实现可视化,NNeg表示负面情绪;Disc A分别是沮丧不确定情绪 7.

    54810

    GitHub标星3600:最会编故事OpenAI语言模型,现已加入PyTorch BERT豪华阵容

    △ 左为GPT-2,右为BERT 上周,OpenAI脑洞天大语言模型GPT-2,用独角兽故事震精了世界。 谷歌BERT“史上最强”位子没坐多久,便有了光芒万丈后辈。...如今,那个帮BERT做了PyTorch实现团队,已经火速在BERT项目里增加了GPT-2支持,并收到了推特用户盛赞。 ?...同时增加,还有谷歌Transformer-XL,那是1月中旬发布语言模型,可以理解超长上下文关系,比普通Transformer快1800多倍。 ?...除了BERTPyTorch实现之外,团队还发布过许多其他源代码友善教程,也都是基于PyTorch。...用PyTorch实现了从语言中识别情绪DeepMoji模型: https://github.com/huggingface/torchMoji 还用PyTorch实现了OpenAI优化过Transformer

    64430

    通吃BERT、GPT-2,用TF 2.0实现谷歌破世界纪录机器翻译模型Transformer

    博主在TensorFlow2.0中创建了一个Transformer模型包,可用于重新构建GPT-2、 BERTXLNet。...这个项目的目标是创建Transformer模型所有核心部分,这样就可以重用它们来创建更新、更多SOTA模型,比如BERTXLNet。...该模型以其最基本形式,以numpy数组作为输入,并返回一个numpy数组作为输出。 此模型常见用例是语言翻译。一般来说,训练这个模型时候,功能列是原始语言,目标列是要翻译语言。...()类中实现。...早在2年前,谷歌大脑、谷歌研究院多伦多大学学者合作一项新研究称,使用一种完全基于注意力机制(Attention)简单网络架构 Transformer 用于机器翻译,效果超越了当下所有公开发表机器翻译模型

    1.6K20

    通吃BERT、GPT-2,用TF 2.0实现谷歌破世界纪录机器翻译模型Transformer

    于是Zachary Bloss(就是下图这位带着淡淡忧伤背影),一位美国最大非银行贷款机构之一Quicken Loans数据分析师,花了一点时间,在TF2中构建一个可扩展transformer模型...该项目的目标是创建"Attention is all you need"论文中所讨论transformer模型所有核心部分,以便可以重复使用它们来创建更前卫、更多像BERTXLNet一样SOTA...该模型以其最基本形式,以numpy数组作为输入,并返回一个numpy数组作为输出。 此模型常见用例是语言翻译。一般来说,训练这个模型时候,功能列是原始语言,目标列是要翻译语言。...()类中实现。...早在2年前,谷歌大脑、谷歌研究院多伦多大学学者合作一项新研究称,使用一种完全基于注意力机制(Attention)简单网络架构 Transformer 用于机器翻译,效果超越了当下所有公开发表机器翻译模型

    86520

    一行代码即可调用18款主流模型!PyTorch Hub轻松解决论文可复现性

    不需要除了PyTorch之外任何软件包(在hubconf.py中编码为 dependencies[‘torch’]) 他们不需要单独入口点,因为模型在创建时可以无缝地开箱即用 最小化包依赖性可减少用户加载模型时遇到困难...以HuggingFace’s BERT为例: dependencies = ['torch', 'tqdm', 'boto3', 'requests', 'regex'] from hubconfs.bert_hubconf...TensorFlow Hub是一个共享可重用机器学习平台,主要面向开发者,谷歌希望TensorFlow Hub能够为研究人员开发人员提供一种便利方式,能够更方便在社区中共享模型。...开发人员可以针对开发用例来浏览TF模块,通过TensorFlow Hub推出新Web体验可以更容易进行搜索浏览,同时为multi-publisher平台奠定了基础。...目前看来TF Hub内置模型更多一点;此外,TF Hub提供web方式浏览模型体验更好,搜索模型更加方便。

    1.5K10

    一行代码即可调用18款主流模型!PyTorch Hub轻松解决论文可复现性

    不需要除了PyTorch之外任何软件包(在hubconf.py中编码为 dependencies[‘torch’]) 他们不需要单独入口点,因为模型在创建时可以无缝地开箱即用 最小化包依赖性可减少用户加载模型时遇到困难...以HuggingFace’s BERT为例: dependencies = ['torch', 'tqdm', 'boto3', 'requests', 'regex'] from hubconfs.bert_hubconf...TensorFlow Hub是一个共享可重用机器学习平台,主要面向开发者,谷歌希望TensorFlow Hub能够为研究人员开发人员提供一种便利方式,能够更方便在社区中共享模型。...开发人员可以针对开发用例来浏览TF模块,通过TensorFlow Hub推出新Web体验可以更容易进行搜索浏览,同时为multi-publisher平台奠定了基础。...目前看来TF Hub内置模型更多一点;此外,TF Hub提供web方式浏览模型体验更好,搜索模型更加方便。

    1.3K40

    原创 | 利用BERT 训练推特上COVID-19数据

    BERT-LARGE主要用于训练英文维基百科(3.5B字)免费书籍语料库(0.8B字)等大型原始文本数据集,虽然这些数据集中包含了海量数据,但是它却没有包含特殊子领域相关信息,在一些特定专业领域...在训练之前,先将原始语料库里转发标签清洗掉,利用一个通用文本替换掉每条推文用户名称,对所有的URL程序网页都执行类似操作。...图1 Huggingfacehuggingface中加载预先训练好模型: 图2 可以使用内置管道来预测内部标识: 图3 从TF-Hub中加载预先训练好模型: 图4 用以下脚本对CT-BERT...如果是做研究工作的话,可以申请访问TPU/或谷歌云。 安装 递归地克隆存储仓库: 图5 代码是使用tf-nightly开发,并确保它向后兼容,以便能在tensorflow 2.2上运行。...图18:评估数据集概览:所有五个评估数据集都是带标签多分类数据集,通过标签栏中比例栏宽度来实现可视化,NNeg表示负面情绪;Disc A分别是沮丧不确定情绪 7.

    63230

    最强NLP模型BERT喜迎PyTorch版!谷歌官方推荐,也会支持中文

    郭一璞 夏乙 发自 凹非寺 量子位 报道 | 公众号 QbitAI 谷歌最强NLP模型BERT发布以来,一直非常受关注,上周开源官方TensorFlow实现在GitHub上已经收获了近6000星。...团队在PyTorch上实现BERT,开源不久,Google在官方BERT实现说明开头热情推荐,已经在GitHub上攒了将近700星。 ?...就是根目录下这个脚本文件: convert_tf_checkpoint_to_pytorch.py 使用这个脚本需要注意两点。...用PyTorch实现了从语言中识别情绪情感反讽DeepMoji模型: https://github.com/huggingface/torchMoji 还用PyTorch实现了OpenAI优化过Transformer...传送门 想用PyTorch实现,去这里: https://github.com/huggingface/pytorch-pretrained-BERT 最后在啰嗦一句,BERT官方TensorFlow实现最近新增了多语言版中文版模型

    1.6K30

    BERT 精简版 DistilBERT+TF.js,提升问答系统 2 倍性能

    生产方面,寻找及实现可在任意环境中简化采用过程解决方案。...其中 t 为来自教师 logit,s 是学生 logit 我们学生网络是 BERT 小型版本,其中移除了词条类 (Token Type) 嵌入向量 pooler(用于下一句分类任务)。...我们使用梯度累积,配合动态遮罩对 DistilBERT 进行大批次训练(每批最多 4000 个示例),并移除了下一句预测目标。 这样,我们就可以针对特定问答任务微调模型。...我们利用在 SQuAD 1.1 上微调过 BERT-cased 模型作为教师,配合知识蒸馏损失便可实现 DistilBERT 微调。...如何知道自己需要使用 "ouput_0" "output_1",以从模型返回结果中提取开始结束 logit(回答问题可能跨度起点终点)?

    1.2K30

    最强 NLP 预训练模型库 PyTorch-Transformers 正式开源:支持 6 个预训练框架,27 个预训练模型

    /index.html 该开源库现在包含了 PyTorch 实现、预训练模型权重、运行脚本以下模型转换工具: 1、谷歌 BERT,论文:“BERT: Pre-training of Deep Bidirectional...这些实现都在几个数据集(参见示例脚本)上进行了测试,性能与原始实现相当,例如 BERT中文全词覆盖在 SQuAD数据集上F1分数为93 , OpenAI GPT 在 RocStories上F1分数为...这些实现已在几个数据集上进行测试(参见示例脚本),应该与原始实现性能相当(例如,BERT 全词覆盖(Whole-Word-Masking)在 SQUAD 数据集上 F1 分数为 93,OpenAI...例子 BERT-baseBERT-large分别是110M340M参数模型,并且很难在单个GPU上使用推荐批量大小对其进行微调,来获得良好性能(在大多数情况下批量大小为32)。...作者在doc中展示了几个基于BERT原始实现(https://github.com/google-research/bert/)扩展微调示例,分别为: 九个不同GLUE任务序列级分类器; 问答集数据集

    1.3K20

    【注意力机制】transformers之转换TensorflowCheckpoints

    来源 | Github 作者 | huggingface 编译 | VK 【导读】本节提供了一个命令行界面来转换模型中原始Bert/GPT/GPT-2/Transformer-XL/XLNet/XLM...BERT 你可以通过使用convert_tf_checkpoint_to_pytorch.py将任意BERTTensorflowCheckpoints转换为PyTorch格式(特别是由Google...bert_model.ckpt开头文件)关联配置文件(bert_config.json)作为输入,并为此配置创建PyTorch模型,并加载在PyTorch模型中从TensorFlow checkpoints...然后你可以忽略TensorFlow checkpoints(以bert_model.ckpt开头三个文件),但请确保保留配置文件(bert_config.json)词汇表文件(vocab.txt),...要运行此特定转换脚本,你将需要安装TensorFlowPyTorch(pip install tensorflow)。存储库其余部分仅需要PyTorch。

    2.2K20

    用NodeJSTensorFlowJS调用BERT实现文本分类

    文本以NodeJS为基础,给出一个文本分类例子œ 按照当前情况,NodeJS版本其实更适合直接调用Python训练好模型使用,因为加载速度推理速度都比Python版本快原因,如果不是必须要用GPU...的话对于小模型更是可以适合配合FaaS等工具更好实现云AI函数 更多内容代码可以参考这个REPO https://github.com/qhduan/bert-model/ TensorFlowJS...这是一个判断两个问题是否等价数据集,例如“喜欢打篮球男生喜欢什么样女生”“爱打篮球男生喜欢什么样女生”等价。...词表,几乎所有的中文BERT都是基于最开始谷歌发布词表,所以没什么区别 $ curl --output vocab.txt https://deepdialog.coding.net/p/zh-roberta-wwm...('@tensorflow/tfjs-node') // huggingfacebert分词包 const BertWordPieceTokenizer = require('tokenizers')

    1.1K40

    用NodeJSTensorFlowJS调用BERT实现文本分类

    文本以NodeJS为基础,给出一个文本分类例子œ 按照当前情况,NodeJS版本其实更适合直接调用Python训练好模型使用,因为加载速度推理速度都比Python版本快原因,如果不是必须要用GPU...的话对于小模型更是可以适合配合FaaS等工具更好实现云AI函数 更多内容代码可以参考这个REPO https://github.com/qhduan/bert-model/ TensorFlowJS...这是一个判断两个问题是否等价数据集,例如“喜欢打篮球男生喜欢什么样女生”“爱打篮球男生喜欢什么样女生”等价。...词表,几乎所有的中文BERT都是基于最开始谷歌发布词表,所以没什么区别 $ curl --output vocab.txt https://deepdialog.coding.net/p/zh-roberta-wwm...('@tensorflow/tfjs-node') // huggingfacebert分词包 const BertWordPieceTokenizer = require('tokenizers')

    1.1K30

    被解雇半年后,前谷歌高管米切尔加入初创公司Hugging Face

    Transformers最早名字叫做pytorch-pretrained-bert,推出于google BERT之后。顾名思义,它是基于pytorch对BERT一种实现。...pytorch框架上手简单,BERT模型性能卓越,集合了两者优点pytorch-pretrained-bert吸引了大批追随者贡献者。...2019年6月Tensorflow2beta版发布,Huggingface实现了TensorFlow 2.0PyTorch模型之间深层互操作性,可以在TF2.0/PyTorch框架之间随意迁移模型...目前用于“教导”模型如何进行预测或确定数据集,通常因为原始数据不完整会导致AI软件在女性、少数群体成员还有老年人中表现不佳。...提到这篇论文,大致集中攻击了大规模语言模型(如BERT消极影响,而BERT模型是谷歌王牌AI产品之一。

    20810

    Transformers 4.37 中文文档(十)

    原始存储库中运行预训练检查点 首先,您将在原始brand_new_bert存储库上工作。通常,原始实现非常“研究性”。这意味着文档可能缺失,代码可能难以理解。...,这意味着原始模型 Transformers 中重新实现版本必须在精度为 0.001 情况下给出完全相同输出!...因此,您肯定会多次将 Transformers 版本中间输出与brand_new_bert原始实现中间输出进行比较,在这种情况下,原始存储库高效调试环境绝对重要。...根据我们经验,一个简单而有效方法是在原始实现 Transformers 实现相同位置分别添加许多打印语句,并逐步删除显示中间表示值相同打印语句。...除了模型文件本身,您还需要添加指向模型类相关文档页面的指针。您可以完全按照其他 PR 中模式完成此部分(示例)。

    27910

    Transformers2.0让你三行代码调用语言模型,兼容TF2.0PyTorch

    近日 HuggingFace 公司开源了最新 Transformer2.0 模型库,用户可非常方便地调用现在非常流行 8 种语言模型进行微调和应用,且同时兼容 TensorFlow2.0 PyTorch...最近,专注于自然语言处理(NLP)初创公司 HuggingFace 对其非常受欢迎 Transformers 库进行了重大更新,从而为 PyTorch Tensorflow 2.0 两大深度学习框架提供了前所未有的兼容性...像 Keras 一样功能强大和简洁; 在 NLU NLG 任务上实现高性能; 对教育者实践者使用门槛低。...3 行代码训练 SOTA 模型; 实现 TensorFlow 2.0 PyTorch 模型深度互操作; 在 TensorFlow 2.0 PyTorch 框架之间随意移动模型; 为模型训练...现已支持模型 官方提供了一个支持模型列表,包括各种著名预训练语言模型变体,甚至还有官方实现一个蒸馏后 Bert 模型: 1.

    2.3K30
    领券