今天介绍中国科学技术大学和微软亚洲研究院朱西洲老师团队在ICLR2020的论文，该研究提出了一种新的图形神经网络的几何聚合方式，其核心思想是：在bert的基础上为视觉-语言相关任务做预训练。
PT-BERT 项目地址：https://github.com/huggingface/pytorch-pretrained-BERT
本文介绍的两个 BERT 实现项目分别基于 TensorFlow 和 Keras，其中基于 TensorFlow 的项目会使用中等数据集与其它技巧降低计算力，并发现使用 TextCNN 代替 Transformer 主干网络，且保留 BERT 预训练任务也能得到非常好的效果。而基于 Keras 的项目尝试使用预训练的 OpenAI Transformer 作为初始化权重，并以较小的计算力重新训练 BERT 预训练模型，再将该预训练的 BERT 应用到不同任务。
在近几年的自然语言处理领域中，BERT和GPT是两个引起广泛关注的语言模型。特别是在GPT3.5的基础上进行微调的chatGPT，持续出圈和火爆。chatGPT的火爆表明了预训练语言模型在自然语言处理领域具有巨大的潜力，并且在提高自然语言理解和生成能力方面取得了显著的进展。这可能会带来更多的应用和更广泛的接受。
在这篇文章中，我们将使用一种直观的方法来理解NLP的发展，包括BERT。预训练策略使BERT如此强大和流行，并且BERT可针对大多数NLP任务进行微调。
今日，谷歌终于放出官方代码和预训练模型，包括 BERT 模型的 TensorFlow 实现、BERT-Base 和 BERT-Large 预训练模型和论文中重要实验的 TensorFlow 代码。在本文中，机器之心首先会介绍 BERT 的直观概念、业界大牛对它的看法以及官方预训练模型的特点，并在后面一部分具体解读 BERT 的研究论文与实现，整篇文章的主要结构如下所示：
本文是对 BERT 原始论文（BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding ）的解读。
摘要：本篇主要分享了项目实践中的BERT文本分类优化策略和原理。首先是背景介绍及优化方向，其中优化方向主要分成从数据层面优化和模型层面优化；然后通过实验的方式重点分析了分类器优化策略和原理，主要从优化BERT预训练权重和分类器模型内部优化策略优化分类器效果；最后分享了一些关于BERT优化的思考和总结，包括分类层是否应该复杂化、长文本处理、增加新知识和灾难性遗忘问题的处理。优化永无止境，本篇内容也会持续更新，把项目实践中有价值的优化技巧通过文章及时固化，也希望更多的小伙伴一起分享文本分类优化技巧。
论文标题：How to Fine-Tune BERT for Text Classification? 中文标题：如何微调 BERT 进行文本分类？ 论文作者：复旦大学邱锡鹏老师课题组 实验代码
作者：Jacob Devlin、Ming-Wei Chang、Kenton Lee、Kristina Toutanova
今天介绍一篇浙江大学智能创新药物研究院侯廷军教授团队、中南大学曹东升教授团队和腾讯量子计算实验室联合在Briefings in Bioinformatics发表的一篇论文“Knowledge-based BERT: a method to extract molecular features like computational chemists”。本文提出了一种新的预训练策略，通过学习由计算化学家预定义的分子特征和原子特征，使得模型能够像计算化学家一样从SMILES中提取分子特征。K-BERT在多个成药性数据集上表现了优异的预测能力。此外，由K-BERT 生成的通用指纹 K-BERT-FP 在 15个药物数据集上表现出与 MACCS 相当的预测能力。并且通过进一步预训练，K-BERT-FP还可以学习到传统二进制指纹（如MACCS和ECFP4）无法表征的分子大小和手性信息。
小牛翻译，核心成员来自东北大学自然语言处理实验室，由姚天顺教授创建于1980年，现由朱靖波教授、肖桐博士领导，长期从事计算语言学的相关研究工作，主要包括机器翻译、语言分析、文本挖掘等。团队研发的支持140种语言互译的小牛翻译系统已经得到广泛应用，并研发了小牛翻译云（https://niutrans.vip）让机器翻译技术赋能全球企业。
对于中文领域的预训练语言模型，我们最常用的就是 BERT 了，这并不是说它的效果最好，而是最为方便。昨天，国内开发者 brightmart 开源了最新的 RoBERTa 中文预训练语言模型，开发社区又有新的中文模型可以用了。
目前自然语言处理模型是人工智能的前沿科技，他们是很多AI系统与用户交互的接口。NLP 发展的主要阻碍来自于模型对于高质量标记数据的依赖。由于语言是一个任何事物都可以应用的普遍交流的机制，这也意味着很难找到一个特定领域的注解数据去训练模型。针对这个挑战, NLP 模型 决定先使用大量的没有标签的数据训练语言原理。非常有名的预训练模型包括 Word2Vec，Glove 或者FasText。然而 预训练模型有自己的挑战，对于大量数据的上下文关系的表达常常失败。最近来自GOOGLE AI 语言团队的研究者们开放了 BERT项目的源代码，一个为预训练语言表达而生的库，并且其训练结果达到了很不错的效果。
本文介绍一项由中南大学湘雅药学院曹东升教授团队，联合湖南大学曾湘祥教授团队，在Journal of Medicinal Chemistry上发表的研究工作“Enhancing Molecular Property Prediction through Task-Oriented Transfer Learning: Integrating Universal Structural Insights and Domain-Specific Knowledge”。作者提出一种基于BERT的任务导向多级学习（Task-Oriented Multilevel Learning based on BERT，TOML-BERT）模型，在预训练阶段同时提取分子的结构模式和领域知识，显著提升了多种分子性质的预测精度。此外，TOML-BERT在实验数据稀缺的情形下，仍具有出色的预测表现。这主要归因于该模型将基于掩蔽原子的节点级预训练和基于伪标签的图级预训练相结合，促使模型提前学习到上下文感知的原子表征和任务相关的分子表征。本研究在设计预训练策略时，主要关注目标任务。这种量身定制的方法为预测分子性质提供了一种适应性更强的解决方案。
近年来，预训练模型在自然语言处理（Natural Language Processing, NLP）领域大放异彩，其中最重要的工作之一就是 Google 于 2018 年发布的 BERT 预训练模型 [1]。自被发布以来，BERT 预训练模型就在多项自然语言理解任务上取得了优异的效果，并开启了预训练-微调的 NLP 范式时代，启发了 NLP 领域后续一系列的预训练模型工作。与此同时，BERT 模型在 NLP 相关工业领域也得到了广泛应用，并取得了良好的效果。但由于工业领域相关业务的数据格式的复杂性，以及工业应用对推理性能的要求，BERT 模型往往不能简单直接地被应用于 NLP 业务之中，需要根据具体场景和数据对 BERT 模型加以调整和改造，以适应业务的现实需求。
作者：Jacob Devlin and Ming-Wei Chang, Research Scientists, Google AI Language
知乎链接：https://zhuanlan.zhihu.com/p/54934304
最近谷歌发布了基于双向 Transformer 的大规模预训练语言模型，该预训练模型能高效抽取文本信息并应用于各种 NLP 任务，该研究凭借预训练模型刷新了 11 项 NLP 任务的当前最优性能记录。如果这种预训练方式能经得起实践的检验，那么各种 NLP 任务只需要少量数据进行微调就能实现非常好的效果，BERT 也将成为一种名副其实的骨干网络。
近两年，以 BERT、XLNet 为代表的无监督预训练技术在多个自然语言处理任务上取得了技术突破。基于大规模数据的无监督预训练技术在自然语言处理领域变得至关重要。
预训练语言模型是NLP中的核心之一，在pretrain-finetune这一阶段的NLP发展中发挥着举足轻重的作用。预训练语言模型的无监督训练属性，使其非常容易获取海量训练样本，并且训练好的语言模型包含很多语义语法知识，对于下游任务的效果会有非常明显的提升。本文首先介绍预训练语言模型的里程碑方法，然后进一步介绍学术界针对预训练语言模型中的问题提出的各种改进和创新，包括14个经典预训练语言模型。
雷锋网 AI 科技评论按：自上个月谷歌公开 BERT 模型以来，BERT 模型以其双向、深层等特点，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。惊鸿一瞥后，人们都在期待谷歌何时会放出 BERT 模型源代码。
2022年12月15日，中南大学湘雅药学院曹东升团队，国防科技大学吴诚堃团队，浙江大学侯廷军团队以及湖南大学曾湘祥教授团队合作在Research期刊上发表论文“Pushing the Boundaries of Molecular Property Prediction for Drug Discovery with Multitask Learning BERT Enhanced by SMILES Enumeration”。
2018 年，谷歌发布了基于双向 Transformer 的大规模预训练语言模型 BERT，刷新了 11 项 NLP 任务的最优性能记录，为 NLP 领域带来了极大的惊喜。很快，BERT 就在圈内普及开来，也陆续出现了很多与它相关的新工作。
在之前写过的《NLP的游戏规则从此改写？从word2vec, ELMo到BERT》一文中，介绍了从word2vec到ELMo再到BERT的发展路径。而在BERT出现之后的这大半年的时间里，模型预训练的方法又被Google、Facebook、微软、百度、OpenAI等极少数几个玩得起游戏的核心玩家反复迭代了若干版，一次次的刷新我们这些吃瓜群众的案板上的瓜。
在小夕之前写过的《NLP的游戏规则从此改写？从word2vec, ELMo到BERT》一文中，介绍了从word2vec到ELMo再到BERT的发展路径。而在BERT出现之后的这大半年的时间里，模型预训练的方法又被Google、Facebook、微软、百度、OpenAI等极少数几个玩得起游戏的核心玩家反复迭代了若干版，一次次的刷新我们这些吃瓜群众的案板上的瓜。
今天给大家介绍一篇来自浙江大学侯廷军教授课题组和中南大学曹东升教授课题组合作发表在2021年5月份发表在Briefings in Bioinformatics上的一篇文章《MG-BERT: leveraging unsupervised atomic representation learning for molecular property prediction》。本文使用了无监督原子表达学习来进行分子的性质预测。
BERT 通过改变 NLP 模型的训练方式迎来了 NLP 领域的 ImageNet 时刻。自此之后的预训练模型分别尝试从 mask 范围，多语言，下文预测，模型轻量化，预训练方式，模型大小，多任务等方向谋求新突破，有的效果明显，有的只是大成本小收益。
BERT终于来了！今天，谷歌研究团队终于在GitHub上发布了万众期待的BERT。
前不久，CMU和谷歌大脑提出的XLNet预训练模型在 20 项任务上全面碾压曾有“最强NLP预训练模型”之称的BERT，可谓风光无限，吸足了眼球。
最近被 Google 的 BERT （Bidirectional Encoder Representations from Transfoemers）模型给刷屏了。该模型破了 NLP 界的 11 项纪录，所以这两周特意挑选这篇论文来满足好奇心。第一作者还在 Reddit 上进行了解答，具体可以戳：这里。为了方便学习，我翻译了这篇解读（只包含正文）：BERT 论文 - 第一作者的 Reddit 解读说明翻译
昨天，谷歌在GitHub上发布了备受关注的“最强NLP模型”BERT的TensorFlow代码和预训练模型，不到一天时间，已经获得3000多星！
BERT 带来的影响还未平复，CMU 与谷歌大脑提出的 XLNet 在 20 个任务上超过了 BERT 的表现，并在 18 个任务上取得了当前最佳效果。令人激动的是，目前 XLNet 已经开放了训练代码和大型预训练模型，这又可以玩一阵了～
今天我们学习的是谷歌的同学 2018 年的论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》，目前引用量超 3800 次。
摘要：本篇从理论上到实践介绍了BERT知识蒸馏发展进程。首先介绍了BERT类模型提升线上性能的方法以及知识蒸馏为什么有效；然后重点介绍了BERT蒸馏的主要发展进程，主要包括微调阶段蒸馏最后一层、微调阶段蒸馏中间层、预训练阶段蒸馏、预训练+微调两阶段蒸馏以及其他蒸馏方案；最后介绍了我们实际项目中BERT蒸馏实践。对BERT知识蒸馏感兴趣并希望应用到实际业务中的小伙伴可能有帮助。
其实，本文到这里，"核心内容"就已经讲完啦...当然如果你还不困的话，可以继续往下看，应该会有助于睡眠的
自然语言处理（Natural Language Process，简称NLP）是计算机科学、信息工程以及人工智能的子领域，专注于人机语言交互，探讨如何处理和运用自然语言。自然语言处理的研究，最早可以说开始于图灵测试，经历了以规则为基础的研究方法，流行于现在基于统计学的模型和方法，从早期的传统机器学习方法，基于高维稀疏特征的训练方式，到现在主流的深度学习方法，使用基于神经网络的低维稠密向量特征训练模型。
authors:: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova container:: Proceedings of the 2019 conference of the north American chapter of the association for computational linguistics: Human language technologies, volume 1 (long and short papers) year:: 2019 DOI:: 10.18653/v1/N19-1423 rating:: ⭐⭐⭐⭐⭐ share:: false comment:: 经典bert的模型
目前这篇arXiv预印版为短文篇幅，不过小编发现，OpenReview上有匿名提交的完整版本，下载地址：
AI 科技评论按：自上个月谷歌公开 BERT 模型以来，BERT 模型以其双向、深层等特点，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。惊鸿一瞥后，人们都在期待谷歌何时会放出 BERT 模型源代码。
尽管 BERT效果惊人，但它所需的计算量非常大，原作者在论文中也表示每次只能预测 15% 的词，因此模型收敛得非常慢。如果我们想保留这种 Mask 机制，那么就需要寻找另一种加速方法了。
模型压缩可减少受训神经网络的冗余——由于几乎没有BERT或者BERT-Large模型可用于GPU及智能手机上，这一点就非常有用了。另外，内存与推理速度的提高也能节省大量成本。
摘要：近年来，预训练模型的出现将自然语言处理带入了一个新的时代。本文概述了面向自然语言处理领域的预训练模型技术。我们首先概述了预训练模型及其发展历史。并详细介绍自然语言处理领域的经典预训练模型，包括最经典的预训练模型技术和现在一系列新式的有启发意义的预训练模型。然后梳理了这些预训练模型在自然语言处理领域的优势和预训练模型的两种主流分类。最后，对预训练技术的未来发展趋势进行了展望。
ERNIE: Enhanced Representation through Knowledge Integration（2019）
然后，使用少量经过标记的训练数据对模型进行fine-tune，以监督学习的方式，执行多种监督任务。
近年来，人工智能领域的两大重要模型——GPT（Generative Pre-trained Transformer）和BERT（Bidirectional Encoder Representations from Transformers）引起了广泛的关注。这两个模型在自然语言处理（NLP）领域表现出色，但它们在架构、训练方法和应用场景上有显著的差异。本文将深入探讨GPT和BERT的核心特点、技术原理以及各自的优缺点。
在去年11月份，NLP大神Manning联合谷歌做的ELECTRA一经发布，迅速火爆整个NLP圈，其中ELECTRA-small模型参数量仅为 BERT-base模型的1/10，性能却依然能与BERT、RoBERTa等模型相媲美。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
