摘要：本篇主要分享了我在绿厂广告场景中历时两年的文本分类项目模型优化实践。第一部分内容是背景介绍，包括业务介绍、项目背景及目标、技术选型、分类器组织方案以及技术选型，了解了项目背景的来龙去脉才能更好的完成项目；第二部分内容是文本分类项目模型优化实践，主要包括基于BERT文本分类模型架构、Encoder优化、句向量表示优化、分类层优化、损失函数优化以及文本分类任务转化成句子对关系任务等。通过上述优化实践，可以让我们对文本分类任务有更加深入的了解。文本分类项目应该是我完成度最高的项目之一，从0到1将NLP前沿模型应用到业务实践产生广告消耗，本身收获很大。欢迎感兴趣的小伙伴一起沟通交流，后面会继续分享从样本层面优化文本分类任务实践。
bert模型是Google在2018年10月发布的语言表示模型，Bert在NLP领域横扫了11项任务的最优结果，可以说是现今最近NLP中最重要的突破。Bert模型的全称是Bidirectional Encoder Representations from Transformers，是通过训练Masked Language Model和预测下一句任务得到的模型。
摘要：本篇主要介绍了广告场景中NLP技术的业务应用和线上方案，主要介绍了三大类任务：第一类任务是文本分类任务，业务主要包括自然兴趣建模体系、搜索场景行业词包和在线分类以及商店/搜索/评论等舆情分析，同时介绍我们的线上方案以及在模型和样本上的优化实践；第二类任务是文本生成任务，介绍了头条巨量创意平台的妙笔以及我们自研的文案助手技术方案；第三类任务是相似文本召回任务，业务主要是广告算法词召回，线上主要使用基于对比学习simcse+faiss的相似文本召回方案。感兴趣的小伙伴可以多交流。
论文标题：How to Fine-Tune BERT for Text Classification? 中文标题：如何微调 BERT 进行文本分类？ 论文作者：复旦大学邱锡鹏老师课题组 实验代码
摘要：本篇主要分享腾讯开源的文本分类项目NeuralClassifier。虽然实际项目中使用BERT进行文本分类，但是在不同的场景下我们可能还需要使用其他的文本分类算法，比如TextCNN、RCNN等等。通过NeuralClassifier开源项目我们可以方便快捷的使用这些模型。本篇并不会重点剖析某个算法，而是从整体的角度使用NeuralClassifier开源工程，更多的是以算法库的方式根据不同的业务场景为我们灵活的提供文本分类算法。
摘要：本篇从业务实践的角度分享NLP各任务的baseline。首先介绍背景以及CLUE社区提供的NLP公共数据集；然后分别介绍了NLP各子任务的公共数据集、技术方案以及实践源码，主要包括文本分类任务、文本匹配任务、关键词识别任务、自动标题任务和图像描述生成任务。对于希望又快又好的解决实际业务中的NLP相关业务的小伙伴可能有所帮助。
多分类也称为单标签问题，例如，我们为每个样本分配一个标签。名称中的"多"表示我们处理至少 3 个类，对于 2 个类，我们可以使用术语二进制分类(binary classification)。另一方面，多标签任务更为一般，允许我们为每个样本分配多个标签，而不仅仅是一样本一标签。
论文简介：融合标签嵌入到BERT：对文本分类进行有效改进 论文标题：Fusing Label Embedding into BERT: An Efficient Improvement for Text Classification 论文链接：https://aclanthology.org/2021.findings-acl.152.pdf 论文作者：{Yijin Xiong etc.}
比赛链接：https://tianchi.aliyun.com/forum/#raceId=531810 以下资料整理自比赛论坛，感谢这些无私开源的选手们，以下是整理TOP5方案的主要思路和模型，以便大家学习
摘要：本篇主要总结了一下我在实际项目中对于文本分类任务的优化策略，主要包括预训练模型优化、语义embedding优化、分类层优化、使用知识蒸馏优化、使用标签内容信息优化、优化损失函数、通过半监督和主动学习优化、通过样本增强技术优化。对于想要提升线上文本分类任务效果的小伙伴可能有所帮助。
欢迎大家来到预训练语言模型的专题系列分享，本篇推送是该专题系列的第三篇。在前两篇推送[萌芽时代]，[风起云涌]中，我们分享了该领域的奠基文章以及声名鹊起却生不逢时的ELMo模型，本期我们带来的文章将会让大家了解文本分类的一些通用技巧，希望大家看完后炼丹技术都能更上一层楼！
摘要：本篇主要分享基于BERT实现线上推理服务的FastBERT模型。首先讲了下为啥要用FastBERT模型。因为NLP数据集中不同样本的识别难度不同，厚重的模型会存在过度计算的问题，而轻量模型则很难识别复杂样本，FastBERT模型提出了一种根据样本复杂度动态调整使用Transformer层数的样本自适应机制(sample-wise adaptive mechanism)，从而可以又快又好的提供线上推理服务；然后重点分析了FastBERT模型的来龙去脉，包括FastBERT模型的引入和优化思路、模型整体结构、模型训练和推理流程以及FastBERT论文重要的实验结论，从理论到实验论证了FastBERT模型可以又快又好的提供线上推理服务的原理；最后基于作者开源的代码实战了FastBERT。对BERT线上推理服务感兴趣的小伙伴可以一起了解下FastBERT模型。
本系列文章总结自然语言处理（NLP）中最基础最常用的「文本分类」任务，主要包括以下几大部分：
摘要：本篇主要分享了项目实践中的BERT文本分类优化策略和原理。首先是背景介绍及优化方向，其中优化方向主要分成从数据层面优化和模型层面优化；然后通过实验的方式重点分析了分类器优化策略和原理，主要从优化BERT预训练权重和分类器模型内部优化策略优化分类器效果；最后分享了一些关于BERT优化的思考和总结，包括分类层是否应该复杂化、长文本处理、增加新知识和灾难性遗忘问题的处理。优化永无止境，本篇内容也会持续更新，把项目实践中有价值的优化技巧通过文章及时固化，也希望更多的小伙伴一起分享文本分类优化技巧。
文本分类是自然语言处理（NLP）中的基础任务，广泛应用于情感分析、新闻分类、主题检测等领域。随着预训练语言模型的发展，尤其是BERT（Bidirectional Encoder Representations from Transformers）的出现，文本分类任务的性能得到了显著提升。本文将深入剖析如何使用BERT进行文本分类任务，涵盖模型准备、数据预处理、微调策略以及性能评估等方面，并通过代码示例展现关键步骤，旨在为读者提供一份详实且实用的实战指南。
中文长文本分类、短句子分类、多标签分类、两句子相似度（Chinese Text Classification of Keras NLP, multi-label classify, or sentence classify, long or short），字词句向量嵌入层（embeddings）和网络层（graph）构建基类，FastText，TextCNN，CharCNN，TextRNN, RCNN, DCNN, DPCNN, VDCNN, CRNN, Bert, Xlnet, Albert, Attention, DeepMoji, HAN, 胶囊网络-CapsuleNet, Transformer-encode, Seq2seq, SWEM
自然语言处理(NLP)是许多数据科学系统中必须理解或推理文本的关键组成部分。常见的用例包括文本分类、问答、释义或总结、情感分析、自然语言BI、语言建模和消歧。
摘要：本篇从理论到实战重点分析了bert-as-service开源项目。首先讲了下学习bert-as-service的起因，因为实际业务中需要使用bert做线上化文本推理服务，所以经过调研选择bert-as-service开源项目；然后从理论的角度详解了bert-as-service，很纯粹的输入一条文本数据，返回对应的embedding表示。模型层面对比max pooling和average pooling分析了如何获得一个有效的embedding向量；工程方面重点从解耦bert和下游网络、提供快速的预测服务、降低线上服务内存占用以及高可用的服务方式分析如何提供高效的线上服务；最后实战了bert-as-service，从搭建服务到获取文本语句的embedding，再到最后获取微调模型的预测结果。希望对想要使用bert提供线上推理服务的小伙伴有帮助。
文本分类是自然语言处理中最基本而且非常有必要的任务，大部分自然语言处理任务都可以看作是个分类任务。近年来，深度学习所取得的前所未有的成功，使得该领域的研究在过去十年中保持激增。这些文献中已经提出了许许多多的算法模型、基准数据集一集评测指标，因此需要一个对这个领域进行全面而且跟进趋势的调查。这里我们介绍基于机器学习和深度学习的文本分类，主要内容来自北航、伊利诺伊大学等学者联合发表论文 A Survey on Text Classification: From Shallow to Deep Learning。
文本分类是自然语言处理中最基本的任务。由于深度学习的空前成功，过去十年中该领域的研究激增。已有的文献提出了许多方法，数据集和评估指标，从而需要对这些内容进行全面的总结。本文回顾1961年至2020年的文本分类方法，重点是从浅层学习到深度学习的模型。根据所涉及的文本以及用于特征提取和分类的模型创建用于文本分类的分类法。然后，详细讨论这些类别中的每一个类别，涉及支持预测测试的技术发展和基准数据集。并提供了不同技术之间的全面比较，确定了各种评估指标的优缺点。最后，通过总结关键含义，未来的研究方向以及研究领域面临的挑战进行总结。
本文介绍的是ICML2020论文《Description Based Text Classification with Reinforcement Learning》，论文作者来自香侬科技。
摘要。文本分类是自然语言处理中最基本的任务。由于深度学习的空前成功，过去十年中该领域的研究激增。已有的文献提出了许多方法，数据集和评估指标，从而需要对这些内容进行全面的总结。本文回顾1961年至2020年的文本分类方法，重点是从浅层学习到深度学习的模型。根据所涉及的文本以及用于特征提取和分类的模型创建用于文本分类的分类法。然后，详细讨论这些类别中的每一个类别，涉及支持预测测试的技术发展和基准数据集。并提供了不同技术之间的全面比较，确定了各种评估指标的优缺点。最后，通过总结关键含义，未来的研究方向以及研究领域面临的挑战进行总结。
文本分类作为人工智能领域的一个重要分支，其价值和影响力已经深入到我们日常生活的各个角落。在这个数据驱动的时代，文本分类不仅是机器学习和深度学习技术的集中展示，更是智能化应用的基础。
我把NLP文本分类任务的10篇经典论文称为“baseline 论文”——基石论文。吃透baseline论文，是学习NLP其他细分任务论文的基础。这10篇论文的篇目如下： ICLR2013，Word2Vec 词向量扛鼎之作 《Efficient Estimation of Word Representation in Vector Space》 EMNLP2014，Glove：最出名的词向量训练方法之一 《GloVe: Global Vectors for Word Representation》 EMNL
每天给你送来NLP技术干货！ ---- 写在前面 本文主要介绍了两种文本分类模型：BERT文本分类基础模型，及基于Bert和TextCNN的魔改模型。在作者实际的有关文本分类的工作中取得了F1值超越Bert基础模型近4%的效果。 1. Baseline：Bert文本分类器 Bert模型是Google在2018年10月发布的语言模型，一经问世就横扫NLP领域11项任务的最优结果，可谓风头一时无二。 有关于Bert中transformer的模型细节，我们在此就不赘述了。感兴趣的朋友，可以看看《The Illus
因为我当时正在用 fast.ai 的 ULMfit 做自然语言分类任务（还专门写了《如何用 Python 和深度迁移学习做文本分类？》一文分享给你）。ULMfit 和 BERT 都属于预训练语言模型（Pre-trained Language Modeling），具有很多的相似性。
携程一直注重用户的服务效率与服务体验，在售前、售中、售后全过程中给用户提供高效的客服支持。
我跟几位BAT老哥聊了下NLP全路径学习的事情，总结出以下内容，包含： 学习NLP需要具备哪些基础 NLP全路径各任务学习的项目 01 学习NLP需要具备的基础 01 机器学习 熟悉简单的机器学习模型。例如：逻辑回归、决策树、朴素贝叶斯、隐马尔科夫模型、K-Means、正则化方法等；有部分高级机器学习基础更好。例如：集成学习（随机森林、GBDT、XGB、Stacking等）、条件随机场CRF、贝叶斯网络、支持向量机、主题模型等。 02 深度学习 熟悉简单的神经网络基础。例如：神经元模型、多层感知机、反向传播
最近有很多小伙伴想了解深度学习在文本分类的发展，因此，笔者整理最近几年比较经典的深度文本分类方法，希望帮助小伙伴们了解深度学习在文本分类中的应用。
本文首先介绍BERT模型要做什么，即：模型的输入、输出分别是什么，以及模型的预训练任务是什么；然后，分析模型的内部结构，图解如何将模型的输入一步步地转化为模型输出；最后，我们在多个中/英文、不同规模的数据集上比较了BERT模型与现有方法的文本分类效果。 1. 模型的输入/输出 BERT模型的全称是：BidirectionalEncoder Representations from Transformer。从名字中可以看出，BERT模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的Repre
摘要：上一篇广告中那些趣事系列1：广告统一兴趣建模流程，我们了解了如何为广告主圈人群以及如何刻画用户的兴趣度。要想给用户打标签，我们需要构建数据源和标签的关联，也就是item-tag。针对数量较少的app数据源我们可以使用人工打标的方式来识别，但是对于news、用户query等数量较多的数据源则需要通过机器学习模型来进行打标。实际项目中我们使用NLP中鼎鼎大名的BERT模型来进行文本分类。
经常有粉丝私信问我，有没有合适的NLP项目适合入门，一直跑网上的开源demo感觉收获不大。 我邀请到了大厂NLP算法专家王老师。 王老师目前在BAT某厂负责算法架构方面的工作，有7年以上的算法工作经验。在金融、媒体、电商等领域有众多NLP落地项目实践。王老师提炼总结了自己多年工作经验，输出成6个小时的《新闻文本分类项目实战班》，非常适合刚入门NLP的同学上手。 这个项目实战最吸引我的有2点—— 01 数据集。基于头条新闻标题数据集，质量相对较高。 02 代码。提供企业级代码、遵循标准的面向对象范式。
BERT (Bidirectional Encoder Representations from Transformers) 官方代码库 包含了BERT的实现代码与使用BERT进行文本分类和问题回答两个demo。本文对官方代码库的结构进行整理和分析，并在此基础上介绍本地数据集使用 BERT 进行 finetune 的操作流程。BERT的原理介绍见参考文献[3]。
Bert模型是Google在2018年10月发布的语言表示模型，Bert在NLP领域横扫了11项任务的最优结果，可以说是现今最近NLP中最重要的突破。Bert模型的全称是Bidirectional Encoder Representations from Transformers，是通过训练Masked Language Model和预测下一句任务得到的模型。关于Bert具体训练的细节和更多的原理，有兴趣的读者可以去看在[arXiv](https://arxiv.org/abs/1810.04805)上的原文。本篇文章从实践入手，带领大家进行Bert的中文文本分类和作为句子向量进行使用的教程。
摘要：本篇介绍了我们实际项目文本分类任务样本优化实践汇总。首先样本层面优化文本分类任务需要解决如何又快又好的获取人工标注数据集、如何解决样本不均衡问题和如何获取更多的训练样本三个问题；然后通过主动学习可以又快又好的获取人工标注数据集以及通过损失函数解决样本不均衡问题；最后重点介绍了我们的半监督和自训练流程项目，主要包括半监督项目的目标以及基本流程。对于希望提升文本分类任务线上效果的小伙伴可能有所帮助。
文本分类是自然语言处理的核心思想之一。如果一台机器能够区分名词和动词，或者它能够在客户的评论中检测到客户对产品的满意程度，我们可以将这种理解用于其他高级NLP任务。
课程介绍 “文本分类”即对文本进行分类的过程，是自然语言处理 (NLP) 最常见的任务之一。文本分类任务可以自动分析文本，然后根据上下文分配一组预定义标签或类别。文本分类可应用于多种场景，包括情感分析、垃圾邮件过滤、新闻分类以及对话系统的领域/意图检测。本课程，您将学习如何利用 TAO（训练、适配、优化）的简单性和便利性来构建用于情感分析的文本分类任务。 课程包含 “NGC TAO 工具包 - 对话式 AI” 集合中的示例 Jupyter notebook，并配有云端 GPU 实验环境。 您将学习如何： 在
fastNLP是一款轻量级的自然语言处理（NLP）工具包，目标是快速实现NLP任务以及构建复杂模型。
摘要：BERT因为效果好和适用范围广两大优点，所以在NLP领域具有里程碑意义。实际项目中主要使用BERT来做文本分类任务，其实就是给文本打标签。因为原生态BERT预训练模型动辄几百兆甚至上千兆的大小，模型训练速度非常慢，对于BERT模型线上化非常不友好。本篇研究目前比较火的BERT最新派生产品ALBERT来完成BERT线上化服务。ALBERT使用参数减少技术来降低内存消耗从而最终达到提高BERT的训练速度，并且在主要基准测试中均名列前茅，可谓跑的快，还跑的好。希望对需要将BERT线上化感兴趣的小伙伴有些许帮助。
摘要：本篇主要讲解将主动学习应用到文本分类任务。首先讲了下为啥要研究主动学习。因为标注样本是有成本的，所以我们要尽量用更少的标注样本来得到一个效果更好的模型，这是研究主动学习的原因和目的；然后详解主动学习，主要包括主动学习的定义、基本流程、查询策略的设计原则、常用的查询策略以及主动学习的评价指标等；最后讲了下将主动学习应用到文本分类实战的详细步骤，从使用不同的BERT预训练模型获取多个分类器到基于委员会的查询策略获取不确定性较大的样本，再到基于SimBERT获取语义相似度较远的样本，再到结合业务视角选择最终的样本。对于希望将主动学习应用到实际的机器学习项目的小伙伴可能会有帮助。
2018年8月-12月，由美团点评、创新工场、搜狗、美图联合主办的“AI Challenger 2018全球AI挑战赛”历经三个多月的激烈角逐，冠军团队从来自全球81个国家、1000多所大学和公司的过万支参赛团队中脱颖而出。其中“后厂村静静”团队-由毕业于北京大学的程惠阁（现已入职美团点评）单人组队，勇夺“细粒度用户评论情感分类”赛道的冠军。本文系程惠阁对于本次参赛的思路总结和经验分享，希望对大家能够有所帮助和启发。
深层神经网络的快速发展在过去的十年中彻底改变了自然语言处理(NLP)领域 。同时，诸如保护用户隐私、消除网络延迟、启用离线功能以及降低运营成本等问题，迅速推动了可以在移动设备而不是在数据中心运行的 NLP 模型的发展。
文本分类是NLP领域的最常见工业应用之一，也是本人在过去的一年中接触到最多的NLP应用，本文「从工业的角度浅谈实际落地中文本分类的种种常见问题和优化方案」。
意图识别是NLP中对话系统的一项基本任务。意图识别（有时也称为意图检测）是使用标签对每个用户话语进行分类的任务，标签来自一组预定义的标签。
在近几年的自然语言处理领域中，BERT和GPT是两个引起广泛关注的语言模型。特别是在GPT3.5的基础上进行微调的chatGPT，持续出圈和火爆。chatGPT的火爆表明了预训练语言模型在自然语言处理领域具有巨大的潜力，并且在提高自然语言理解和生成能力方面取得了显著的进展。这可能会带来更多的应用和更广泛的接受。
https://github.com/yongzhuo/Keras-TextClassification
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
