最近刚刚把垃圾文本分类做完，接着又去研究意图识别，可以看做是分类完之后的后续处理，通过这篇文章记录下自己的学习经历。
普通的表格 Markdown 代码: | 一个普通标题 | 一个普通标题 | 一个普通标题 | | ------ | ------ | ------ | | 短文本 | 中等文本 | 稍微长一点的文本 | | 稍微长一点的文本 | 短文本 | 中等文本 | 一个普通标题一个普通标题一个普通标题 短文本中等文本稍微长一点的文本 稍微长一点的文本短文本中等文本 设置内容对齐 Markdown 代码: | 左对齐标题 | 右对齐标题 | 居中对齐标题 | | :------| ------: | :-
📷 💂作者简介： THUNDER王，一名热爱财税和SAP ABAP编程以及热爱分享的博主。目前于江西师范大学会计学专业大二本科在读，同时任汉硕云（广东）科技有限公司ABAP开发顾问。在学习工作中，我通常使用偏后端的开发语言ABAP，SQL进行任务的完成，对SAP企业管理系统，SAP ABAP开发和数据库具有较深入的研究。 💅文章概要： 本篇文章主要对SAP ABAP中的包的概要进行一个讲解，主要包括了包概述，传输层和软件组件以及如何创建一个包。 🤟每日一言： 保护好你的梦想，等到它开花结果的那天，它会
在ABAP中，每一个开发对象(如程序和类等)都要隶属于一个包(Package)， 包一般隶属于某一个模块， 作用是对开发对象进行归类，便于管理。除此之外，每个包还拥有个CTS (Changed Transport System)号，CTS 号用于在系统间传输程序。系统间传输程序时是以CTS号作为基本单位进行传递的。其中包中最重要的两个属性是传输层和软件组件
词义消歧，句子、篇章语义理解基础，必须解决。语言都有大量多种含义词汇。词义消歧，可通过机器学习方法解决。词义消歧有监督机器学习分类算法，判断词义所属分类。词义消歧无监督机器学习聚类算法，把词义聚成多类，每一类一种含义。
每天给你送来NLP技术干货！ ---- 来自：CS的陋室 短文本理解，无论是分类、实体识别还是语义相似度，其实在日常应用中都是挺多的，例如搜索和对话场景下用户输入的内容，基本都是短文本的处理，今天来给大家分享一下短文本视角下的常见问题以及难点吧。 当然了，这里的概念比较笼统，就是短文本理解，在任务上是比较泛的，下面的思路其实可以套用到各种理解类的问题里，就是上面说的分类、序列标注、语义相似度这种问题里。 短文本理解的概念 所谓的理解，其实就是对文本进行理解或者说信息抽取，相信这个大家都好懂，常见的就是分类、
Prompt的目的是将Fine-tuning的下游任务目标转换为Pre-training的任务.
论文：Topic Memory Networks for Short Text Classification
面向中文短文本的实体识别与链指，简称ERL（Entity Recognition and Linking），是NLP领域的基础任务之一，即对于给定的一个中文短文本（如搜索Query、微博、用户对话内容、文章标题等）识别出其中的实体，并与给定知识库中的对应实体进行关联。ERL整个过程包括实体识别和实体链指两个子任务。
随着互联网和移动终端的发展，用户获取信息的需求越来越高——从以前单一地接受信息到现在主动获取自己感兴趣的资讯。搜狐新闻客户端的重要任务就是根据用户喜好向用户推荐他们感兴趣和关心的新闻，从而提升新闻点击率和阅读时长。
机器之心专栏 作者：百度NLP 本期百度NLP 专栏介绍了百度开源的中文主题模型应用工具包 Familia。在本文中，作者结合 Familia 汇总主题模型在工业界的一些典型应用案例，方便开发者按图索骥，找到适合自己任务的模型以及该模型的应用方式。 主题模型是文本挖掘的重要工具，近年来在学术界和工业界都获得了非常多的关注。虽然学术界的研究人员提出了多种多样的主题模型来适应不同的场景，这些工作主要集中在「建模」层面，即设计合理的模型来适配各色各样的数据，而指导主题模型在工业场景「落地」的资源和文
沈哥，我们有个业务，类似于“标题分词检索”，并发量非常大，大概20W次每秒，数据量不是很大，大概500W级别，而且数据不会频繁更新，平均每天更新一次，请问有什么好的方案么？
使用三个以上的星号(*)、减号(-)、底线(_)来建立一个分隔线，行内不能有其他东西。
项目地址，阅读原文可以直达，欢迎参与和Star： https://github.com/RandyPen/TextCluster 这个项目的作者是AINLP交流群里的昭鸣同学，该项目开源了一个短文本聚类工具，内存友好，速度不错，还不用尝试隐变量个数，欢迎使用。
人类可以在图像中构建知识。每次我们看到一个想法或经验时，大脑都会立即对其进行视觉表示。同样，我们的大脑也在不断地在声音或纹理等感官信号与其视觉表现之间切换上下文。我们在视觉表示中思考的能力还没有完全扩展到人工智能 (AI) 算法。大多数 AI 模型都高度专业化于一种数据表示形式，例如图像、文本或声音。而我们研究的最终目的是将开始看到可以在不同数据格式之间有效转换以优化知识创造的人工智能形式。最近来自微软的 AI 研究人员发表了一篇论文，提出了一种基于短文本生成图像的方法。
本博文本应写之前立的Flag：基于加密技术编译一个自己的Python解释器，经过半个多月尝试已经成功，但考虑到安全性问题就不公开了，有兴趣的朋友私聊讨论吧。 从本篇博客开始，本人将转化写作模式，由话痨模式转为极简模式，力求三言两语让各位看的明白。
总第515篇 2022年 第032篇 近日，美团搜索与NLP部NLP中心语义理解团队的小样本学习模型FSL++在中文小样本语言理解权威评测基准FewCLUE榜单登顶，在自然语言推理（OCNLI）单任务中取得第一，并在极少数样本（一个类别仅100余个）的条件下，在新闻分类(TNEWS)、科学文献学科分类（CSLDCP）任务上超过了人类识别精确度。 1 概述 2 方法介绍 2.1 增强预训练 2.2 模型结构 2.3 数据增强 2.4 集成学习&自训练 3 实验结果 3.1 数据集介绍 3.2 实验对比 4
作为自然语言处理领域的两个重要代表，百度的文心一言和OpenAI在技术、应用和发展方向上存在一些不同。
随着生成式大模型的不断进步，它们生成的语料正逐步逼近人类。虽然大模型正在解放无数文书的双手，它以假乱真的强劲能力也为一些不法分子所利用，造成了一系列社会问题：
过去几年，深度神经网络在模式识别中占绝对主流。它们在许多计算机视觉任务中完爆之前的顶尖算法。在语音识别上也有这个趋势了。而中文文本处理，以及中文自然语言处理上，似乎没有太厉害的成果？尤其是中文短文本处理的问题上，尚且没有太成功的应用于分布式条件下的深度处理模型？（大公司或许有，但没有开源）本文暂且梳理一下，尝试围绕深度学习和 短文本处理的方方面面就最简单的概念进行一次梳理，并且试图思考一个问题：
随着AI技术的发展，NLP技术已经陆续“上岗”至各类产业应用场景中，自动处理繁杂而重复性的工作，如新闻内容自动分类、智能客服自动回复、评论敏感词审核、用户评论情感分析等。
该书选取了如何让机器“智能”地理解“短文本”（比如搜索查询、广告关 键字、标签、微博、问答、聊天记录等）这一前沿研究课题，汇集了王仲远博士及其合作作者在国际顶级学术会议发表的前沿论文，介绍了在微软和Facebook实际产品中所应用的相关技术，是一本同时适合学术界和工业界人士阅读的书籍。
CIPS2016 中文信息处理报告《第五章 语言表示与深度学习研究进展、现状及趋势》第三节 技术方法和研究现状中有一些关于语言表示模型划分的内容P33-P35，其中：
AI "造假"越发精妙，以至于我们开始难以分辨出真实与虚构的界限。前几天的「10 分钟骗 430万」直接冲到热搜？足以看出人们对 AI 造假产生了深深的担忧。不过现在，针对 AI 生成语料的检测方法已经被研究出来。
Bert 给人们带来了大惊喜，不过转眼过去大约半年时间了，这半年来，陆续出现了与 Bert 相关的不少新工作。
来源： 大漠 https://www.w3cplus.com/css/flexible-overflow.html 说到对于CSSer而言并不会陌生，用来控制内容溢出的现象。而很多时候我们还会使用来控制内容溢出的显示。一般是直接截取，另一种是截取之后让文本后面带有三个点的省略号。不过有意思的是，我们今天要说的灵活。 前两天@kizmarh发的博文，让我眼前一亮。再次让我不得不佩服国外的工程师的创新能力。大家可能会说是什么效果呢？又是什么效果才能称得上是灵活的呢？别的不多说，先上一个效果： Demo1 初看效
前端爱好者的知识盛宴 嗨 这里是IMWEB 欢迎关注转发 让更多的前端技友一起学习发展~ 说到overflow对于CSSer而言并不会陌生，用来控制内容溢出的现象。而很多时候我们还会使用text-overflow来控制内容溢出的显示。 一般是直接截取，另一种是截取之后让文本后面带有三个点的省略号。不过有意思的是，我们今天要说的灵活overflow。 前两天@kizmarh发的博文，让我眼前一亮。再次让我不得不佩服国外的工程师的创新能力。大家可能会说是什么效果呢？又是什么效果才能称得上是灵活的overflo
意思就是，char在定义长度时的长度，在后面存储数据时是不可变的。varchar反之。char是固定长度的字符，varchar可变长度的字符。
在评估一个模型的时候，仅通过ROUGE、BLEU SCORE评价模型还是太单薄了，并不能全面的反馈模型的能力。在相完整评估一个模型的能力的时候，最重要的是提供一套有效的评估模型。现在常见的模型的基准测试有 GLUE、SuperGLUE、HELM、MMLU等等。
本文介绍了LSF-SCNN模型在短文本分类和答案选择问题上的应用。首先，作者介绍了模型的基本原理和结构，然后详细阐述了模型在两个数据集上的实验结果。实验结果表明，模型在两个数据集上均获得了较高的准确率，在答案选择问题上表现尤为突出。
前言 在美团商家数据中心（MDC），有超过100w的已校准审核的POI数据（我们一般将商家标示为POI，POI基础信息包括：门店名称、品类、电话、地址、坐标等）。如何使用这些已校准的POI数据，挖掘出
在美团商家数据中心（MDC），有超过100w的已校准审核的POI数据（我们一般将商家标示为POI，POI基础信息包括：门店名称、品类、电话、地址、坐标等）。如何使用这些已校准的POI数据，挖掘出有价值
知识图谱是一种大规模语义网络，已经成为大数据时代知识工程的代表性进展。 知识图谱技术是实现机器认知智能和推动各行业智能化发展的关键基础技术。由复旦大学肖仰华教授策划的《知识图谱：概念与技术》课程体系，已在国内进行了多次巡回演讲，受到参会人员一致好评。 课程主要目的和宗旨是系统讲述知识图谱相关知识，让同学们对知识图谱的理论和技术有一个系统的认知。本实录来自该课程老师和同学的研讨。 下面让我们通过第十二章《基于知识图谱的语言认知》的15条精华研讨，来进一步学习了解知识图谱技术内幕。文末可查看更多章节精华回顾。
Bert 给人们带来了大惊喜，不过转眼过去大约半年时间了，这半年来，陆续出现了与Bert相关的不少新工作。
文本分类是NLP领域的最常见工业应用之一，也是本人在过去的一年中接触到最多的NLP应用，本文「从工业的角度浅谈实际落地中文本分类的种种常见问题和优化方案」。
作者使用 AIMCS 和其它的压缩方法分别压缩一组 ASCII 编码和 Unicode 编码的短文本。这些短文本是在没有任何过滤的情况下从英语、阿拉伯语以及波斯语的 Twitter 和短文本消息中提取的。
17:文字排版 查看 提交 统计 提问 总时间限制: 1000ms 内存限制: 65536kB描述 给一段英文短文，单词之间以空格分隔（每个单词包括其前后紧邻的标点符号）。请将短文重新排版，要求如下： 每行不超过80个字符；每个单词居于同一行上；在同一行的单词之间以一个空格分隔；行首和行尾都没有空格。 输入第一行是一个整数n，表示英文短文中单词的数目. 其后是n个以空格分隔的英文单词（单词包括其前后紧邻的标点符号，且每个单词长度都不大于40个字母）。输出排版后的多行文本，每行文本字符数最多80个字符，
在IJCAI-2019期间举办的腾讯TAIC晚宴和Booth Talk中，来自TEG数据平台的张长旺向大家介绍了自己所在用户画像组的前沿科研结果： 1. 非监督短文本层级分类； 2. 大规模复杂网络挖掘和图表示学习。 其所在团队积极与学术界科研合作，并希望有梦想、爱学习的实力派加入，共同研究和应用半监督/弱监督/无监督学习、小样本学习、大规模复杂网络挖掘和图表示学习等做大数据挖掘。 科研结果1：非监督短文本层级分类 首先以下用户和AI算法的对话，显示了现实业务中使用现有监督文本分类算法的遇到
文本相似度是指衡量两个文本的相似程度，相似程度的评价有很多角度：单纯的字面相似度（例如：我和他 v.s. 我和她），语义的相似度（例如：爸爸 v.s. 父亲）和风格的相似度（例如：我喜欢你 v.s. 我好喜欢你耶）等等。
每一款游戏在策划、研发、运营阶段，都需要去倾听游戏玩家的各种声音。比如游戏运营人员经常需要观察游戏事件（如活动、新英雄、新版本）在玩家中的反响和口碑。WeTest舆情针对游戏领域，玩家在各个数据渠道、社交媒体上的评论进行分析，对玩家关于游戏的各个维度评论进行聚类，便于游戏运营人员快速准确的发现问题、评价活动的玩家口碑和事件分析等。
输入： 1)情感词典：sentiment_words.txt, 存放在dict文件夹中 2)修饰词典：desc_words.txt, 存放在dict文件夹中 3)依存句法分析器：这里用到ltp,相关模型需要自行下载，版本对应是3.4.0 3)基于依存句法的情感计算规则：详见sentence_parser.py和DocSentimentAnalysis两个脚本文件
在前一篇文章 《海量数据相似度计算之simhash和海明距离》 介绍了simhash的原理，大家应该感觉到了算法的魅力。但是随着业务的增长 simhash的数据也会暴增，如果一天100w，10天就1000w了。我们如果插入一条数据就要去比较1000w次的simhash，计算量还是蛮大，普通PC 比较1000w次海明距离需要 300ms ，和5000w数据比较需要1.8 s。看起来相似度计算不是很慢，还在秒级别。给大家算一笔账就知道了：
笔者主要方向是KBQA，深深体会到竞赛是学习一个新领域最好的方式，这些比赛总的来说都属于文本分类领域，因此最近打算一起总结一下。
选自arXiv 作者：Pengcheng Yang等 机器之心编译 参与：刘晓坤、王淑婷 近两日，NIPS 2018 8000 多篇投稿（后经 Hugo Larochelle 澄清，为 4900 篇）、使用本科毕业生做同行评审的信息刷爆朋友圈。在人工智能火热的今天，顶级大会收到的论文是越来越多，对同行评审的人数、要求也越来越高。恰好，机器之心发现一篇北京大学被 ACL 2018 接收的论文，提出使用模块化分层卷积神经网络来对学术论文的 LATEX 源文件进行自动评分。由于之前并没有相关研究，为此作者构建了包
Darktrace的最新研究表明，威胁行为者利用Dropbox的合法基础设施发起了一场新型的钓鱼活动，并成功绕过了多因素认证（MFA）。
导读：在电商推荐中，除了推送商品的图片和价格信息外，文案也是商品非常重要的维度。基于编码器解码器范式的序列文本生成模型是文案挖掘的核心，但该种方法面临着两大技术挑战：一是文案生成结果不可靠和生成质量不可控，无法满足业务对电商商品文案内容可靠性的严格要求；二是序列文本生成模型经常面临数据坍塌，比较容易生成万金油式的安全文案，文案内容本身的多样性会越来越低，且无法捕捉语言本身的流行或演化趋势。针对以上两大挑战，在以文案生成系统为核心的基础上，引入了文案摘要清洗系统和文案质量评估系统，总结提出了一个通用的电商商品文案挖掘方案。今天将和大家分享京东电商平台的电商商品文案挖掘的优化实践，包括以下几方面内容：
几个月前我们就聊过RAG的经典方案解密Prompt系列14. LLM Agent之搜索应用设计。前几天刚看完openAI在DevDay闭门会议上介绍的RAG相关的经验，有些新的感悟，借此机会再梳理下RAG相关的优化方案。推荐直接看原视频（需科学上网）A Survey of Techniques for Maximizing LLM Performance
选自腾讯 机器之心编译 参与：张倩、路 来自腾讯 MIG 移动浏览产品部和阿尔伯塔大学的研究者提出一种用于文本匹配的新模型 MIX，这是一个多信道信息交叉模型，大大提升了文本匹配的准确率，在 QQ 浏览器搜索直达业务使用中也表现出了优秀的性能，相对提升点击率 5.7%。目前，这篇长论文已经被 KDD 2018 接收。 1 引言 短文本匹配在信息检索、问答、对话系统等自然语言处理任务中起着至关重要的作用。早期的文本匹配方法包括基于检索知识库的自动问答，以及基于词匹配和特征交叉（feature crossin
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
