作者：伏草惟存 来源：http://www.cnblogs.com/baiboy/p/nltk2.html 1 Python 的几个自然语言处理工具 NLTK:NLTK 在用 Python 处理自然语言的工具中处于领先的地位。它提供了 WordNet 这种方便处理词汇资源的借口，还有分类、分词、除茎、标注、语法分析、语义推理等类库。 Pattern:Pattern 的自然语言处理工具有词性标注工具(Part-Of-Speech Tagger)，N元搜索(n-gram search)，情感分析(senti
【磐创AI导读】：本文为中文分词工具整理分享。想要了解更多技术咨询，欢迎大家点击上方蓝字关注我们的公众号：磐创AI。
需求：客户给销售员自己的个人信息，销售帮助客户下单，此过程需要销售人员手动复制粘贴收获地址，电话，姓名等等，一个智能的分词系统可以让销售人员一键识别以上各种信息
【人工智能头条导读】作者一年前整理了这份关于 NLP 与知识图谱的参考资源，涵盖内容与形式也是非常丰富，接下来人工智能头条还会继续努力，分享更多更好的新资源给大家，也期待能与大家多多交流，一起成长。
本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。
以 ChatGPT 为代表的大型语言模型（LLM）在各项任务上的高效表现彰显了其广阔发展前景。然而，大模型回复与人类价值偏好经常存在不一致问题。
Pine 萧箫 发自 凹非寺 量子位 | 公众号 QbitAI 没想到，众人加班加点抢“中国版ChatGPT”热度时，首个国内类ChatGPT模型竟然已经发布了！ 砸出这个重磅消息的，不是紧锣密鼓宣传的BAT大厂，也不是直接出手几亿的投资大V，而是这段时间来一直没吭气的复旦大学。 事情一出，直接引爆了一众社交媒体，不仅在微博刷出数个热搜话题，知乎更是冲上热榜第一。 各路“ChatGPT爱好者”连夜赶来围观，甚至由于官网访问人数太多，服务器一度被挤爆，又上了一次热搜。 这是怎么回事？ 原来，复旦NLP团队
本文简要介绍了自然语言处理中极其重要的句法分析，并侧重对依存句法分析进行了重点总结，包括定义、重要概念、基本方法、性能评价、依存分析数据集，最后，分享了一些流行的工具以及工具实战例子。
1 请列出几种文本特征提取算法 答：文档频率、信息增益、互信息、X^2统计、TF-IDF 2 简述几种自然语言处理开源工具包 答：LingPipe、FudanNLP、OpenNLP、CRF++、Standord CoreNLP、IKAnalyzer 3 简述无监督和有监督算法的区别 答： （1）有监督学习：对具有概念标记（分类）的训练样本进行学习，以尽可能对训练样本集外的数据进行标记（分类）预测。这里，所有的标记（分类）是已知的。因此，训练样本的岐义性低。 无监督学习：对没有概念标记（分类）的训练样本进行学
2023 年，各大厂商争先投入 LLM 研发，一年内，在国内累计就有 200 余个大模型正式发布。尽管很多大模型并不完善，但行业内的研究专家及产业领袖都在为大模型的突破甚至 AGI 的发展，做着不懈探索。
【导读】复旦大学副教授、博士生导师、开源自然语言处理工具FudanNLP的主要开发者邱锡鹏（http://nlp.fudan.edu.cn/xpqiu/）老师撰写的《神经网络与深度学习》书册，是国内为数不多的深度学习中文基础教程之一，每一章都是干货，非常精炼。邱老师在今年中国中文信息学会《前沿技术讲习班》做了题为《深度学习基础》的精彩报告，报告非常精彩，深入浅出地介绍了神经网络与深度学习的一系列相关知识，基本上围绕着邱老师的《神经网络与深度学习》一书进行讲解。专知希望把如此精华知识资料分发给更多AI从业者，
请完成每次练习后把report上传到QQ群中的共享文件夹中的“Reports of nlp-beginner”目录，文件命名格式为“task 1+姓名”。
中文主要有：NLTK，FoolNLTK，HanLP（java版本），pyhanlp（python版本），Ansj，THULAC，结巴分词，FNLP，哈工大LTP，中科院ICTCLAS分词，GATE，SnowNLP，东北大学NiuTrans，NLPIR，；
可能对于大部分中国AIer来说，语言门槛高过了一座大山。网红课虽好，但是英语听不懂啊。
MOSS是复旦大学自然语言处理实验室发布的一种类似于ChatGPT的会话语言模型。MOSS能够按照用户的指示执行各种自然语言任务，包括回答问题、生成文本、摘要文本、生成代码等。MOSS还能够挑战错误的前提，拒绝不适当的请求。
结巴分词使用 中文分词之结巴分词~~~附使用场景+demo（net） jieba分词、自定义词典提取高频词、词性标注及获取词的位置 jieba分词增加自定义词表 词性标注 [python] 使用Jieba工具中文分词及文本聚类概念 jieba分词词性标记含义 Toolkits 综合NLP工具包 THULAC 中文词法分析工具包 by 清华 (C++/Java/Python) NLPIR by 中科院 (Java) LTP 语言技术平台 by 哈工大 (C++) FudanNLP
百亿规模参数，MOSS 的英文回答水平较中文更高。 作者 | 黄楠 编辑 | 陈彩娴 2月20日，复旦大学自然语言处理实验室发布对话式大型语言模型 MOSS，该模型由邱锡鹏教授带队完成发布，上海人工智能实验室提供有力支持。 作为一个语言模型，MOSS 可执行对话生成、编程、事实问答等系列任务，比如让它回答关于“AI 取代人类工作”的问题： 也可以通过列举具体的指令，请它帮忙推荐电影： 或者是生成一段 Python 代码实现快速排序： 可以看到，MOSS 回答流畅，在不同场景上都有不凡的表现。 MOSS
作为国际最受关注的自然语言处理顶级会议，每年的 ACL 都吸引了大量华人学者投稿、参会。今年的 ACL 大会已是第 60 届，即将于 5 月 22-5 月 27 举办。受到疫情影响，国内 NLP 从业者参与大会受到很多限制。 为了给国内 NLP 社区的从业人员搭建一个自由轻松的学术交流平台，机器之心组织了「ACL 2022 线上论文分享会」，定档 5 月 21 日云端相聚。 本次 ACL 论文分享设置了 Keynote、 论文分享、企业招聘等环节，就业内关注的 Transformer、大规模预训练模型等
邱老师昨天就在知乎发布了这本书：「整本书终于写完了，虽然还有很多不足。但先告一段落，不然就得无限期拖延下去。感谢众多热心网友的意见和建议。全书的内容可以从这里（https://nndl.github.io/）下载。个人能力有限，书中难免有不当和错误之处，还望读者海涵和指正，不胜感激。」
本次报告主要涉及深度学习在自然语言处理(Natural Language Processing,NLP)领域的进展，首先讲解了语言的表示学习、词嵌入等基础概念和知识，然后介绍了无监督预训练、Transformer模型、BERT及多种改进等NLP技术的最新研究工作，最后对深度学习在理论和应用层面的前景进行了展望。
随着人工智能的火热，AAAI、NeurIPS、CVPR 等顶级学术会议的影响力也愈来越大，每年接收论文、参会人数的数量连创新高。 ACL，作为国际最受关注的自然语言处理顶级会议，每年都吸引了大量华人学者投稿、参会，今年的 ACL 大会已是第 60 届，将于 5 月 22-5 月 27 举办。因为疫情原因，国内 NLP 从业者参与大会将受到很大的限制。 为了给国内 NLP 社区的从业人员搭建一个自由轻松的学术交流平台，机器之心组织了「ACL 2022 线上论文分享会」，定档 5 月 21 日云端相聚。 本次
ChatGPT 是最先进的 AI，也是最热门的应用 —— 自去年 11 月底发布以来，它的月活跃用户两个月超过一亿，轻松拿到了全球互联网史上用户增长速度的第一。
这篇文章事实上整合了之前文章的相关介绍，同时添加一些其他的Python中文分词相关资源，甚至非Python的中文分词工具，仅供参考。
作者 | 凌敏、刘燕 “MOSS 还是一个非常不成熟的模型，距离 ChatGPT 还有很长的路需要走。” 自去年 11 月底正式发布以来，OpenAI 最新的 AI 聊天机器人 ChatGPT 迅速成为现象级应用。瑞银发布的研究报告显示，ChatGPT 在今年 1 月，月活跃用户估计已达 1 亿，成为历史上用户增长最快的消费应用。 随着 ChatGPT 在全球范围内迅速走红，全球互联网大厂、创业公司纷纷加码布局。在国外，谷歌加急推出了人工智能聊天机器人 Bard Bard；在国内，百度将在 3 月推出类似
机器之心报道 编辑：泽南、蛋酱 不知道这个人工智能，有没有获得完整的一生。 ChatGPT 是最先进的 AI，也是最热门的应用 —— 自去年 11 月底发布以来，它的月活跃用户两个月超过一亿，轻松拿到了全球互联网史上用户增长速度的第一。 它也是一种门槛很高的技术。由于 ChatGPT 的训练过程所需算力资源大、标注成本高，目前国内暂未出现对大众开放的同类产品。百度、阿里、京东等互联网大厂都放出消息，表示正在打造「国产 ChatGPT」，并将在近期发布。 在各大厂产品到位之前，学界先有了消息。2 月 20 日
DeepLearning4j是一个java的神经网络框架，便于java程序员使用神经网络来完成一些机器学习工程。
编者按：本文收集了百来篇关于机器学习和深度学习的资料，而且原文也会不定期的更新，望看到文章的朋友能够学到更多。 《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning. 《Deep Learning in Neural Networks: An Overview》 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最新版本《
来源 | 机器之心 ChatGPT 是最先进的 AI，也是最热门的应用 —— 自去年 11 月底发布以来，它的月活跃用户两个月超过一亿，轻松拿到了全球互联网史上用户增长速度的第一。 它也是一种门槛很高的技术。由于 ChatGPT 的训练过程所需算力资源大、标注成本高，目前国内暂未出现对大众开放的同类产品。百度、阿里、京东等互联网大厂都放出消息，表示正在打造「国产 ChatGPT」，并将在近期发布。 在各大厂产品到位之前，学界先有了消息。2 月 20 日晚，复旦大学自然语言处理实验室发布了具备 ChatGPT
推荐Github上一个很棒的中文自然语言处理相关资料的Awesome资源：Awesome-Chinese-NLP ，Github链接地址，点击文末"阅读原文"可直达：
小红书REDtech 青年技术沙龙延期至 10 月 15 日，招募持续进行中。 作为近年国内发展最为迅速的移动互联网平台之一，小红书的超大型 UGC 社区产生了海量多模态数据及用户行为反馈，基于独特的社区生态和丰富的落地场景，在计算机视觉、自然语言、强化学习等领域不断诞生着兼具价值和挑战的新问题。 随着用户规模的高速发展与用户需求的不断提升，技术在小红书发展飞轮中承担着越来越重要的角色。小红书在技术领域不断加大投入，加快布局前沿技术，不断以创新技术推动业务增长，吸引了众多全球顶尖科技公司技术牛人加入，同
《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost 到随机森林、Deep Learning. 《Deep Learning in Neural Networks: An Overview》 介绍:这是瑞士人工智能实验室 Jurgen Schmidhuber 写的最新版本《神经网络与深度学习综述》本综述的特点是以时间排序，从 1940 年开始讲起，到 60-80 年代，80-90 年代，
9 月 24 日 16:00-19:30，小红书 REDtech 青年技术沙龙，线下见！ AI 引领的新一代信息技术正驱动新一轮科技浪潮。在人工智能迈向通用智能的新发展阶段，面向不同场景的应用落地，AI 技术融合创新已成为新常态。视觉、语言、自然语言、强化学习等领域的壁垒逐渐打破，并在应用落地过程中进一步与数据、场景融合，极大地拓展了 AI 能力边界。 作为近年国内发展最为迅速的移动互联网平台之一，小红书的超大型UGC社区产生了海量多模态数据及用户行为反馈，基于独特的社区生态和丰富的落地场景，在计算机视觉
3月18日，由中国图象图形学会（CSIG）主办，合合信息、CSIG文档图像分析与识别专业委员会联合承办的“CSIG企业行”系列活动将正式举办，通过搭建学术界与企业交流合作平台，为企业创新发展提供科技支撑，为图像图形领域高校师生提供与企业互动机会，集结产学研力量，共同推动图像图形领域的发展。
卷积神经网络 当处理图像时，全连接的前馈神经网络会存在以下两个问题: 图像不能太大。比如，输入图像大小为 100 × 100 ×3(即图像高度为 100， 宽度为 100，3 个颜色通道 RGB)。在全连接前馈神经网络中，第一个隐藏 层的每个神经元到输入层都有 100 ∗ 100 ∗ 3 = 30, 000 个相互独立的连接， 每个连接都对应一个权重参数。随着隐藏层神经元数量的增多，参数的规 模也会极具增加。这会导致整个神经网络的训练效率会非常低，也很容易出现过拟合。 难以处理图像不变性。自然图像中的物
编者按：本文收集了百来篇关于机器学习和深度学习的资料，含各种文档，视频，源码等。而且原文也会不定期的更新，望看到文章的朋友能够学到更多。 《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost 到随机森林、Deep Learning. 《Deep Learning in Neural Networks: An Overview》 介绍:这是瑞士人工智能实验室 Jurgen Schmid
---- 新智元报道 编辑：好困 Aeneas 【新智元导读】复旦NLP团队首次上线MOSS两个月后，他们遵照承诺，真的把MOSS开源了。同时，MOSS也成为了国内首个搭载插件系统的开源对话语言模型。 国内首个类ChatGPT模型MOSS，开源了！ 这次，复旦团队的模型不仅更加成熟，而且还增加了「搜索引擎、计算器、解方程、文生图」等插件功能，既可在线体验，也支持本地部署—— 在FP16精度下单张A100/A800或两张3090显卡就能运行，而在INT4/8精度下只需一张3090即可。（但还没放出）
---- 新智元报道 来源：信息与电子工程前沿FITEE 作者：周杰 柯沛 邱锡鹏 黄民烈 张军平 编辑：好困 【新智元导读】为更好地理解ChatGPT，这里我们简要介绍其历史，讨论其优点和不足，指出几个潜在应用，最后分析它对可信赖人工智能、会话搜索引擎和通用人工智能（artificial general intelligence, AGI）发展的影响。 最近，OpenAI发布了对话生成预训练模型Transformer（Chat Generative Pre-trained Transformer
在英文中单词之间是以空格作为自然分界符的，大多数情况下一个字即一个词；而中文分词则缺乏形式上的分界符，词以双字或多字组合居多。
衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 做类ChatGPT产品，组中国版OpenaAI恐怕是先当下最最人尽皆知的创投野心。 有人官宣标榜放话，也有VC开始把视角投向产学研转换的大模型项目——或许能更有基础一些，其中，清华大学显然处于身负众望的头一梯队。 量子位独家获悉，背靠清华的大模型研究团队，计算机系教授唐杰牵头的创业公司智谱AI，身价水涨船高，在几近哄抢的状态中接近完成一轮新融资，估值已超30亿元。 唐杰的学生同样有市无价。其麾下知名弟子杨植麟的NLP创业公司循环智能，也被寄予厚望，一切往
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx Chinese NLP Toolkits 中文NLP工具 Toolkits 综合NLP工具包 THULAC 中文词法分析工具包 by 清华 (C++/Java/Python) NLPIR by 中科院 (Java) LTP 语言技术平台 by 哈工大 (C++) pylyp LTP的python封装 FudanNLP by 复旦 (Java) BaiduLac by 百度 Baidu's open-source lexi
在上一文 【全文检索_02】Lucene 入门案例 中我们使用 Lucene 默认分词器对中文版双城记进行分词，这个操作其实是有问题的。哎？！我们明明分词成功而且搜索到了啊，怎么会有问题。我们之前成功搜索是因为我们搜索的是一个关键字，而不是一个关键词。我们先来看一下默认分词器的分词效果是怎么样的。
点击上方“专知”关注获取更多AI知识! 【导读】转载来自ty4z2008（GItHub）整理的机器学习&深度学习知识资料大全荟萃，包含各种论文、代码、视频、书籍、文章、数据等等。是学习机器学习和深度学习的必备品！ ty4z2008前言：希望转载的朋友，你可以不用联系我．但是一定要保留原文链接，因为这个项目还在继续也在不定期更新．希望看到文章的朋友能够学到更多．此外:某些资料在中国访问需要梯子. 《Brief History of Machine Learning》 http://www.erogol.com
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
