强烈推荐一个项目:Chinese NLP ,这是由滴滴人工智能实验室所属的自然语言处理团队创建并维护的,该项目非常细致的整理了中文自然语言处理相关任务、数据集及当前最佳结果,相当完备。
项目主页:https://chinesenlp.xyz
Github: https://github.com/didi/ChineseNLP
这个项目里面目前包含了18个中文自然语言处理任务,以及一个其他类别:
每个子任务下面,会详细介绍相关的任务背景、示例、评价指标、相关数据集及当前最佳结果。以中文分词为例,除了我们熟悉的backoff2005数据集外,还有一些其他数据来源:
再看一下机器翻译任务,关于评价指标,描述的相当详细:
机器翻译相关语料资源方面,也包括我们比较熟悉的联合国语料库和AI Challenger:
其他相关任务感兴趣的同学可以自行参考,这是一个相当不错的了解当前中文NLP相关任务的参考点,感谢建设和维护该项目的同学。