超100亿中文数据，要造出中国自己的BERT！首个专为中文NLP打造的语言理解基准CLUE升级

新智元原创

编辑：小智，元子

【新智元导读】首个专为中文NLP量身打造的CLUE升级了！目前拥有八个数据集的整体测评及其基线模型，30多位来自各个顶尖机构的志愿者加入并成为了会员。CLUE还发布了已经处理好的100G大规模中文语料，研究者可直接拿来做预训练，完成下游的语言理解、文本分类等任务。「新智元急聘主笔、高级主任编辑，添加HR微信（Dr-wly）或扫描文末二维码了解详情。」

做中文NLP，太难了！

分词难。

分在不同的位置意思大不同。比如「我喜欢上一个人」，到底说的是「I like the last one」，还是说「I'm falling love with someone」？需要根据上下文语境来判断。

「一位友好的哥谭市民」 vs「一位友好/的哥/谭市民」

容易混淆的中文例子

多音字也难。

用过具有AI阅读功能的读书app，你会发现很多时候它读的停顿不对，很多读音也不对，比如把「有债必还」，读成「有债必孩」。千万别让孩子跟着AI学语文！

获取资源更难。

英文很多数据集、预训练模型都是开源的，而中文这方面非常稀缺，虽然很多大厂最先进的技术都用上了，但没有开源数据集和预训练模型，那么多数人就用不上；同时由于是针对企业内部定制的，缺乏普适性。

天下苦中文NLP久矣！

好在，希望出现了！

一群中文NLP开发者，凭着一腔热情，利用业余时间，在GLUE的基础上，做出了中文语言理解测评基准CLUE。这是什么精神？

CLUE包含了代表性的数据集、基准(预训练)模型、语料库、排行榜。

它的诞生，承载着这群开发者巨大的野心：跑遍主流的中文数据集，解决当前中文任务公开可用数据集匮乏、没有基准测评、最先进的预训练模型不足等中文任务基础设施问题，见证像BERT一样、更强大的中文 NLP 模型。

目前CLUE主要构建了以下内容：

• 八个中文自然语言理解任务。
• 一个用于预训练的超大规模数据集。
• 一个排名系统，一个榜单，和一个辅助工具。

8项任务，多个标准全面衡量预训练模型的语言理解能力

本次选取的8个任务可以全面测试预训练模型的语言理解能力，CLUE团队制定了一套科学的任务遴选标准。

不同的任务中文本的大小、语言理解的类型、训练的样本量都要有差异性，而且每个任务必须要有明确的定义，比如短文本的分类任务，句子相似性判断等。CLUE官方会处理好数据，让研究者可以更专注在建模本身。

任务的难度方面，不能太简单也不能是已经解决的问题，太简单的问题没有研究价值，只有未解决的问题才能激发研究者去搭建更好的模型。

任务必须是自然语言理解任务的代表，可以很容易应用到现实场景，如果任务很生僻没有实用价值，那它就没有多大意义了。

最后一点，任务要能衡量汉语独有的语言特性，比如成语、俗语，这块将会给模型带来巨大的挑战，汉语本身就很难了，再加上成语大多是高度概括的，模型理解起来就更有难度。

八个任务

100GB原始语料库的大规模预训练数据集

CLUE官方总共收集了214 GB的原始语料库，大约760亿个单词，包含三个部分，CLUECorpus2020-small，CLUECorpus2020和CLUEOSCAR。

CLUECorpus2020-small包含14 GB的中文语料库，包括四个子部分：新闻，网页文本，维基百科和评论。

CLUECorpus2020包含100 GB的中文原始语料库，该语料库可从Common Crawl中检索。这个数据集可以直接用于预训练，而无需其他预处理，包含约2万9千个单独的文件，每个文件都处理成了预训练格式。

CLUEOSCAR是一个庞大的多语种语料库，它是通过Common Crawl语料库的语言分类过滤得到的，包含250 GB的中文原始语料库，做进一步的处理后，最终得到100 GB的中文数据。

一键遍历所有任务，代码开源可获官方认证

你建好了模型，还要一个个去适配所有的8个任务，那就太麻烦了，CLUE官方专门写了一个工具PyCLUE，可以帮你一键完成在不同任务的测试。

为了检测模型是否真正理解了句子的语义，结合中文的特点手工制作了一个包含514个句子对的诊断集，这些句子对覆盖了常见的9种容易造成错误理解的场景。

CLUE还提供了一个排行榜，供用户在CLUE上提交自己的结果。当用户提交预测结果时，评估系统将为每个任务提供最终分数。为了鼓励模型复现，如果模型是开源的，会将模型标记为“已认证”。

看看榜单上这些名字！华为、腾讯都来CLUE刷榜了，但看起来都不如CLUE官方团队提供的人类成绩，实力还是有待提高！

如果想了解CLUE的更多详细信息，可参见CLUE团队最近发表在arxiv的论文。

论文链接：

https://arxiv.org/abs/2004.05986

中文NLP开发者们，一起来壮大CLUE吧！

现在，CLUE诚挚邀请中文自然语言理解方面的专家学者、老师同学、参与者提供更多的中文自然语言理解数据集。这些数据集可以是你自己制作推出的，也可以是您认为很有意义但是是他人制作的数据集。CLUE官方计划在5月14日前完成筛选，推出正式的CLUE Benchmark。

请您将推荐数据集的名称、作者、形式以及License情况发送至：

CLUE@CLUEBenchmarks.com

只需满足以下要求，即可进行推荐：

1. 任务与自然语言理解相关：要求数据集能够测试模型是否理解了中文，模型可以是以研究为导向，也可以由实际应用为导向，重点是需要包含语言理解的成分。
2. 任务形式：任务输入是一段文本（可长可短），具体任务可以是分类、序列标注、指代消歧、多项选择、回归任务，等等。【任务最好能够使用基本的神经网络模型做出基线，方便测评】
3. 能够测评：提交的任务需要有简单、客观的评测标准。如果是包含文本生成的项目，那么需要证明该项目有易行的可靠评测标准。
4. 公开的训练数据：任务的训练数据和开发数据需要公开，并且能够由CLUE使用。
5. 未公开的测试集：任务最好有尚未公开的测试集。
6. 任务难度：提交的任务不能太简单。具体来讲，目前的模型如BERT应该比训练过的普通标注者做的差很多。

如果您推荐的数据集被选中，将能极大扩展数据集的知名度，并为学界、业界对自然语言理解的研究做出贡献。

点击阅读原文即可查看CLUE的官网详细介绍。

参考链接：

http://www.cluebenchmark.com/