论文地址: http://arxiv.org/pdf/2301.07597v1.pdf
来源: 上海财经大学
论文名称:How Close is ChatGPT to Human Experts ? Comparison Corpus, Evaluation, and Detection
原文作者:Biyang Guo
内容提要
ChatGPT的引入引起了学术界和工业界的广泛关注。ChatGPT能够有效地回答各种各样的人类问题,提供流畅而全面的答案,在安全性和实用性方面大大超过了以前的公共聊天机器人。一方面,人们好奇ChatGPT是如何做到如此强大的,距离人类专家还有多远。另一方面,人们开始担心像ChatGPT这样的大型语言模型(LLMs)可能对社会产生的潜在负面影响,比如假新闻、抄袭和社会安全问题。在这项工作中,我们从人类专家和ChatGPT收集了数以万计的比较回答,问题涉及开放领域、金融、医疗、法律和心理领域。我们将收集的数据集称为人类ChatGPT比较语料库(Human ChatGPT Comparison Corpus, HC3)。基于HC3数据集,我们研究了ChatGPT的响应特征、人类专家的差异和差距,以及LLMs的未来发展方向。我们对ChatGPT生成的内容与人类生成的内容进行了全面的人类评估和语言分析,揭示了许多有趣的结果。在此之后,我们就如何有效地检测特定文本是由ChatGPT还是人类生成进行了广泛的实验。我们构建了三种不同的检测系统,探索了影响其有效性的几个关键因素,并在不同的场景下对其进行了评估。
主要框架及实验结果
声明:文章来自于网络,仅用于学习分享,版权归原作者所有