arXiv快讯：轻松了解8月第3周NLP领域最新论文

NLP 每周论文快讯

WizardMath：通过强化的Evol-Instruct增强大型语言模型的数学推理能力

• 标题：WizardMath: Empowering Mathematical Reasoning for Large Language Models via Reinforced Evol-Instruct

• 链接：http://arxiv.org/abs/2308.09583v1

• 作者：Haipeng Luo, Qingfeng Sun, Can Xu, Pu Zhao, Jianguang Lou, Chongyang Tao, Xiubo Geng, Qingwei Lin, Shifeng Chen, Dongmei Zhang

• 代码链接：https://github.com/nlpxucan/wizardlm

• stars：5.3k

• 更新时间：2023-08-18

  关键内容：

论文提到了一种名为WizardMath的方法，通过将强化学习应用于数学领域，增强了大型语言模型（LLM）在数学推理任务中的能力。通过广泛实验，研究人员发现WizardMath在两个数学推理基准上表现出非凡的功能，超过了其他开源LLM模型。

自动生成API文档摘要：提高开发人员信息提取效率的新方法

• 标题：Enhancing API Documentation through BERTopic Modeling and Summarization

• 链接：http://arxiv.org/abs/2308.09070v1

• 作者：AmirHossein Naghshzan, Sylvie Ratte

• 代码链接：https://github.com/scam2023-bert/bertopic

• stars：0

• 更新时间：2023-08-17

  关键内容：

1. 本文提出了一种利用BERTopic的方法，针对解释应用程序编程接口（API）文档的复杂性，自动生成API文档的摘要，以提高开发人员的信息提取效率。

2. 通过对生成的摘要和主题进行评估，该方法展示了良好的性能、一致性和互操作性。

3. 该研究为API文档分析领域做出了贡献，通过提供对重复主题的见解、识别常见问题和生成潜在解决方案，增强了API文档理解的可访问性和效率。

预训练语言模型

思想图（GoT）：提升大型语言模型的提示功能

• 标题：Graph of Thoughts: Solving Elaborate Problems with Large Language Models

• 链接：http://arxiv.org/abs/2308.09687v1

• 作者：Maciej Besta, Nils Blach, Ales Kubicek, Robert Gerstenberger, Lukas Gianinazzi, Joanna Gajda, Tomasz Lehmann, Michal Podstawski, Hubert Niewiadomski, Piotr Nyczyk, Torsten Hoefler

• 代码链接：https://github.com/spcl/graph-of-thoughts

• stars：19

• 更新时间：2023-08-18

  关键内容：

1. 介绍了思想图（GoT）框架，提高了大型语言模型（LLM）中的提示功能。

2. 揭示了GoT能够对LLM作为任意图生成的信息进行建模，通过顶点和边的关系提炼整个思想网络的本质。

3. 证明了GoT在不同任务上相比传统范式（如ToT）具有优势，提高了分拣质量并降低了成本。

ChatHaruhi：基于大型语言模型的角色扮演聊天机器人

• 标题：ChatHaruhi: Reviving Anime Character in Reality via Large Language Model

• 链接：http://arxiv.org/abs/2308.09597v1

• 作者：Cheng Li, Ziang Leng, Chenxi Yan, Junyi Shen, Hao Wang, Weishi MI, Yaying Fei, Xiaoyang Feng, Song Yan, HaoSheng Wang, Linkang Zhan, Yaokai Jia, Pingyu Wu, Haozhen Sun

• 代码链接：https://github.com/LC1332/Chat-Haruhi-Suzumiya

• stars：0

• 更新时间：2023-08-18

  关键内容：

1. 通过改进的提示和从脚本中提取的字符记忆，我们提出了一种算法来控制语言模型，以模仿特定的虚构角色。

2. 我们构建了ChatHaruhi数据集，涵盖32个中文/英文电视/动漫角色的模拟对话，拥有超过54k对话。

3. 自动和人工评估结果表明，我们的方法提高了基线的角色扮演能力。

机器翻译

SOTASTREAM：一种灵活的数据生成与使用分离的机器翻译方法

• 标题：SOTASTREAM: A Streaming Approach to Machine Translation Training

• 链接：http://arxiv.org/abs/2308.07489v1

• 作者：Matt Post, Thamme Gowda, Roman Grundkiewicz, Huda Khayrallah, Rohit Jain, Marcin Junczys-Dowmunt

• 代码链接：https://github.com/marian-nmt/sotastream

• stars：5

• 更新时间：2023-08-14

  关键内容：

1. 提出了一种将数据生成与数据使用分开的替代方法，消除了传统数据准备步骤的静态性和不可更改性。

2. 发布了开源工具包SOTASTREAM，实现了这种方法，缩短了训练时间，增加了灵活性，降低了实验管理的复杂性，并减少了磁盘空间占用。

3. 证明这种方法不会影响训练模型的准确性，同时提供了一组用户可定义的运算符，用于动态修改数据流。

文本生成与摘要

ChatEval：多智能体内容评估框架

• 标题：ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate

• 链接：http://arxiv.org/abs/2308.07201v1

• 作者：Chi-Min Chan, Weize Chen, Yusheng Su, Jianxuan Yu, Wei Xue, Shanghang Zhang, Jie Fu, Zhiyuan Liu

• 代码链接：https://github.com/chanchimin/chateval

• stars：12

• 更新时间：2023-08-14

  关键内容：

1. 本文探索了大型语言模型（LLM）在文本评估中作为人类评估替代品的潜力。

2. 通过多智能体辩论框架，我们超越了单智能体提示策略，提高了处理复杂任务的效率和有效性。

3. 我们构建了一个名为ChatEval的多智能体裁判团队，模仿人类评估过程，超越了纯文本评分。