实验探索: ChatGPT是好的推荐系统吗？

TLDR： 之前我们简单测试了下ChatGPT作为推荐器在序列推荐和可解释推荐上的能力，即如何利用ChatGPT实现推荐模型的能力？今天再跟大家分享一篇通过实验来探究ChatGPT通用推荐能力的文章，其在评分预测、序列推荐、直接推荐、解释生成和评论总结等五个推荐场景中测试了ChatGPT的推荐能力。

本文介绍了一种基于ChatGPT的通用推荐模型。与传统方法不同，ChatGPT不需要针对每个任务进行专门调整，而是通过大规模语料库学习到丰富的语言和世界知识，并将其应用于各种推荐场景中。具体的，使用ChatGPT完成推荐任务的工作流程如下图所示，包括三个步骤。首先，根据推荐任务的特定特征构建不同的prompts，具体的prompts包括三部分，即任务描述、行为注入和格式指示。其次，这些prompts被用作ChatGPT的输入，根据prompts中指定的要求生成推荐结果。最后，通过改进模块检查和优化ChatGPT的输出，并将优化后的结果作为最终推荐结果返回给用户。

在本文中，使用了预训练好的ChatGPT模型，并通过设计一组提示语来将推荐任务转化为自然语言任务，并测试了其在zero-shot和few-shot上的推荐能力。具体来说，设计了五个不同的推荐场景，包括评分预测、顺序推荐、直接推荐、解释生成和评论总结。

• 在评分预测任务中，要求ChatGPT根据用户的历史评分和商品信息预测用户对新商品的评分。下图展示了相应的prompt。黑色字体表示任务描述，红色字体表示格式要求，蓝色字体表示用户历史信息或few-shot信息，灰色字体表示输出结果，下同。

• 在序列推荐任务中，要求ChatGPT根据用户的历史行为和商品信息生成一个商品序列，以便向用户推荐相关商品。下图展示了相应的prompt。

• 在直接推荐任务中，要求ChatGPT根据用户的历史行为和商品信息直接向用户推荐相关商品。下图展示了相应的prompt。

• 在解释生成任务中，要求ChatGPT根据给定的评分或行为生成一段自然语言解释。下图展示了相应的prompt。

• 在评论总结任务中，要求ChatGPT根据给定的评论生成一段自然语言总结。下图展示了相应的prompt。

为了评估ChatGPT在各种推荐场景下的性能，使用了Amazon电子商务数据集。其中，zero-shot表示直接对ChatGPT进行测试，而few-shot则表示对ChatGPT注入用户历史交互来微调ChatGPT然后进行测试。实验结果表明，在所有五个场景下，ChatGPT都表现出差不多的推荐能力。特别地，在序列推荐任务中，ChatGPT相比于传统方法有着更好的性能。

总之，本文通过实验的方式探究了ChatGPT的通用推荐能力，它可以处理各种推荐任务，并且具有较好的泛化能力，但有待进一步提升。通过大规模语料库学习到的丰富知识可以有效地应用于推荐任务中。未来，将继续探索如何进一步提高ChatGPT在推荐任务中的性能，并将其应用于更多的领域中，以满足不同领域的推荐需求。