【深度学习】 神经代码智能模型中的记忆与泛化

获取完整原文和代码，公众号回复：10050747070

论文地址： http://arxiv.org/pdf/2106.08704v1.pdf

代码： 无

来源： University of Houston

论文名称：Memorization and Generalization in Neural Code Intelligence Models

原文作者：Md Rafiqul Islam Rabin

内容提要

深度神经网络(DNN)在软件工程和代码智能任务中得到越来越广泛的应用。这些是强大的工具，能够通过数百万个参数从大型数据集中学习高度概括的模式。与此同时，DNN的容量大，容易记忆数据点，因此训练DNN就像走刀子一样困难。虽然传统上认为这是过度训练的一个方面，但最近的研究表明，当训练数据集有噪声且记忆是唯一的求助方式时，记忆风险表现得尤其明显。不幸的是，大多数代码智能任务依赖于相当容易产生噪音和重复的数据源，如GitHub，由于其庞大的规模，无法手动检查和评估。我们评估了神经编码智能模型的记忆和泛化趋势，通过一个跨几个基准和模型家族的案例研究，利用来自使用DNN的其他领域的已建立的方法，如在训练数据集中引入目标噪声。除了加强先前关于DNN记忆程度的发现，我们的结果还清楚阐明了训练中噪声数据集的影响。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有，侵权请加上文微信联系删除。