如何更新新数据上的神经网络参数
如何更新新数据上的神经网络参数
提问于 2022-10-11 21:51:17
[还请参阅stats：这里上的十字柱。
张贴在那里希望有新的答案，因为它有一个更大的社区]
我有一个很大的数据集D_1。
我有一个前馈深神经网络N，有隐藏层，我在D_1上训练，使用最小均方损耗和标准反向传播，并获得了参数。
现在，我知道了网络架构和学习的参数。
接下来，我获得了一批新的数据，D_2 --这是一个类似于D_1的大型数据集。
我想再次学习N的参数，就好像我从零开始就在D_1 \cup D_2上训练过它一样，但是只有在D_2上进行训练，并且在D_1上使用以前已知的参数。
这是标准问题吗？我该怎么做？
我可以获得关于D_1的基本信息，比如数据集的大小；但是培训费用很高。
回答 1
Data Science用户
发布于 2022-10-12 13:26:20
作为传输学习的一部分，这听起来像是潜在的概念漂移，您希望对旧数据(在本例中是N的参数)中的一部分或所有部分进行转换，并使用新的数据更新这些部分。
保存模型N后，可以通过在N上拟合N并在优化器中使用较低的学习率来更新D_2中的参数。较低的学习率比在你的原始模型帮助不明显地更新权重和防止过度拟合。你可能得四处游玩才能得到正确的学习速度。
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://datascience.stackexchange.com/questions/115147
复制相关文章
相似问题
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
