部分技巧包括: 周期性学习率 一个周期的学习 结构化数据的深度学习 完整的权重初始化 在查看可用的标准数据集时,我偶然发现了Place365数据集。...Place365数据集包含365种风景分类的1,800,000张图片。本次挑战赛提供的数据集与这个数据集很相似,所以在这个数据集训练的模型,具有一些学习的特征,与我们分类的问题是相关的。...由于我们的问题中的类别是Place365数据集的子集,所以我使用了一个用Place365权重初始化的ResNet50模型。 这个模型的权重在“pytorch weights”中提供。
Place365数据集中城市图像的样本 数据预处理: 给定图像 ? ,标准化成 [0,1] → ? 定义mask M: ? 定义补足的mask ? 计算 ? 的平均像素强度 ? 设 ?...Places365的MSE损失 在Place365中训练MSE损失。不同阶段的背景颜色是不同的。在阶段3中,由于将联合损失(joint loss)进行了优化,MSE损失有小幅度增长。 ?
具体而言,将原算法中的Place365数据集上有监督预训练好的特征替换成SCRL算法预训练好的特征,值得注意的是,替换的特征是通过无监督学习得到的。
随着学习率的增加,模型也可能会从欠拟合过度到过拟合状态,在大型数据集上的表现尤其明显,笔者之前在Place365上使用DPN92层的模型进行过实验。
领取专属 10元无门槛券
手把手带您无忧上云