深度学习模型的攻防基础理论与关键技术研究


返回主页 返回专栏页

关于对抗训练中隐含参数设定的影响

对抗训练是目前最有效的提高模型鲁棒性的方法。但是之前的对抗训练相关的工作 在训练参数设定上非常的不一致,导致无法公平地评测不同方法之间的优劣。因此我们 在本项目中系统地评估了各类隐含参数设定对于对抗训练模型性能的影响。这些隐含参 数包括权重衰减(weight decay),批量大小(batch size),预热(warmup),提 前结束(early stop),优化器(optimizer),类别平滑(label smoothing),网 络结构(architecture)等等。我们发现这些隐含参数的设定会对模型最终性能产生显 著影响。基于此,我们给出一套标准参数设定方案,并且在CIFAR-10上达到86.43%的正 常准确率,以及54.39%的鲁棒准确率,此结果在论文发表时为state-of-the-art。