我们发现,对抗训练中的记忆效应可能会导致鲁棒过拟合问题,造成人工智能模型的判断失准。我们针对该问题,通过正则化项阻止过度自信的预测,用于避免过度记忆带有可能有噪声标签的对抗性样本,在不同数据集、网络架构、威胁模型和AT方法上的实验证明,我们的方法可以在很大程度上消除强大的过拟合,相关成果发表在会议ICLR2022上。
Yinpeng Dong; Ke Xu; Xiao Yang; Tianyu Pang; Zhijie Deng; Hang Su; Jun Zhu; Exploring Memorization in Adversarial Training, International Conference on Learning Representations (ICLR), Online (due to COVID-19), 2022, https://iclr.cc/Conferences/2022, 2022-4-25至2022-4-29.