A Novel Noise Injection-based Training Scheme for Better Model Robustness
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！
https://arxiv.org/abs/2302.10802
Abstract
在以前的工作中，基于噪声注入的方法已经被证明能够提高人工神经网络的鲁棒性。在这项工作中，我们提出了一种新的基于噪声注入的训练方案，以提高模型的鲁棒性。具体来说，我们首先开发了一种似然比方法来估计随机梯度下降训练的突触权重和噪声水平的梯度。然后，我们设计了一种基于朴素噪声注入的近似训练方法，以减少内存并提高计算效率。接下来，我们将我们提出的方案应用于脉冲神经网络，并在MNIST和Fashion-MNIST数据集上评估分类准确性和鲁棒性的性能。实验结果表明，与传统的基于梯度的训练方法相比，我们提出的方法在对抗鲁棒性方面取得了更好的性能，在原始精度方面取得了略好的性能。
1 Introduction
人工神经网络(ANN)的应用越来越成功，如人脸识别[24, 34, 45, 59]、语音验证[12, 19, 39, 44]和自动化车辆[42, 46, 47]。虽然各种研究设计算法和架构来提高ANN的预测精度，但专注于提高鲁棒性的工作要少得多[31]。
对于给定的输入x，ANN应该为以x为中心的半径为δ的球内的所有输入
输出鲁棒性预测。ANN表现出较差的鲁棒性，导致结果的不公平性[1, 29, 49]、私有信息的泄露[5, 6, 16]以及对输入扰动的易感性[15, 18, 21]。我们的工作重点是提高ANN对输入扰动的鲁棒性，特别是对于对抗扰动。最近的研究发现，ANN极易受到对抗扰动的影响，这种扰动是在原始示例上添加的精心制作的噪声，人眼无法察觉，但可能会误导人工神经网络。对抗性攻击对Ann在各种应用中的安全构成严重威胁[4，27，43，56，58]。
基于噪声注入的方法可以有效地提高神经网络在对抗性攻击下的鲁棒性。You等人[57]将高斯随机噪声添加到ANN中的层中以提高鲁棒性，这可以被视为一种缓解过度拟合的正则化方法。肖等人[54]进一步优化噪声水平，以更好地抵御输入扰动，而不会损失分类精度。我们进一步探讨了如何利用添加的噪声来优化模型的参数，以获得更好的鲁棒性。
似然比（LR）方法是一种无偏随机梯度估计技术，已应用于许多模拟优化问题[17，37，38]。彭等人[38]使用该技术训练神经网络，并实现与反向传播（BP）方法相当的精度性能。然而，还有许多潜力有待发掘，例如提高效率和可扩展性。
我们提出了一种新的基于噪声注入的训练方案，该方案比原始LR更有效地优化模型参数，并将其应用于训练尖峰神经网络（SNN）。我们评估了我们在MNIST和Fashion MNIST上提出的方法在各种类型的对抗性攻击下的准确性和稳健性。实验结果表明，我们的方法对对抗性攻击具有更好的鲁棒性，对原始样本的准确率略高。