Uncovering the Representation of Spiking Neural Networks Trained with Surrogate Gradient
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！
Published in Transactions on Machine Learning Research (04/2023)
Abstract
脉冲神经网络(SNN)由于其生物合理性和能量效率而被认为是下一代神经网络的候选者。最近，研究人员已经证明，使用替代梯度训练，SNN能够在图像识别任务中实现几乎最先进的性能。然而，存在一些与SNN有关的基本问题，这些问题很少被研究：用替代梯度训练的SNN是否学到与传统人工神经网络(ANN)不同的表征？SNN中的时间维度是否提供了独特的表征能力？在本文中，我们旨在通过使用中心核对齐(Centered Kernel Alignment, CKA)对SNN和ANN之间的表征相似性进行分析来回答这些问题。我们首先分析网络的空间维度，包括宽度和深度。此外，我们对残差连接的分析表明，SNN学习了一种周期性模式，它将SNN中的表征整流为类似ANN的。我们还研究了时间维度对SNN表征的影响，发现更深的层沿着时间维度鼓励更多的动力学。我们还研究了输入数据(如事件流数据和对抗性攻击)的影响。我们的工作揭示了SNN中表征的一系列新发现。我们希望这项工作将启发未来的研究，以充分理解SNN的表征能力。代码发布于https://github.com/Intelligent-Computing-Lab-Yale/SNNCKA。
1 Introduction
最近，Spiking Neural Networks（SNNs）（Tavanei等人，2019；Roy等人，2019年；邓等人，2020；Panda等人，2020年；Christensen等人，2022）因其受生物学启发的神经元激活和高效的神经形态计算而受到越来越多的关注。SNN使用二进制尖峰表示来处理信息，因此避免了在推理过程中进行乘法运算的需要。TrueNorth（Akopyan et al.，2015）和Loihi（Davies et al.，2018）等神经形态硬件证明，与人工神经网络（Ann）相比，SNN可以节省几个数量级的能量。
尽管SNN可以在推理中带来巨大的能量效率，但由于其尖峰激活功能，训练SNN是出了名的困难。该函数返回零但全梯度（即狄拉克德尔塔函数），因此使基于梯度的优化不可行。为了避免这个问题，已经提出了各种训练技术。例如，尖峰时间依赖性可塑性（STDP）（Rao&Sejnowski，2001）基于放电时间增强或削弱突触重量；第一个尖峰的时间（Mostafa，2017）将信息编码为尖峰到达的时间，以获得梯度的闭合形式解。然而，这两种方法仅限于小规模的任务和数据集。另一方面，代理梯度技术（Bengio et al.，2013；Bender et al.，2018；吴等人，2018；Bellec et al.，2019；Kim et al.，2022b；Li et al.，2022）可以通过在反向传播过程中应用替代函数来实现最佳任务性能。结合代理梯度，SNN可以通过时间反向传播（BPTT）（Neftci et al.，2019）算法进行优化，优于SNN中的其他学习规则。
尽管人们对使用替代梯度训练追求高性能SNN越来越感兴趣，但对替代梯度训练如何影响SNN的表示的了解有限。研究这个基本问题至关重要，因为基于替代梯度的BPTT算法模仿了ANN的学习方式，与STDP等其他学习规则相比，在生物学上不太可信。因此，研究基于代理梯度的SNN是否学习到与Ann不同的表示将是一件有趣的事情。了解在SNN中学习到的表示也可以促进进一步的研究发展，例如，设计对尖峰友好的架构（Kim et al.，2022a；Na et al.，2022）和探索优化SNN的其他方法（Bellec et al.，2020；张和李，2020；金和熊猫，2021a）。
更具体地说，我们问，通过替代梯度BPTT优化的SNN是否学到与ANN不同的表征？神经网络的宽度和深度如何影响SNN和ANN中学到的表征？SNN中额外的时间维度是否会产生独特的中间特征？在神经形态数据集上，SNN如何处理基于事件的数据？在本文中，我们旨在通过使用表示相似性分析工具对ResNets（He et al.，2016a）和VGG系列（Simonyan&Zisserman，2015）模型进行详细分析来回答这些核心问题。具体而言，我们利用流行的以中心为中心的内核对齐（CKA）（Kornblith et al.，2019）来测量SNN和Ann之间的相似性。图1展示了我们的表示相似性分析框架的总体工作流程。我们的分析涵盖了SNN的空间和时间维度，以及网络架构和输入数据的影响。
我们的贡献和发现包括：
- 我们使用中心核对齐来分析SNN和ANN之间的表征相似性，以确定SNN是否产生与ANN不同的特征表征。我们研究了SNN和ANN之间表征相似性的各个方面，包括空间和时间维度、输入数据类型和网络架构。
- 令人惊讶的是，我们的发现表明，用替代梯度训练的SNN与ANN具有相当相似的表征。我们还发现，残差连接极大地影响了SNN中的表征。
- 同时，我们发现SNN中的时间维度并没有提供太多独特的表征。我们还发现，浅层对时间维度不敏感，其中每个时间步骤中的表征都收敛在一起。
2 Related Work
3 Preliminary
3.1 ANN and SNN Neurons