logits 与 pre-logits

星辰 / 2023-07-19 / 原文

logits为fc的输出,应用softmax之前的向量,(b,len)

pre-logits这个东西我是从论文《Tied-Augment: Controlling Representation Similarity Improves Data Augmentation 》中看到的,根据源码的解释,pre-logits为特征图flatten之后(应用fc之前)的向量:

 特此记录