100 / 2020-07-22 00:09:57

基于深度神经网络的特征有多可转移研究

神经网络；深度学习；随机过滤器

Computer Communication and Multimedia Techniques > Internet Applications

许多以自然图像为训练对象的深度神经网络都表现出一个共同的奇怪现象:在第一层，它们学习的特征类似于Gabor过滤器和色块。这样的第一层特性似乎不是特定于特定的数据集或任务，而是通用的，因为它们适用于许多数据集和任务。特性最终必须由网络的最后一层过渡到特定的特性，但是这种过渡还没有得到广泛的研究。在本文中，我们通过实验量化了深卷积神经网络各层神经元的通用性和特异性，并报告了一些令人惊讶的结果。可转移性受到两个不同问题的负面影响：(1)较高层神经元对其原始任务的专门化，以牺牲目标任务的性能为代价，这是预期的；(2)与共适应神经元之间的网络分裂相关的优化困难，这是预期不到的。在一个以ImageNet 为训练对象的示例网络中，我们演示了这两个问题中的一个可能占主导地位，这取决于特性是从网络的底部、中间还是顶部传输的。我们还证明了特征的可转移性随着基本任务和目标任务之间的距离的增加而降低，但是即使是来自遥远任务的特征的转移也比使用随机特征要好。最后一个令人惊讶的结果是，使用从几乎任意层传输的特性初始化网络可以产生泛化的效果，即使在对目标数据集进行微调之后，泛化仍然存在。