什么是平移不变性?
在视觉任务中,识别的目标在图像中的位置并不是一成不变的。如下图所示,在识别三花猫的任务中,对于三张输入图像,三花猫的位置(红色边框标注部分)发生了变化。
图 1 平移不变性示意图
目标特征的平移不变性不依赖于空间位置信息,是识别算法设计过程中不可忽略的一点。
平移不变性是如何实现的?
1、传统特征工程
在深度学习方法出现之前,多采用人工设计特征的方法,将设计好的局部特征作为模板,寻找样本中相匹配的区域,即目标。应用较为广泛的局部特征有SIFT。
2、卷积神经网络
卷积神经网络具有平移不变性,这与其内部提取特征的方式有关。在欧几里得几何中,平移是一种几何变换,它意味着将一个图像或空间中的每个点以相同的方向移动相同的距离。例如,对于图像分类任务,无论将图像中的对象移动到哪里,结果都应该是相同的,这就是卷积神经网络中的平移不变性。在神经网络中,卷积被定义为不同位置的特征检测器。无论目标出现在图像的什么位置,它都会检测到相同的特征并输出相同的响应。
在卷积操作之后,往往会对特征图进行池化,即保留最大值。即使最大值的位置发生改变,也不会对网络输出结果造成影响,这在一定程度上也是一种平移不变性。
参考文献
[1] https://en.wikipedia.org/wiki/Convolution
[2] https://leonardoaraujosantos.gitbooks.io/artificialinteligence/content/pooling_layer.html
[3] O'REGAN J K, Nazir T A. Some results on translation invariance in the human visual system[J]. Spatial vision, 1990, 5(2): 81-100.