定义
局部连接(sparse connectivity)是卷积神经网络为了减少参数而设置的一种方法[1]。如下图所示,如图1展示了一种局部连接的一维卷积操作,图2展示全连接的一维卷积操作。如图1所示,第二层的神经元只接受第一层的3个神经元作为输入,这三个神经元被为感受野reception field。当步长为1时,原本的神经元数也由1*7变成1*5;当步长为2时,神经元数由1*7变成1*3,大大降低了参数量。
图2展示全连接过程,当步长为1时,原本的神经元数由1*7到1*7保持不变。
图 1 局部连接
图 2 全连接
参考文献
[1] Ballas N, Yao L, Pal C, et al. Delving deeper into convolutional networks for learning video representations[J]. arXiv preprint arXiv:1511.06432, 2015.