定义
双神经网络/孪生神经网络（Siamese Neural Network）是一种人工神经网络，它使用相同的权重，同时对两个不同的输入向量进行协同操作以计算出可比较的输出向量，通常其中一个输出向量是预先计算的，从而形成另一个输出向量比较的基线。
网络结构
图 1 SiameseFC结构图
网络训练
1、欧几里得距离
网络训练的目标为使相似物体的距离度量最小化，而相异物体的距离度量最大化。这给出了损失函数，例如：
其中，i，j是一组向量的索引，f为对应两个卷积网络的函数。在实际中，最常用的距离度量方法为欧几里得距离。
2、非线性距离度量
更普遍的情况是，两个孪生网络的输出会经过一个额外的网络层，对两个输出向量进行非线性的相似性度量。如果i=j，那么：
值应很小，否则
值很大，其中i，j是一组向量的索引；f为对应两个卷积网络的函数；
为额外网络层对应的函数。
此时，通常使用马氏距离（Mahalanobis distance）作为相似度度量的手段，则：
具体应用
由于其串联输入和相似性测量特性，孪生神经网络已被广泛应用于目标跟踪，在目标跟踪任务中，一个输入是用户预先选择的样本图像，另一输入是目标位置尚未确定的待追踪图像， 通过测量样本图像与搜索图像各部分之间的相似度，孪生神经网络可以给出相似度评分图。
目前，孪生全卷积网络已在许多高性能实时对象跟踪神经网络中使用，如SiamFC[1]、 SiamRPN[2]、SiamRPN ++[3]等。
参考文献
[1] Bertinetto L , Valmadre J , Henriques J F , et al. Fully-convolutional siamese networks for object tracking[J]. 2016.
[2] Li B , Yan J , Wu W , et al. High Performance Visual Tracking with Siamese Region Proposal Network[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2018.
[3] Li, Bo; Wu, Wei; Wang, Qiang; Zhang, Fangyi; Xing, Junliang; Yan, Junjie (2018). SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks. arXiv:1812.11703
