Siamese Neural Network

2021-04-25 14:11:53 浏览:654

定义

双神经网络/孪生神经网络(Siamese Neural Network)是一种人工神经网络,它使用相同的权重,同时对两个不同的输入向量进行协同操作以计算出可比较的输出向量,通常其中一个输出向量是预先计算的,从而形成另一个输出向量比较的基线。

网络结构

 

图 1 SiameseFC结构图

网络训练

1、欧几里得距离

网络训练的目标为使相似物体的距离度量最小化,而相异物体的距离度量最大化。这给出了损失函数,例如:

其中,i,j是一组向量的索引,f为对应两个卷积网络的函数。在实际中,最常用的距离度量方法为欧几里得距离。

2、非线性距离度量

更普遍的情况是,两个孪生网络的输出会经过一个额外的网络层,对两个输出向量进行非线性的相似性度量。如果i=j,那么:值应很小,否则值很大,其中i,j是一组向量的索引;f为对应两个卷积网络的函数;为额外网络层对应的函数。

此时,通常使用马氏距离(Mahalanobis distance)作为相似度度量的手段,则:

具体应用

由于其串联输入和相似性测量特性,孪生神经网络已被广泛应用于目标跟踪,在目标跟踪任务中,一个输入是用户预先选择的样本图像,另一输入是目标位置尚未确定的待追踪图像, 通过测量样本图像与搜索图像各部分之间的相似度,孪生神经网络可以给出相似度评分图。

目前,孪生全卷积网络已在许多高性能实时对象跟踪神经网络中使用,如SiamFC[1]、 SiamRPN[2]、SiamRPN ++[3]等。

参考文献

[1] Bertinetto L , Valmadre J , Henriques J F , et al. Fully-convolutional siamese networks for object tracking[J]. 2016.
[2] Li B , Yan J , Wu W , et al. High Performance Visual Tracking with Siamese Region Proposal Network[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2018.
[3] Li, Bo; Wu, Wei; Wang, Qiang; Zhang, Fangyi; Xing, Junliang; Yan, Junjie (2018). SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks. arXiv:1812.11703

目标跟踪

作          者: 泮桥成像光电商城

出          处: https://www.ipanqiao.com/entry/728

版          权:本文版权归泮桥成像光电商城所有

免责声明:本文中使用的部分文字内容与图片来自于网络,如有侵权,请联系作者进行删除。

转          载:欢迎转载,但必须保留上述声明;必须在文章中给出原文链接;否则必究法律责任。

Copyright © 2019-2022 南京超维景生物科技有限公司 版权所有 www.ipanqiao.com苏ICP备20009590号-1
联系我们
立即做合同
微信客服
电话咨询

400-998-9826

17302548620

快速留言

泮桥成像光电商城专业人员会在24小时之内联系您

关闭 提交