Metropolis-Hastings 采样

2021-01-04 14:47:33 浏览:863

解决的问题

如何利用计算机进行高维分布的采样,在求解复杂积分等方面有重要应用。采样求解数学问题的核心思想就是通过频率来逼近概率,举例而言,想要求解下图所示的不规则图形的面积,可以通过无限次撒豆子(从均匀分布中采样作为x、y坐标),统计落在图形内、矩形内的豆子比例,就可以求解出相应面积。

1953年,为了研究粒子系统的平稳性质,Metropolis考虑了物理学中常见的波尔兹曼分布的采样问题,首次提出了基于马氏链的蒙特卡罗方法(Metropolis算法),之后由Hastings 对其加以推广[1]

核心思想

1、马尔科夫链的收敛特性

上述例子可以看到,给定一个初始状态,给定一个按特定概率转移的方式,在经过大概20次转移后,最终x1~x3的取值趋于稳定。事实上,这个稳定状态只取决于转移矩阵,和初始状态无关。每次转移实际上对应均匀分布的采样,稳态分布则可以被设计成一个复杂分布,那么就可以通过设计转移矩阵,通过均匀分布来逼近复杂分布。注意到这里的转移矩阵任何一行的和为1,表明没有能量泄露,这样才会最终趋于稳定,称为细致平稳条件。

2、M-H采样

从直觉上看,抽样的目的是希望目标分布中概率较大的点应该尽可能多的出现。因此对于计算机均匀采样产生的样本,可以根据目标分布计算获得的概率,进行一定程度的接收或者拒绝,使最终获取到的样本符合目标分布,这就是M-H采样的核心思想,背后的理论是通过设定接受率α,使构造的马尔科夫链符合细致平稳条件,从而逼近目标分布。

条件

(1)先验分布必须已知。

(2)马尔科夫链必须满足细致平稳条件。 

缺点与改进

M-H采样的缺点是面对复杂的高维分布时计算量很大,而且极易遇到接受率过低导致大量样本被拒绝、采样效率很低的问题。Gibbs采样巧妙地将转移矩阵设置为条件概率,按照条件概率转移构造马尔科夫链,优点是天然地满足细致平稳条件,而且计算条件概率要比直接计算复杂分布对应的概率要简单的多。Gibbs采样的具体实施方法是在每次采样时先固定其他维度,仅对一个维度进行采样,然后多次、随机选取维度进行迭代,下图展示了对二维高斯分布进行Gibbs采样的过程。

参考文献

[1] 朱新玲. 马尔科夫链蒙特卡罗方法研究综述[J]. 统计与决策, 2009, 000(021):151-153.

图像视频去噪

作          者: 泮桥成像光电商城

出          处: https://www.ipanqiao.com/entry/123

版          权:本文版权归泮桥成像光电商城所有

免责声明:本文中使用的部分文字内容与图片来自于网络,如有侵权,请联系作者进行删除。

转          载:欢迎转载,但必须保留上述声明;必须在文章中给出原文链接;否则必究法律责任。

Copyright © 2019-2022 南京超维景生物科技有限公司 版权所有 www.ipanqiao.com苏ICP备20009590号-1
联系我们
立即做合同
微信客服
电话咨询

400-998-9826

17302548620

快速留言

泮桥成像光电商城专业人员会在24小时之内联系您

关闭 提交