互信息

2021-04-22 16:37:50 浏览:371

意义

互信息(mutual information)来自于概率论和信息论,是两个变量依赖程度的一个量化指标,这里的依赖程度指的是两个变量共同包含的信息量的多少,换句话说,是知道了一个变量,对于了解另一个变量所需的信息量减少了多少。

计算

了解变量所需的信息量,也即变量的不确定性,可以通过熵H来计算,那么互信息也可以理解为已知一个变量X,相比未知时,对于了解另一个变量Y的熵减的值H(Y)-H(Y|X):

可以看到,互信息实际上是联合分布p(x,y)和边缘分布p(x)p(y)的KL散度[1],也即相对熵[2]

分析应用举例

在利用概率论框架对神经元进行有关小鼠行为信息的编解码时[3],可以通过计算互信息,来确定神经元更“倾向响应”哪种小鼠行为。假定神经元的激活状态为A,小鼠行为状态为S,那么知道神经元激活状态 A 后,小鼠状态 S的不确定性减少了多少,也就是 A 里携带了有关 S 多少的信息,可以用互信息来确定:

在这篇文章中,作者通过互信息确定了视野内神经元更多地响应了小鼠往右运动的信息,如下图所示。

 

参考文献

[1] mutual information, Wikipedia, https://en.wikipedia.org/wiki/Mutual_information
[2] 互信息,百度百科,https://baike.baidu.com/item/%E4%BA%92%E4%BF%A1%E6%81%AF/7423853
[3] Etter, Guillaume, Frederic Manseau, and Sylvain Williams. "A probabilistic framework for decoding behavior from in vivo calcium imaging data." Frontiers in Neural Circuits 14 (2020): 19.

作          者: 泮桥成像光电商城

出          处: https://www.ipanqiao.com/entry/677

版          权:本文版权归泮桥成像光电商城所有

免责声明:本文中使用的部分文字内容与图片来自于网络,如有侵权,请联系作者进行删除。

转          载:欢迎转载,但必须保留上述声明;必须在文章中给出原文链接;否则必究法律责任。

Copyright © 2019-2022 南京超维景生物科技有限公司 版权所有 www.ipanqiao.com苏ICP备20009590号-1
联系我们
立即做合同
微信客服
电话咨询

400-998-9826

17302548620

快速留言

泮桥成像光电商城专业人员会在24小时之内联系您

关闭 提交