意义
互信息（mutual information）来自于概率论和信息论，是两个变量依赖程度的一个量化指标，这里的依赖程度指的是两个变量共同包含的信息量的多少，换句话说，是知道了一个变量，对于了解另一个变量所需的信息量减少了多少。
计算
了解变量所需的信息量，也即变量的不确定性，可以通过熵H来计算，那么互信息也可以理解为已知一个变量X，相比未知时，对于了解另一个变量Y的熵减的值H(Y)-H(Y|X)：
可以看到，互信息实际上是联合分布p(x,y)和边缘分布p(x)p(y)的KL散度[1]，也即相对熵[2]。
分析应用举例
在利用概率论框架对神经元进行有关小鼠行为信息的编解码时[3]，可以通过计算互信息，来确定神经元更“倾向响应”哪种小鼠行为。假定神经元的激活状态为A，小鼠行为状态为S，那么知道神经元激活状态 A 后，小鼠状态 S的不确定性减少了多少，也就是 A 里携带了有关 S 多少的信息，可以用互信息来确定：
在这篇文章中，作者通过互信息确定了视野内神经元更多地响应了小鼠往右运动的信息，如下图所示。
参考文献
[1] mutual information, Wikipedia, https://en.wikipedia.org/wiki/Mutual_information
[2] 互信息,百度百科,https://baike.baidu.com/item/%E4%BA%92%E4%BF%A1%E6%81%AF/7423853
[3] Etter, Guillaume, Frederic Manseau, and Sylvain Williams. "A probabilistic framework for decoding behavior from in vivo calcium imaging data." Frontiers in Neural Circuits 14 (2020): 19.
