定义
Fisher信息用于衡量样本数据的信息量。假定有一个随机变量X,其中X的概率分布依赖于参数θ,而Fisher信息便是用于衡量随机变量X携带的关于θ的信息,通常记作:
令X的概率函数为f(X, θ),则L(X, θ) = ln[f(X, θ)],是X关于θ的对数似然函数。
对数似然函数关于参数θ的偏导被称为品质函数(score function)。通常,当参数θ取到的值接近准确值时,对数似然函数的值应该是很大的,相对应地,品质函数应该为0。换言之,若品质函数的值很大,则说明样本提供了比较多的关于参数θ的信息。因此,可以用品质函数的平方来衡量信息量,而Fisher信息正是
的期望值,表征了样本携带的关于参数θ的信息量。
在计算神经科学领域,Fisher信息已经被用于衡量神经元编码准确性的界限,通常在噪声相关性研究中得以运用。
参考文献
[1] https://en.wikipedia.org/wiki/Fisher_information