[科普中國]-費歇耳信息矩陣

費歇耳信息矩陣是費歇耳信息量由單個參數到多個參數情形的推廣。費歇耳信息量表示隨機變量的一個樣本所能提供的關于狀態(tài)參數在某種意義下的平均信息量。費舍爾信息矩陣(FIM)是Fisher信息量的矢量化定義。

基本介紹一個樣本觀測值所能提供的關于未知多維參數θ=(θ1，θ2，…θm)的信息量期望值的一種度量——m×m矩陣 ，其中

式中p(x;θ)為總體X的概率函數。來自總體X的簡單隨機樣本(X1，X2，…，Xn)所能提供的關于θ的費歇耳信息量為nI(θ)。這時， 是克拉默-拉奧方差界在多維情況下的類似：設 是θ=(θ1，θ2，…，θm)的任一無偏估計量， 是 的方差矩陣，則 是非負定矩陣1。

假設(X，Y)有二元正態(tài)分布，EX=EY =0，DX=DY =σ2，X和Y的相關系數為ρ，則參數θ=(σ2，ρ)的費歇耳信息矩陣為：

相關概念費歇耳信息量費歇耳信息量是一次觀測值所能提供的關于未知參數θ的信息量期望值的一種度量，定義為

其中p(x;θ)是總體的概率函數。

費歇耳信息量I(θ)具有如下性質：

1. 非負性：I(θ)≥0而I(θ)=0當且僅當p(x; θ)不依賴于θ；

2.可加性：n次獨立重復觀測值、即來自總體的簡 單隨機樣本(X1，X2，…，Xn)所能提供的關于θ的信息量期望值為nI(θ)。

對于正態(tài)總體X～N(μ，σ)；I(μ)=1/σ2，I(σ2)=1/(2σ4)；對于參數為λ的泊松總體，I(λ)=1/λ。

克拉默-拉奧方差界克拉默-拉奧方差界是未知參數之一切可能估計量的方差的公共下界。2設總體X的概率函數p(x;θ)依賴于未知參數θ;g=g(θ)是參數θ的函數， 是g的估計量，其中X1，…，Xn是來自X的簡單隨機樣本； 是估計量 的偏倚，則

其中I(θ)是θ的費歇耳信息量。此不等式稱做“克拉默-拉奧(Cramer-Rao)不等式”，其右側稱做“克拉默-拉奧方差界”。 若 是θ的無偏估計， 則有

對于 是多維參數的情形， 有類似的結果。

本詞條內容貢獻者為:

杜強 - 高級工程師 - 中國科學院工程熱物理研究所