Cramér-Rao inequality

Dina statistik, Ka-teusarua-an Cramér-Rao, ngaran keur ngahargaan ka Harald Cramér jeung Calyampudi Radhakrishna Rao, ngagambarkeun wates luhur dina presisi estimator statistis, dumasar kana informasi Fisher.

Katangtuanna nyaeta informasi Fisher bulak balik , $\mathcal{I}(\theta)$, parameter $\theta$, ngarupakeun wates handap variance parameter estimator unbiased (dilambangkeun $\widehat{\theta}$).

$\mathrm{var} \left(\widehat{\theta}\right) \geq \frac{1}{\mathcal{I}(\theta)} = \frac{1} { \mathrm{E} \left[ \left[ \frac{\partial}{\partial \theta} \log f(X;\theta) \right]^2 \right] }$

Dina sababaraha kasus, taya unbiased estimator kapanggih dina wates handapna.

Cramér-Rao inequality disebut oge Cramér-Rao bounds (CRB) atawa Cramér-Rao lower bounds (CRLB) sabab dicokot tina wates handap variance $\widehat{\theta}$.

Bukti

Anggap variabel random X, ngabogaan probability density function f(x,θ). Di dieu T = t(X) nyaeta statistic dipake salaku estimator keur θ. Lamun V ngarupakeun score, nyaeta

$V=\frac{\partial}{\partial\theta}\log f(X;\theta).$

mangka expectation V, ditulikeun E(V), sarua jeung. Lamun urang nganggap covariance cov(V, T) V sarta T urang ngabogaan cov(V, T) = E(VT) sabab ekspektasi V sarua jeung zero. Ngalegaan tina rumus ieu urang ngabogaan

${\rm cov}(V,T)=E\left( T\cdot\frac{\partial}{\partial\theta}\log f(X;\theta) \right).$

Ieu bisa dilegaan ku ngagunakeun identitas

$\frac{\partial}{\partial\theta}\log Q=\frac{1}{Q}\frac{dQ}{d\theta}$

sarta harti ekspektasi nu diberekeun, sanggeus nunda f(x; θ),

$\int t(x)\left\{\frac{\partial}{\partial\theta} f(x;\theta)\right\}\, dx.$

Ayeuna lamun turunan ditukerkeun ku integral, mangka ieu ngan sakadar turunan (wrt θ) tina ekspektasi t(X), atawa

$\frac{\partial}{\partial\theta}E(T).$

Sabab T ngarupakeun unbiased, ekspektasi-na θ; we are left with 1.

Cauchy-Schwarz inequality nembongkeun yen

${\rm var\ } T\times{\rm var\ } V \geq {\rm cov}(V,T)=1,$

mangka dina kasus ieu

${\rm var\ }T \geq \frac{1}{{\rm var\ } V} = \frac{1}{I(\theta)}$

dimana I(θ) ngarupakeun Fisher information. Ieu ngarupakeun kateusaruaan Cramér-Rao; aya di wates dina varian tina unbiased estimators.

Efisiensi T dihartikeun ku

$e(T)=\frac{1/I(\theta)}{{\rm var\ }T}$

atawa varian minimum nu mungkin keur unbiased estimator dibagi ku varian nu sabenerna. Mangka wates handap Cramér-Rao diberekeun ku e(T) ≤ 1.