Cramér-Rao inequality

Ti Wikipédia, énsiklopédia bébas
Luncat ka: pituduh, sungsi

Dina statistik, Ka-teusarua-an Cramér-Rao, ngaran keur ngahargaan ka Harald Cramér jeung Calyampudi Radhakrishna Rao, ngagambarkeun wates luhur dina presisi estimator statistis, dumasar kana informasi Fisher.

Katangtuanna nyaeta informasi Fisher bulak balik , \mathcal{I}(\theta), parameter \theta, ngarupakeun wates handap variance parameter estimator unbiased (dilambangkeun \widehat{\theta}).


\mathrm{var} \left(\widehat{\theta}\right)
\geq
\frac{1}{\mathcal{I}(\theta)}
=
\frac{1}
{
 \mathrm{E}
 \left[
  \left[
   \frac{\partial}{\partial \theta} \log f(X;\theta)
  \right]^2
 \right]
}

Dina sababaraha kasus, taya unbiased estimator kapanggih dina wates handapna.

Cramér-Rao inequality disebut oge Cramér-Rao bounds (CRB) atawa Cramér-Rao lower bounds (CRLB) sabab dicokot tina wates handap variance \widehat{\theta}.

Bukti[édit | sunting sumber]

Anggap variabel random X, ngabogaan probability density function f(x,θ). Di dieu T = t(X) nyaeta statistic dipake salaku estimator keur θ. Lamun V ngarupakeun score, nyaeta


V=\frac{\partial}{\partial\theta}\log f(X;\theta).

mangka expectation V, ditulikeun E(V), sarua jeung. Lamun urang nganggap covariance cov(V, T) V sarta T urang ngabogaan cov(V, T) = E(VT) sabab ekspektasi V sarua jeung zero. Ngalegaan tina rumus ieu urang ngabogaan


{\rm cov}(V,T)=E\left(
T\cdot\frac{\partial}{\partial\theta}\log f(X;\theta)
\right).

Ieu bisa dilegaan ku ngagunakeun identitas

\frac{\partial}{\partial\theta}\log Q=\frac{1}{Q}\frac{dQ}{d\theta}

sarta harti ekspektasi nu diberekeun, sanggeus nunda f(x; θ),


\int t(x)\left\{\frac{\partial}{\partial\theta} f(x;\theta)\right\}\, dx.

Ayeuna lamun turunan ditukerkeun ku integral, mangka ieu ngan sakadar turunan (wrt θ) tina ekspektasi t(X), atawa

\frac{\partial}{\partial\theta}E(T).

Sabab T ngarupakeun unbiased, ekspektasi-na θ; we are left with 1.

Cauchy-Schwarz inequality nembongkeun yen


{\rm var\ } T\times{\rm var\ } V \geq {\rm cov}(V,T)=1,

mangka dina kasus ieu


{\rm var\ }T \geq \frac{1}{{\rm var\ } V} = \frac{1}{I(\theta)}

dimana I(θ) ngarupakeun Fisher information. Ieu ngarupakeun kateusaruaan Cramér-Rao; aya di wates dina varian tina unbiased estimators.

Efisiensi T dihartikeun ku

e(T)=\frac{1/I(\theta)}{{\rm var\ }T}

atawa varian minimum nu mungkin keur unbiased estimator dibagi ku varian nu sabenerna. Mangka wates handap Cramér-Rao diberekeun ku e(T) ≤ 1.