Informasi Fisher

Ti Wikipédia, énsiklopédia bébas basa Sunda
Luncat ka: pituduh, sungsi

Dina statistik, informasi Fisher I(θ), nyaeta informasi variabel acak nu bisa diobservasi mawa kanyaho ngeunaan parameter nu teu ka observasi θ nu gumantung kana probability distribution X, ngarupakeun score varian. Sabab skor expectation nyaeta nol, bisa dituliskeun salaku


I(\theta)=E\left(\left[\frac{\partial}{\partial\theta}
\log f(X;\theta)\right]^2\right)

numana f ngarupakeun probability density function variabel random X. Informasi Fisher saterusna ngarupakeun ekspektasi kuadrat tina skor. Variabel random mawa informasi Fisher nu luhur nu ngakibatkeun nilai mutlak skor oge jadi luhur (inget yen skor ekspektasi nyaeta nol).

Konsep ieu dipake keur ngahargaan ka ahli genetis jeung statistikawan Ronald Fisher.

Catetan yen informasi nu dihartikeun di luhur lain fungsi tina observasi sabagean, salaku variabel X geus ngabogaan average. Konsep informasi gampang dipake keur ngabandingkeun dua metoda observasi dina proses random nu sarua.

Informasi saperti nu geus dihartikeun di luhur bisa ditulis dina bentuk


I(\theta)=-E\left[
\frac{\partial^2}{\partial\theta^2}
\log f(X;\theta)
\right]

sarta saterusna log ekspektasi ngarupakeun turunan kadua ti X nu pakait jeung θ. Informasi saterusna geus katempo ngarupakeun ukuran "kaseukeutan" nu ngadukung kurva deukeut kana maximum likelihood estimate θ. Kurva dukungan nu "Kodol" (nu ngabogaan nilai minimum deet) bakal ngabogaan turunan ekspektasi kadua nu lemah, sarta saterusna informasi nu lemah; sabalikna bentuk nu seukeut bakal ngabogaan nilai turunan kadua nu luhur sarta saterusna nilai informasi nu luhur.

Informasi ngarupakeun tambahan, dina hal ieu informasi dicokot tina dua eksperimen independent, ngarupakeun jumlah tina eta informasi:


I_{X,Y}(\theta)=I_X(\theta)+I_Y(\theta).

Hal ieu kusabab jumlah varian dua variabel random bebas ngarupakeun jumlah eta varian. Hal ieu nuturkeun yen informasi dina ukuran sampel random n nyaeta n kali dina ukuran hiji sampel(lamun eta observasi bebas).

Informasi ieu disaratkeun ku sufficient statistic nyaeta sarua jeung sampel X. Ieu geus katempo ku make kriteria faktorisasi Fisher keur kacukupan statistis. Lamun T(X) cukup keur θ, mangka


f(X;\theta)=g(T(X),\theta)\times h(X)

keur sababaraha fungsi g jeung h (tempo sufficient statistic keur katerangan leuwih lengkep). Dina kanyataanna persamaan informasi nuturkeun bentuk


\frac{\partial}{\partial\theta} \log\left[f(X   ;\theta)\right]=
\frac{\partial}{\partial\theta} \log\left[g(T(X);\theta)\right]

(numana ieu kasus sabab h(X) ngarupakeun θ) bebas sarta harti keur informasi information diberekeun di luhur. Leuwih umum, lamun T=t(X) ngarupakeun statistic, mangka


I_T(\theta)\leq I_X(\theta)

nu sarua lamun jeung lamun T ngarupakeun kacukupan statistik.

Cramér-Rao inequality netepkeun yen informasi Fisher bolak balik ngarupakeun water handap dina varian keur unggal unbiased estimator θ.

Conto[édit | sunting sumber]

Informasi dipiboga dina n Bernoulli trial bebas, nu unggal probabiliti sukses θ bisa diitung siga di handap ieu. Runduyannana, a ngagambarkeun jumlah sukses , b jumlah gagal, sarta n=a+b ngarupakeun jumlah sakabeh percobaan.


I(\theta)= -E\left(\frac{\partial^2}{\partial\theta^2}
\log(f(X;\theta)\right)
=-E\left(\frac{\partial^2}{\partial\theta^2}
\log\left[\theta^a\cdot(1-\theta)^b\frac{(a+b)!}{a!b!}
\right]\right)
=-E\left(
     \frac{\partial^2}{\partial\theta^2}\left[a\log\theta
+b\log(1-\theta)\right]\right)
=-E\left(\frac{\partial}{\partial\theta}\left[
\frac{a}{\theta}-\frac{b}{1-\theta}\right]\right)
=+E\left(\frac{a}{\theta^2}+\frac{b}{(1-\theta)^2}\right)
=\frac{n\theta}{\theta^2}+\frac{n(1-\theta)}{(1-\theta)^2}
=\frac{n}{\theta(1-\theta)}

Garis kahiji sakadar ngahartikeun informasi; kadua migunakeun kanyataan kandungan informasi dina kacukupan statistik saru jeung eta sampel sorangan; garis katilu ngan perluasan watesan log (jeung ngaleungitkeun konstant), kaopat jeung kalima ngan proses diferensiasi wrt θ, kagenep ngagantikeun a jeung b ku ekspektasina , sarta katujuh ngarupakaeun manipulasi aljabar.

Hasil kabehannana, nyaeta


I(\theta)=\frac{n}{\theta(1-\theta)}

bisa katempo yen dumasar kana ekspektasi, saprak ngarupakeun varian bolak balik tian jumlah n Bernoulli variabel random.

Dina kasus paramete θ ngarupakeun nilai vektor, informasi ngarupakeun harti-positip tina matriks, nu dihartikeun sameter dina parameter ruang; akibatna differential geometry dipake dina ieu topik. Tempo Fisher information metric.