Éntropi informasi

Ti Wikipédia, énsiklopédia bébas
Luncat ka: pituduh, sungsi
Entropi pamariksaan Bernouli salaku fungsi probabilitas suksés, ilahar disebut fungsi éntropi binér.

Entropi nyaéta konsép dina térmodinamika (tempo éntropi termodinamika), mekanika statistika jeung tiori information. Konsép éntropi jeung informasi kacida pakait raket, sanajan perlu sababaraha waktu keur ngawangun tiori mekanika statistika jeung tiori informasi sangkan jadi nyata. Artikel ieu ngeunaan éntropi informasi, formulasi tiori-informasi éntropi. Éntropi informasi leuwih ilahar disebut Éntropi Shannon keur ngahargaan ka Claude E. Shannon.

Bubuka[édit | sunting sumber]

Konsép éntropi dina tiori informasi ngajelaskeun sabaraha loba tingkat acak (atawa, 'kateupastian') anu aya dina sinyal atawa kajadian acak. Cara lian pikeun nempo ngeunaan ieu nyaéta ku ngabahas ngeunaan sabaraha loba informasi anu dibawa ku hiji sinyal.

Contona, aya sababaraha téks dina basa Inggris, dikodekeun mangrupa runtuyan hurup, spasi, jeung tanda baca. Lantaran frékuénsi atawa lobana kajadian pikeun sababaraha hurup ngan saeutik (conto, 'z'), sedengkeun hurup-hurup lianna mah murudul (conto 'e'), runtuyan hurup téh henteu acak-acak teuing. Sanajan kitu, lantaran hurup nu nuturkeunana henteu bisa dikira-kira, bisa ogé disebut 'acak' (nepikeun ka tingkatan nu tangtu). Éntropi téh minangka nu jadi ukuran tingkat acak ieu, saperti anu diusulkeun ku Shannon dina makalah "A Mathematical Theory of Communication" nu medar dina taun 1948

Shannon nawarkeun hiji définisi éntropi anu nyumponan asumsi-asumsi, yén:

  • Ukuran ieu kudu proporsional (kontinu atawa silisambung) - contona, lamun probabilitasna ngaganti saeutik, éntropina ogé ngan kaganti saeutik.
  • Upama sakabéh kamungkinan (contona hurup-hurup di luhur) siga-siga rék sarua, mangka nambahan hurup anu kaluar ogé bakal naékkeun harga éntropi.
  • Lamun aya dua tahapan kajadian, harga éntropi ahir ogé kudu dihasilkeun tina pangjumlahan éntropi tina dua tahapan kajadian éta.

(Catetan: Buku nu ditulis ku Shannon/Weaver ngarujuk ka tulisan Tolman (1938) anu ngarujuk ogé ka Pauli (1933) anu nuliskeun définisi éntropi nu dipaké ku Shannon. Salian ti éta, mekanika statistika ngarujuk ogé ka von Neumann sanggeus manéhna nurunkeun éntropi dina taun 1927, anu bisa ngajelaskeun naha von Neumann resep pisan ngagunakeun istilah 'entropi' anu geus aya.)


Tumbu luar[édit | sunting sumber]

Nulis.jpg