Éntropi informasi

Entropi nyaéta konsép dina térmodinamika (tempo éntropi termodinamika), mekanika statistika jeung tiori information. Konsép éntropi jeung informasi kacida pakait raket, sanajan perlu sababaraha waktu keur ngawangun tiori mekanika statistika jeung tiori informasi sangkan jadi nyata. Artikel ieu ngeunaan éntropi informasi, formulasi tiori-informasi éntropi. Éntropi informasi leuwih ilahar disebut Éntropi Shannon keur ngahargaan ka Claude E. Shannon.

Bubuka

Konsép éntropi dina tiori informasi ngajelaskeun sabaraha loba tingkat acak (atawa, 'kateupastian') anu aya dina sinyal atawa kajadian acak. Cara lian pikeun nempo ngeunaan ieu nyaéta ku ngabahas ngeunaan sabaraha loba informasi anu dibawa ku hiji sinyal.

Contona, aya sababaraha téks dina basa Inggris, dikodekeun mangrupa runtuyan hurup, spasi, jeung tanda baca. Lantaran frékuénsi atawa lobana kajadian pikeun sababaraha hurup ngan saeutik (conto, 'z'), sedengkeun hurup-hurup lianna mah murudul (conto 'e'), runtuyan hurup téh henteu acak-acak teuing. Sanajan kitu, lantaran hurup nu nuturkeunana henteu bisa dikira-kira, bisa ogé disebut 'acak' (nepikeun ka tingkatan nu tangtu). Éntropi téh minangka nu jadi ukuran tingkat acak ieu, saperti anu diusulkeun ku Shannon dina makalah "A Mathematical Theory of Communication Archived 1998-01-31 di Wayback Machine" nu medar dina taun 1948

Shannon nawarkeun hiji définisi éntropi anu nyumponan asumsi-asumsi, yén:

Ukuran ieu kudu proporsional (kontinu atawa silisambung) - contona, lamun probabilitasna ngaganti saeutik, éntropina ogé ngan kaganti saeutik.
Upama sakabéh kamungkinan (contona hurup-hurup di luhur) siga-siga rék sarua, mangka nambahan hurup anu kaluar ogé bakal naékkeun harga éntropi.
Lamun aya dua tahapan kajadian, harga éntropi ahir ogé kudu dihasilkeun tina pangjumlahan éntropi tina dua tahapan kajadian éta.

(Catetan: Buku nu ditulis ku Shannon/Wéaver ngarujuk ka tulisan Tolman (1938) anu ngarujuk ogé ka Pauli (1933) anu nuliskeun définisi éntropi nu dipaké ku Shannon. Salian ti éta, mekanika statistika ngarujuk ogé ka von Neumann sanggeus manéhna nurunkeun éntropi dina taun 1927, anu bisa ngajelaskeun naha von Neumann resep pisan ngagunakeun istilah 'entropi' anu geus aya.)

Tumbu luar

Information is not entropy, information is not uncertainty ! - a discussion of the use of the terms "information" and "entropy".
I'm Confused: How Could Information Equal Entropy? Archived 2011-07-17 di Wayback Machine - a similar discussion on the bionet.info-théory FAQ.
Java "entropy pool" for cryptographically-secure unguessable random numbers
Description of information entropy from "Tools for Thought" by Howard Rheingold Archived 2011-05-15 di Wayback Machine
A cool little java applet representing Shannon's Experiment to Calculate the Entropy of English

Artikel ieu mangrupa taratas, perlu disampurnakeun. Upami sadérék uninga langkung paos perkawis ieu, dihaturan kanggo ngalengkepan.