Entropi gwybodaeth

Oddi ar Wicipedia
Neidio i: llywio, chwilio

Mewn damcaniaeth gwybodaeth, mesur o'r ansicrwydd a gysylltir â hapnewidyn yw entropi gwybodaeth.

Gellir dehongli'r entropi hwn fel yr hyd neges cyfartalog lleiaf posib (mewn didau) sy'n cyfleu allbwn yr hapnewidyn. Cynrychiola hyn derfan mathemategol ar y cywasgiad di-golled gorau posib o ddata: lleiafswm y nifer o ddidau a ellir eu danfon i gyfathrebu neges ydyw. Yn gyfwerth, gellir ei ystyried yn fesur o'r wybodaeth gyfartalog mae'r derbynydd yn ei golli wrth beidio gwybod gwerth yr hapnewidyn.

Cyflwynwyd y cysyniad gan Claude E. Shannon yn ei bapur "A Mathematical Theory of Communication" a gyhoeddwyd ym 1948.

Diffiniad[golygu]


\begin{matrix}
H(X)  =  \operatorname{E}( I(X) ) & = &   \displaystyle{\sum_{i=1}^np(x_i)\log_2 \left(1/p(x_i)\right)} \\
                                  & = & - \displaystyle{\sum_{i=1}^np(x_i)\log_2 p(x_i)} \qquad
\end{matrix}

yw entropi gwybodaeth hapnewidyn arwahanol X a all gymryd y gwerthoedd {x1...xn} lle mai

I(X) yw cynnwys gwybodaeth X, sydd yn hapnewidyn ei hun; a
p(xi) = P(X=xi) yw ffwythiant dwysedd tebygolrwydd X.

[gellir ymestyn y diffiniad hwm i hapnewidynnau di-dor]

Entropi a cynnwys gwybodaeth[golygu]

gw. Theorem codio ffynhonnell Shannon

Cywasgu data[golygu]

Mae entropi yn arffinio perfformiad cywasgiad di-golled o ddata, ac fe ellir cyflawni'r cywasgiad gorau posib trwy ddefnyddio'r set nodweddiadol (neu'n ymarferol, codio Huffman, Lempel-Ziv neu codio rhifyddol.

Cyfyngiadau ar y dehongliad o entropi fel cynnwys gwybodaeth[golygu]

Er fod entropi yn cael ei ddehongli'n aml fel mesur o gynnwys gwybodaeth ffynhonnell ddata, nid yw'r cynnwys gwybodaeth hwn yn absolìwt: mae'n dibynnu'n llwyr ar y model tebygoliaethol. Mae entropi o 0 gan ffynhonnell sy'n cynhyrchu un symbol yn unig, ond mae'r diffiniad o symbol yn dibynnu ar yr wyddor dan sylw. Ystyriwch ffynhonnell sy'n cynhyrchu'r dilyniant ABABABABAB... Os tybiwn fod llythrennau unigol yn annibynnol, mae cyfradd entropi o un did i bob llythyren. Ond os tybiwn mae deugraffiau yw'r symbolau yn y model, yna 0 yw'r cyfradd entropi. Fodd bynnag, os defnyddiwn blociau mawr, yna fe allem gael amcymgyfrifiad annaturiol o isel o'r gyfradd entropi.

Dolenni allanol[golygu]

Mae'r erthygl hon yn cynnwys term neu dermau sydd efallai wedi eu bathu'n newydd sbon: set nodweddiadol o'r Saesneg "typical set". Gallwch helpu trwy safoni'r termau.