Baldintzazko entropia

Informazioaren teorian baldintzazko entropiak zera neurtzen du: $X$ zorizko aldagaiaren balioa ezaguna izanik, $Y$ zorizko aldagaia deskribatzeko behar den informazio kantitatea. Entropia kontzeptuaren hedapen bat da.

Definizioa

$X$ zorizko aldagai diskretuak $x$ balioa hartzearen baldintzapean $Y$ zorizko aldagai diskretuaren entropia $\mathrm{H}(Y|X=x)$ notazioaz adierazten da.

$Y$ aldagaiaren probabilitate-funtzioa $p_Y(y)$ izanik, haren entropia (ez baldintzazkoa) horrela definitzen da: $\mathrm{H}(Y):=𝔼[\mathrm{I}(Y)]$, hau da, informazio-kantitatearen itxaropen matematikoa. Kalkuluak eginez, zera lortzen da:

$\mathrm{H}(Y)=\sum _{i=1}^n\mathrm{P}\mathrm{r}(Y=y_i)\mathrm{I}(y_i)=-\sum _{i=1}^n{p}_Y(y_i){\log }_2{p}_Y(y_i),$

$\mathrm{I}(y_i)$ izanik $Y$ aldagaiak $y_i$ balioa hartzeak ematen duen informazio kantitatea.

Antzeko moduan, baina baldintzazko itxaropen matematikoa erabiliz, defini daiteke $X$ zorizko aldagai diskretuak $x$ balioa hartzearen baldintzapean $Y$ zorizko aldagai diskretuak duen entropia:

$\mathrm{H}(Y|X=x)=𝔼[\mathrm{I}(Y)|X=x]=-\sum _{i=1}^n\mathrm{Pr}(Y=y_i|X=x){\log }_2\mathrm{Pr}(Y=y_i|X=x).$

$X$ aldagaiaren $x$ balio posible guztietarako $\mathrm{H}(Y|X=x)$ balioen batez besteko haztatua kalkulatuz lortzen da $\mathrm{H}(Y|X)$ baldintzazko entropia.

$\begin{array}{cc}\mathrm{H}(Y|X)& \equiv \sum _{x\in 𝒳}p(x)\mathrm{H}(Y|X=x)\\ & =-\sum _{x\in 𝒳}p(x)\sum _{y\in 𝒴}p(y|x)\log p(y|x)\\ & =-\sum _{x\in 𝒳}\sum _{y\in 𝒴}p(x,y)\log p(y|x)\\ & =-\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log p(y|x)\\ & =-\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log \frac{p(x,y)}{p(x)}.\\ \end{array}$

Konbenioa: $0\log 0$ eta $0\log c/0$ espresioen emaitza zero dela onartzen da, $c>0$ izanik.

Propietateak

• Oro har, $\mathrm{H}(Y|X)\le \mathrm{H}(Y)$ betetzen da. $X$ eta $Y$ aldagaiak elkarrekiko independenteak badira, $\mathrm{H}(Y|X)=\mathrm{H}(Y)$ betetzen da.

• $X$ eta $Y$ aldagaiak elkarren mendekoak badira, $\mathrm{H}(Y|X)=0$ betetzen da, hau da, baldintzazko entropia zero izango da, $X$ aldagaiaren balioa ezagutzearen ondorioz $Y$ aldagaia erabat zehaztuta geratzen bada.

• Aurreko propietatetik ondoriozta daiteke $H(X|X)=0$ betetzen dela.

• Bayesen teoremaren arabera, zera betetzen da: $\mathrm{H}(Y|X)=\mathrm{H}(X|Y)-\mathrm{H}(X)+\mathrm{H}(Y).$

• $\mathrm{I}(X;Y)\le \mathrm{H}(X)$ betetzen da, $\mathrm{I}(X;Y)$ izanik $X$ eta $Y$ aldagaien elkarrekiko informazioa.

Ikus, gainera

• Entropia (informazio-teoria)
• Elkarrekiko informazio
• Informazio kantitate