Cazul clasic

Pentru inceput amintim aici definitiile entropiei din teoria clasica a probabilitatilor. Entropia este legata de notiunea de informatie castigata in urma efectuarii unei experiente [54]; daca avem un set de evenimente echiprobabile, care pot aparea cu probabilitatea $p$, atunci o prima incercare pentru definirea informatiei castigate este $I=1/p$. In cazul unui eveniment ''compus'' din 2 evenimente independente: $\left\{ p\right\} =\left\{ q\right\} \times \left\{ r\right\}$, o cerinta naturala este ca informatiile castigate prin efectuarea celor doua experiente sa fie aditive, ceea ce nu este respectat de alegerea initiala: $1/p\neq 1/q+1/r$, intrucat, pentru evenimente independente avem: $p=q\cdot r$. Daca, insa, definim informatia ca $I=\ln (1/p)$, atunci proprietatea de aditivitate este satisfacuta. Informatia medie se defineste pentru o distributie de probabilitate oarecare ( $\sum_np(a_n)=1$) ca:

$$I(\emph{a})=\sum_ip(a_i)\ln p(a_i)$$

iar pentru entropia Shannon se ia $I(\emph{a})$ cu semn schimbat:

$$S_{_1}(\emph{a})=-\sum_ip(a_i)\ln p(a_i)$$ (3.2.1)

Pentru doua distributii de probabilitate $\emph{a}=\{{p(a_i)}\}$ ''reala'' si $\emph{b}=\{{p(b_j)}\}$ ''determinata'' (viciata), informatia medie ''castigata'' prin determinarea distributiei $\emph{b}$ este [32] :

$$I(\emph{a}\vert\emph{b})=\sum_ip(a_i)\ln p(b_i)$$

(medierea informatiei ''viciate'' se face dupa probabilitatile ''reale''). Diferenta de informatie este atunci:

$$I(\emph{a}\vert\vert\emph{b})=I(\emph{a}\vert\emph{b})-I(\emph{a})$$

iar entropia relativa a celor doua distributii se defineste ca:

$$S_1(\emph{a}\vert\vert\,\emph{b})=-I(\emph{a}\vert\vert\emph{b})=\sum_ip(a_i)\ln \frac{p(a_i) }{p(b_i)}$$ (3.2.2)

Pentru o distributie de probabilitate comuna $\emph{a}\wedge \,\emph{b}=\{{ p(a_i,b_j)}\}$ cu distributiile marginale $\emph{a}=\left\{ \sum_j{p(a_i,b_j) }\right\} _i$ si $\emph{b}=\left\{ \sum_i{p(a_i,b_j)}\right\} _j$ informatia mutuala Shannon se defineste ca:

$$I_S(\emph{a}\vert\emph{b})=S_1(\emph{a})+S_1(\,\emph{b})-S_1(\emph{a}\wedge \, \emph{b})$$

si se poate scrie utilizand entropia relativa [234]:

$$I_S(\emph{a}\vert\emph{b})=S_1(\emph{a}\wedge \emph{b}\vert\vert\emph{a}\cdot \emph{b})$$ (3.2.3)

unde $\emph{a}\cdot \emph{b}$ este produsul direct al celor 2 distributii marginale. Pe de alta parte, se defineste probabilitatea conditionata de obtinere a evenimentului $b_j$ atunci cand evenimentul $a_i$ s-a produs:

$$p_{a_i}(b_j)=\frac{p(a_i,b_j)}{p(a_i)}$$

si entropia conditionata $S_{\emph{a}}(\emph{b})$ ca:

$$S_{\emph{a}}(\emph{b}) = -\sum_ip(a_i)\sum_jp_{a_i}(b_j)\ln p_{a_i}(b_j)$$

$$= -\sum_{ij}p(a_i,b_j)\ln p_{a_i}(b_j).$$

informatia mutuala Shanon se poate scrie ca:

$$I_S(\emph{a}\vert\emph{b})=S_1(\emph{b})-S_{\emph{a}}(\emph{b})=S_1(\emph{a})-S_{ \emph{b}}(\emph{a})\;.$$

In fizica statistica clasica, starea unui sistem este data de o distributie de probabilitati $\emph{a}$, iar evolutia in timp a sistemului de o functie de timp de tipul

$$\emph{a}=\emph{a}(t)$$

care da dependenta de timp a probabilitatilor. Aceasta functie poate fi gasita ca solutia unei ecuatii diferentiale, care in cel mai simplu caz este o ecuatie diferentiala liniara de ordinul I. Solutia acesteia se scrie, desigur, ca:

$$\emph{a}(t^{\prime })=\emph{U}(t^{\prime },t)\emph{a}(t)$$

iar in forma matriciala ca:

$$p\left( a_j(t^{\prime })\right) =\sum_jU_{jk}(t^{\prime },t)p\left( a_k(t)\right)$$

unde $U_{jk}(t^{\prime },t)=p_{a_j(t^{\prime })}(a_k(t))$ sunt, pentru $t$ si $t^{\prime }$ fixate, probabilitatile conditionate pentru ca sistemul sa treaca din starea $k$ in starea $j$. Deoarece probabilitatea se conserva ( $\sum_ja_j=1$), trebuie ca:

$$\sum_jU_{jk}(t^{\prime },t)=1\quad \forall t,t^{\prime }$$

Matricile cu aceasta proprietate se numesc simplu-stochastice.