Топ-100

Entropia condizionale

Nella teoria dellinformazione l entropia condizionale è una misura della quantità di informazione necessaria per descrivere il valore di una variabile aleatoria X {\displaystyle \mathrm {X} } noto il valore di unaltra variabile aleatoria Y {\displaystyle Y}. Nella trasmissione attraverso un canale di comunicazione rappresenta la quantità rimanente di incertezza del valore allingresso al canale dopo che è stato osservato il valore di uscita. Lentropia di X {\displaystyle X} condizionata da Y {\displaystyle Y} si definisce come H {\displaystyle H}.

1. Definizione
Se H X | Y = y k {\displaystyle HX|Y=y_{k}} è lentropia della variabile X {\displaystyle X} condizionata dalla variabile Y {\displaystyle Y} che assume un certo valore y k {\displaystyle y_{k}}, allora H X | Y {\displaystyle HX|Y} è il risultato della media pesata di H X | Y = y k {\displaystyle HX|Y=y_{k}} su tutti i possibili valori y k {\displaystyle y_{k}} che la Y {\displaystyle Y} può assumere.
Dato un alfabeto di simboli in ingresso X = { x 0, x 1., x J − 1 } {\displaystyle X={\{x_{0},x_{1}.,x_{J-1}}\}}, un alfabeto di simboli in uscita Y = { y 0, y 1. y K − 1 } {\displaystyle Y={\{y_{0},y_{1}.y_{K-1}}\}} con probabilità p y 0., p y K − 1 {\displaystyle py_{0}.,py_{K-1}} lentropia condizionale si definisce come:
H X | Y {\displaystyle HX|Y} ≡ {\displaystyle \equiv } ∑ k = 0 K − 1 H X | Y = y k p y k {\displaystyle \sum _{k=0}^{K-1}HX|Y=y_{k}py_{k}}
= ∑ k = 0 K − 1 ∑ j = 0 J − 1 p x j | y k p y k l o g 2 }
dove nellultima espressione si è utilizzata la relazione tra probabilità congiunta e condizionata: p x j, y k = p x j | y k p y k {\displaystyle px_{j},y_{k}=px_{j}|y_{k}py_{k}}.

Autoinformazione Entropia congiunta Entropia condizionale Canale telecomunicazioni Ricevitore teoria dell informazione Informazione mutua Entropia differenziale
contenuta in Y o X da sola, vale a dire l entropia di Y o X: chiaramente se X e Y sono identiche, hanno identica entropia L informazione mutua quantifica
di salti chiamata addizionali all x86. Salto vicino, chiamata vicina, condizionale vicina agli obiettivi di salto sono divisi e compressi separatamente
Computer, Rao presentò dei dati che rafforzano la loro originale entropia condizionale che coinvolgeva analisi su coppie di simboli. Essi mostrano che
nulli non vi è collinearità perfetta. Da notare che l ipotesi di media condizionale dell errore nulla implica che: anche la media non condizionata sia nulla