Informazione E Codifica 2015/2016

Teoria dell’Informazione: concetto di informazione, self-information, Shannon entropy, misure alternative di informazione. Dicergenza di Kullback–Leibler divergence, divergenza di Jensen–Shannon. Entropia condizionata, entropia congiunta, mutua informazione, joint entropy, entropia differenziale.

Applicazioni ai sistemi di comunicazione: codifica di sorgenti discrete, primo teorema di Shannon, disuguaglianza di Kraft, codifica di Huffman, canali di comunicazione discreti, capacità di canale, secondo teorema di Shannon. Elementi di codifica di canale e crittografia.

Applicazioni al data mining: concetti di base del data mining, definizione di dataset e di feature/ attribute, tipi di dato, metriche di teoria dell’informazione nel data mining, discretizzazione degli attributi, regole di associazione, algoritmi di classificazione (ID3, C4.5, Bayes), alberi di decisione, clustering.

Esercizi: introduzione a Matlab con applicazioni.