Information Theory And Data Mining 2019/2020

Teoria dell'informazione: variabili e processi aleatori, concetto di informazione, autoinformazione, entropia di Shannon, misure alternative di entropia, entropia relativa, divergenza di Kullback-Leibler, divergenza di Jensen-Shannon, entropia condizionale, entropia congiunta, informazione reciproca, correlazione totale, entropia differenziale, Catene di Markov.

Applicazioni ai sistemi di comunicazione: codifica di sorgenti discrete, primo teorema di Shannon, disuguaglianza di Kraft, codifica di Huffman, canali di comunicazione discreti, capacità di canale, probabilità di errore, disuguaglianza di Fano, secondo teorema di Shannon, elementi di codifica di canale e crittografia.

Applicazioni al data mining: concetto base di data mining, definizione di dataset e attributi, tipi di dati, analisi multivariata, descrizione statistica dei dataset, case study, metriche teoriche delle informazioni in attività di data mining, preparazione dei dati, pulizia dei dati, discretizzazione degli attributi, riduzione della dimensionalità, regole di associazione (unidimensionale e multidimensionale), algoritmi di classificazione (ID3, C4.5, Bayes), alberi di classificazione, rilevamento di anomalie, clustering, addestramento e test di algoritmi, visualizzazione dei dati.

Esperimenti informatici: introduzione a Matlab/Python, applicazioni della teoria dell'informazione ai sistemi di comunicazione, applicazioni di algoritmi di data mining.