L’obiettivo di questa parte è quella di illustrare come gli strumenti matematici messi a disposizione dalla probabilità siano utili per interpretare la moderna società dell’informazione. Ogni Modulo ha una durata di 2 ore e consiste di una parte di lezione e di una parte di programmazione al calcolatore. Come materiale di supporto viene fornita copia elettronica delle slide presentate e dei programmi software svolti come esempi a supporto dell’attività svolta durante gli incontri.
Introduzione al ciclo di seminari. Introduzione alla teoria delle probabilità e all’utilizzo del software di calcolo scientifico Matlab.
I teoremi di Shannon sulla codifica di sorgente e la codifica di canale. Probabilità e Teoria dell’Informazione. Informazione e probabilità degli eventi. Scrittura di semplici programmi per la simulazione di esperimenti casuali (es. lancio di un dado).
L’incertezza come misura dell’Informazione. La misura dell’informazione: definizione di sorpresa ed entropia. La codifica dei messaggi emessi da una sorgente di informazione. Entropia di una sorgente binaria. Scrittura di programmi per la codifica di una sorgente non binaria.
I sistemi di comunicazione e la trasmissione su canali con rumore (disturbi). La ridondanza nell’informazione e la codifica di canale. Esempi di semplici codici (es. codice di parità, codice di Hamming) e scrittura di programmi software in MATLAB per la loro simulazione.