Matematica
Cod 198373
- Laurea magistrale
- 2 anni
- 120 CFU
- LM-40 R
INF/01
IN420 - Teoria dell’Informazione
Codice: 20410442
Scheda insegnamento
- Anno Accademico di erogazione
- 2026/2027
- Corso di studi
- Matematica
- Periodo di erogazione
- Secondo semestre
- CFU
- 9 CFU
- Lingua
- Italiano
- SSD
- INF/01
Scopri il programma didattico
Programma, testi adottati e modalità d’esame sono quelli pubblicati dai docenti per l’anno accademico 2026/2027. L’insegnamento è diviso in canali: ogni canale ha il suo programma.
- Docente
- Vincenzo Bonifaci
- Curriculum
- Teorico-didattico
- Anno di corso
- 3
- Periodo
- Secondo semestre
- Ore
- 72
- CUIN
- 260000954
Programma
1. Introduzione alla teoria dell'informazione
Trasmissione affidabile dell'informazione. Contenuto informativo secondo Shannon. Misure di informazione. Entropia, mutua informazione, divergenza informazionale. Compressione dati. Correzione d'errore. Teoremi di elaborazione dei dati. Disuguaglianze fondamentali. Diagrammi d'informazione. Divergenza informazionale e massima verosimiglianza.
2. Codifica di sorgente e compressione dati
Sequenze tipiche. Tipicità in probabilità. Proprietà di equipartizione asintotica. Codifica a blocco e a lunghezza variabile. Tasso di codifica. Teorema della codifica di sorgente. Compressione dati senza perdita. Codice di Huffman. Codici universali. Compressione Ziv-Lempel.
3. Codifica di canale
Capacità di canale. Canali discreti senza memoria. Informazione trasportata da un canale. Criteri di decodifica. Teorema della codifica di canale con rumore.
4. Ulteriori codici ed applicazioni
Spazio di Hamming. Codici lineari. Matrice generatrice e matrice di controllo. Codici ciclici. Codici hash.
Prerequisiti
Elementi di probabilità discreta. [CP210 Introduzione alla Probabilità]
Testi adottati
F. Fabris. Teoria dell'informazione, codici, cifrari. Bollati Boringhieri, 2001.
- Francesco Fabris, Teoria dell'informazione, codici, cifrari, Bollati Boringhieri, 2001, ISBN 978-8833956619
Bibliografia di riferimento
T.M. Cover, J.A. Thomas. Elements of Information Theory. Wiley, 1991.
V. Guruswamy, A. Rudra, M. Sudan. Essential Coding Theory. Bozza disponibile online, 2019.
R.E. Blahut. Algebraic Codes for Data Transmission. Cambridge University Press, 2003.
D.J.C. MacKay. Information Theory, Inference and Learning Algorithms. Cambridge University Press, 2004.
Modalità di erogazione
Lezioni frontali con esercitazioni frontali.
Modalità di frequenza
La frequenza è consigliata ma non obbligatoria.
Modalità di valutazione
Esame orale.
Prove previste
- Prova orale
- Docente
- Vincenzo Bonifaci
- Curriculum
- Modellistico-applicativo
- Anno di corso
- 3
- Periodo
- Secondo semestre
- Ore
- 72
- CUIN
- 260000955
Programma
1. Introduzione alla teoria dell'informazione
Trasmissione affidabile dell'informazione. Contenuto informativo secondo Shannon. Misure di informazione. Entropia, mutua informazione, divergenza informazionale. Compressione dati. Correzione d'errore. Teoremi di elaborazione dei dati. Disuguaglianze fondamentali. Diagrammi d'informazione. Divergenza informazionale e massima verosimiglianza.
2. Codifica di sorgente e compressione dati
Sequenze tipiche. Tipicità in probabilità. Proprietà di equipartizione asintotica. Codifica a blocco e a lunghezza variabile. Tasso di codifica. Teorema della codifica di sorgente. Compressione dati senza perdita. Codice di Huffman. Codici universali. Compressione Ziv-Lempel.
3. Codifica di canale
Capacità di canale. Canali discreti senza memoria. Informazione trasportata da un canale. Criteri di decodifica. Teorema della codifica di canale con rumore.
4. Ulteriori codici ed applicazioni
Spazio di Hamming. Codici lineari. Matrice generatrice e matrice di controllo. Codici ciclici. Codici hash.
Prerequisiti
Elementi di probabilità discreta. [CP210 Introduzione alla Probabilità]
Testi adottati
F. Fabris. Teoria dell'informazione, codici, cifrari. Bollati Boringhieri, 2001.
- Francesco Fabris, Teoria dell'informazione, codici, cifrari, Bollati Boringhieri, 2001, ISBN 978-8833956619
Bibliografia di riferimento
T.M. Cover, J.A. Thomas. Elements of Information Theory. Wiley, 1991.
V. Guruswamy, A. Rudra, M. Sudan. Essential Coding Theory. Bozza disponibile online, 2019.
R.E. Blahut. Algebraic Codes for Data Transmission. Cambridge University Press, 2003.
D.J.C. MacKay. Information Theory, Inference and Learning Algorithms. Cambridge University Press, 2004.
Modalità di erogazione
Lezioni frontali con esercitazioni frontali.
Modalità di frequenza
La frequenza è consigliata ma non obbligatoria.
Modalità di valutazione
Esame orale.
Prove previste
- Prova orale
Esplora gli obiettivi dell’insegnamento
Ambito disciplinare: Attività formative affini o integrative
Introdurre questioni fondamentali della teoria della trasmissione dei segnali e nella loro analisi quantitativa. Concetto di entropia e di mutua informazione. Mostrare la struttura algebrica soggiacente. Applicare i concetti fondamentali alla teoria dei codici, alla compressione dei dati e alla crittografia
Esempi di domande d’esame
Vincenzo Bonifaci
Discutere il principio di equipartizione asintotica.
Discutere la parte diretta del teorema di codifica di sorgente nel caso blocco-blocco.
Discutere la parte inversa del teorema di codifica di canale.
Discutere i codici ciclici e le loro proprietà.
Vincenzo Bonifaci
Discutere il principio di equipartizione asintotica.
Discutere la parte diretta del teorema di codifica di sorgente nel caso blocco-blocco.
Discutere la parte inversa del teorema di codifica di canale.
Discutere i codici ciclici e le loro proprietà.