A000345 - INFORMATION THEORY

insegnamento
Tipo Insegnamento:
Ins. uff. con erogazioni e cop.
Durata (ore):
60
CFU:
6
SSD:
TELECOMUNICAZIONI
Sede:
BRESCIA
Url:
COMMUNICATION TECHNOLOGIES AND MULTIMEDIA - TECNOLOGIE DELLE COMUNICAZIONI E MULTIMEDIA/PERCORSO COMUNE Anno: 1
Anno:
2025
Course Catalogue:
https://permalink.unibs.it/suacds/afcc/2025?corso=...

Dati Generali

Periodo di attività

Primo Semestre (15/09/2025 - 23/12/2025)

Syllabus

Obiettivi Formativi

Il corso tratta gli aspetti teorici della codifica nei sistemi di comunicazione delle informazioni. In particolare, vengono studiati limiti teorici raggiungibili dai sistemi di codifica di sorgente, che permettono una rappresentazione compatta dell'informazione, e dai sistemi di codifica di canale, che permettono la trasmissione affidabile dell'informazione attraverso canali rumorosi.

Prerequisiti

Principi di base della teoria della probabilità.

Metodi didattici

Il corso si svolge in aula, alternando ore di lezione ed esercitazione, con esposizione tenuta dal docente alla lavagna. Le spiegazioni ripercorrono in modo autosufficiente i contenuti del libro di testo, integrandoli con approfondimenti.

Verifica Apprendimento

L'esame consta di una prova scritta seguita da una prova orale.
La prova scritta ha una durata tre ore. Comprende domande teoriche ed esercizi.
Non è consentito l'uso di materiale didattico o di formulari durante la prova scritta.
La prova orale è subordinata al superamento della prova scritta e può comprendere sia domande di teoria sia svolgimento di esercizi.

Testi

Libro di testo:
Thomas M. Cover, Joy A. Thomas; Elements of Information Theory; Wiley; 2006

Altri Testi Consigliati:
Robert. G. Gallager; Information Theory and Reliable Communication; Wiley; 1968.
Robert M. Fano; Transmission of Information: A Statistical Theory of Communications; MIT Press; 1961
Andrew J. Viterbi, Jim K. Omura; Principles of Digital Communication and Coding; Dover.

Contenuti

Introduzione.
Modello di un sistema di trasmissione. Principi di codifica e trasmissione dell'informazione.

Sorgenti di Informazione.
Misura dell'informazione associata ad una sorgente e definizione di entropia. Entropia condizionata. Divergenza di Kullback-Leibler tra distribuzioni. Entropia relativa e congiunta, mutua Informazione e loro proprietà. Disuguaglianza del processamento dei dati e disuguaglianza di Fano.

Proprietà di Equipartizione Asintotica (AEP).
Legge dei grandi numeri e AEP. Insieme delle sequenze tipiche. Conseguenza dell'AEP sulla codifica di sorgente.

Tasso Entropico.
Richiamo sui processi stazionari e le catene di Markov. Catene di Markov omogenee aperiodiche e irriducibili. Tasso entropico di una sorgente. Tasso entropico di una catena di Markov e di un processo stazionario.

Codifica di sorgente.
Codici a blocco. Classi di codici: non singolari, univocamente decodificabili e a prefisso. Disuguaglianza di Kraft. Ottimalità dei codici e limiti prestazionali. Codice di Huffman, Shannon, Fano, Shannon-Fano-Elias. Codifica Aritmetica.

Codifica per canali discreti senza memoria.
Canali discreti senza memoria (DMC). Codici per DMC, rate raggiungibili e capacità di canale. Teorema della codifica di Shannon per canali rumorosi. Canali con retroazione, concatenazione serie/parallelo di canali, unione di canali.

Entropia differenziale.
Definizione e proprietà dell'entropia differenziale. Entropia differenziale condizionale e congiunta. Mutua informazione per variabili continue. Entropia di una variabile quantizzata

Canali di trasmissione Gaussiani.
Canali gaussiani a tempo discreto. Canali gaussiani a banda limitata con rumore gaussiano bianco. Canali gaussiani in parallelo.

Rate Distorsion.
Quantizzazione scalare e vettoriale. Distorsione, codici di rate-distortion, funzione di rate distortion R(D). Esempi per sorgenti binarie e gaussiane scalari e vettoriali.

Teorema di separazione di codifica sorgente-canale.

Lingua Insegnamento

Inglese

Corsi