La prima parte del corso dettaglia le seguenti metodologie: Markov Decision Process, Dynamic Programming, Reinforcement Learning (in particolare, TD learning, Sarsa, Q-learning), Machine Learning (k-means, clustering). Oltre l'aspetto teorico, si considera l'utilizzo pratico di tali metodologie per il controllo di reti di comunicazione, di distribuzione di energia e di trasporto. La seconda parte del corso, svolta in costante sinergia con i progetti di ricerca finanziati dall'Unione Europea nell'ambito dei programmi quadro, (i) fornisce una panoramica su attuali problemi di controllo relativi alle reti di comunicazione, di energia e di trasporto, nonché sulle problematiche di sicurezza inerenti le reti suddette, (ii) dettaglia come le metodologie di controllo di cui alla prima parte di corso, nonché altre metodologie di controllo oggetto di corsi precedenti (per esempio, il Model Predictive Control) possono essere utilizzate per risolvere i suddetti problemi. In particolare, per le reti di comunicazione si trattano problemi quali (i) l'identificazione delle risorse (di network, storage e processing) necessarie per fornire garanzie di Quality of Experience (QoE) per i vari servizi, (ii) il progetto degli orchestratori e dei controllori di rete in modo da garantire le risorse suddette nelle reti Future Internet (cloud + 4G/5G) basate sul paradigma SDN/NFV (Software Defined Networking/Network Function Virtualization). Per le reti di trasporto si trattano la problematiche del controllo e ottimizzazione dei viaggi (Smart Routing) utilizzando come input i risultati derivanti da opportune analisi dei dati (Big Data) relativi alla mobilità degli utenti. Per le reti di distribuzione di energia si trattano i problemi di controllo delle "Smart Grids", come ad esempio (i) la gestione automatica della domanda energetica sia per consumatori residenziali, sia per utenti della mobilità elettrica (Smart Charging), (ii) la gestione dello risorse di storage energetico. Inoltre, per le reti e i sistemi suddetti, si trattano le problematiche di sicurezza sia in fase di pianificazione dei sistemi (valutazione e ottimizzazione del livello di sicurezza di un sistema), sia nella fase operativa (progetto di controllori capaci di fornire reazione veloce ai guasti e/o ai disastri e/o agli attacchi cibernetici).

R.S. Sutton and A.G. Barto, “Reinforcement Learning: An Introduction,” MIT Press, 1998. Dispense derivanti dai Deliverables prodotti nell'ambito dei progetti di ricerca della UE. In particolare, per le Reti di Comunicazione: progetti FIWARE/FICORE (UE FP7), T-NOVA (UE FP7) e Platino (PON); per le reti di energia: progetti SMARTV2G2G (UE FP7) e MOBINCITY (UE FP7); per le reti di trasporto: progetto BONVOYAGE (UE FP8); per le problematiche di sicurezza: progetti p/nSHIELD (Artemis) e ATENA (UE FP8).