1. Richiami degli elementi matematici di base: spazi metrici e prodotto scalare, elementi di programmazione non lineare, variabili casuali, concetti di base della teoria della stima, processi stocastici. Riduzione della dimensionalità.

2. Introduzione al corso - Macchine ad apprendimento automatico ispirate alla computazione e alla biologia ì- introduzione alle applicazioni: estrazione delle caratteristiche e riconoscimento dei pattern, clustering, modellazione, filtraggio, previsione; sensori e reti sociali; elaborazione del linguaggio naturale parlato e scritto.

3. Sistemi ed algoritmi adattivi - Algoritmi batch vs online. Introduzione ai metodi Least Squares (LS). Derivazione dei minimi quadrati medi (LMS). Regressione lineare e polinomiale: soluzione batch vs LS online. Adaptive Linear Combiner (ALC). ALC esteso (EALC). Applicazioni sulla classificazione e regressione. Interpretazione probabilistica dei metodi LS / LMS. Elaborazione temporale. Filtro adattivo. LM classica vs interpretazione bayesiana. Scostamento dalla varianza della distorsione. Modelli di apprendimento generativo vs discriminativo.

4. Soluzione ottima di sistemi di equazioni lineari sovra e sotto determinati. LS: interpretazione geometrica e principio di ortogonalità – Norma Lp, Funzioni di perdita. La regressione “ridge” e soluzioni della norma L1-L0. Subset regression. LS con vincoli lineari; Algoritmo Total Least Squares. Teoria del filtro adattivo lineare - Equazioni normali di Wiener-Hopf e Yule-Walker. Discesa gradiente stocastica: algoritmi di primo e secondo ordine. Proprietà di convergenza e valutazioni delle prestazioni stocastiche.

5. Cervello umano e LMs a ispirazione biologicae - Il cervello biologico. Modello di neurone di McCulloch e Pitts. Problema di classificazione Funzioni di attivazione Semplicità locale e complessità globale. Definizione di reti neurali artificiali (ANN). Topologie ANN, paradigmi e regole di apprendimento. Proprietà matematiche di ANN.

6. Reti neurali a più strati - Apprendimento tramite correzione degli errori - Algoritmo di apprendimento multi-strati perceptron (MLP) e back-propagation (BP). Apprendimento in reti neurali ricorrenti: apprendimento ricorrente in tempo reale, propagazione back through attraverso algoritmi temporali e versioni online: backpropagation ricorsivo e backpropagation ricorsivo causale.

7. Reti neurali ricorrenti - Architetture di reti neurali per l'elaborazione dinamica. Reti di memoria a breve termine. Differenziazione automatica per architetture profonde. Metodo basati su grafi per il calcolo del gradiente.

8. Metodi kernels e reti regolarizzate. Collegamenti funzionali e reti basate su kernel. Reti regolarizzate Funzioni di approssimazione e interpolazione. Teoria di regolarizzazione di Tikhonov. Reti di funzioni di base radiale. Apprendimento RBF. Reti autoregolanti. Bias vs varianza dilemma. Supporta algoritmi di definizione e apprendimento della macchina vettoriale (SVM).

9. Reti neurali stocastiche dinamiche: reti Hopfield, macchine Boltzmann, apprendimento competitivo, mappe di caratteristiche autoorganizzate di Kohonen, teoria di risonanza adattativa.

10. Reti neurali profonde: dati di Big Data e contesto applicativo di DNN; autoencoder semplici e impilati; metodi di regolarizzazione per il deep learning: penalità delle norme (L2 L1 e KL distance); Deep RNN e applicazioni; reti 2D e 3D convoluzionali; implementazione di algoritmi su larga scala per DNN.

11. Elementi di soft computing e data mining - Algoritmi di ottimizzazione globale - approccio euristico: ricottura simulata e ricerca tabu; Approccio darwiniano: algoritmi genetici ed evolutivi; algoritmi basati sullo swarm intelligence: ottimizzazione delle colonie di formiche, ottimizzazione dello swarm delle particelle. Introduzione alla logica fuzzy, al set fuzzy e alle operazioni fuzzy set. Rappresentazione della conoscenza simbolica vs. linguistica.

A. Uncini, “Introduction to Adaptive Algorithms and Machine Learning”, free (A4Z), 2018.
A. Uncini, “Mathematical Elements for Machine Learning,” lecture notes free pdf, 2018.
Li Deng and Dong Yu, “Deep Learning Methods and Applications, Foundations and Trends in Signal Processing”, 7:3-4, 2014.
I. Goodfellow, Y. Bengio and A. Courville, “Deep Learning”, An MIT Press book, Dec. 2014