1. Richiami degli elementi matematici per sistemi ad apprendimento automatico o Machine Learning (ML): spazi metrici e prodotto scalare, elementi di programmazione non lineare, riduzione della dimensionalità. 2. Sistemi ad apprendimento automatico a ispirazione biologica e non-biologica - introduzione al corso e alle applicazioni: estrazione delle caratteristiche e riconoscimento dei pattern, clustering, modellazione, filtraggio, previsione; sensori e reti sociali; elaborazione del linguaggio naturale parlato e scritto. 3. Sistemi e algoritmi adattivi - Algoritmi batch vs online. Introduzione ai metodi Least Squares (LS). Derivazione dei minimi quadrati medi (LMS). Regressione lineare e polinomiale: soluzione batch vs LS online. Adaptive Linear Combiner (ALC). ALC esteso (EALC). Applicazioni sulla classificazione e regressione. Interpretazione probabilistica dei metodi LS / LMS. Elaborazione temporale. Filtro adattivo. LM classica vs interpretazione bayesiana. Modelli di apprendimento generativo vs discriminativo. 4. Soluzione ottimale di sistemi di equazioni lineari sovra e sotto determinati. LS: interpretazione geometrica e principio di ortogonalità - Norma Lp e Funzioni di perdita (Loss Functions). La regressione "ridge" e le soluzioni della norma L1-L0. Regressione sub-set. LS con vincoli lineari; Algoritmo Total Least Squares. 5. Filtri adattivo (AF): Teoria del filtro adattivo lineare - Equazioni normali di Wiener-Hopf e Yule-Walker. AF primo e secondo ordine. Performance AF: curva di apprendimento. Algoritmi di regressione sequenziali. LS ricorsivo (RLS). RLS non stazionario. Algoritmo di proiezione affine (APA). Algoritmi proporzionati. Algoritmi del gradiente esponenziati. Estensione di algoritmi multicanale. Blocca e trasforma gli algoritmi del dominio. Blocca algoritmi LMS. Algoritmi del dominio di frequenza: sovrapposizione-FDAF, sovrapposizione FDAF-aggiunta. Trasforma gli algoritmi del dominio. Filtri adattivi multirate e a sottobande. 6. Cervello umano e circuiti intelligenti biologicamente ispirati - Il cervello biologico. Modello di neurone di McCulloch e Pitts. Problema di classificazione Funzioni di attivazione Semplicità locale e complessità globale. Definizione di reti neurali artificiali (ANN). Topologie ANN, paradigmi e regole di apprendimento. Proprietà matematiche di ANN. 7. Reti neurali a più strati - Apprendimento tramite correzione degli errori - Algoritmo di apprendimento multi-strati perceptron (MLP) e back-propagation (BP). Apprendimento in reti neurali ricorrenti: apprendimento ricorrente in tempo reale, propagazione back through attraverso algoritmi temporali e versioni online: backpropagation ricorsivo e backpropagation ricorsivo causale. 8. Reti neurali ricorrenti - Architetture di reti neurali per l'elaborazione dinamica. Reti di memoria a breve termine. Differenziazione automatica per architetture profonde. Metodo grafico del flusso del segnale per il calcolo del gradiente. 9. Metodo del kernel e reti regolarizzate. Collegamenti funzionali e reti basate su kernel. Reti regolarizzate Funzioni di approssimazione e interpolazione. Teoria di regolarizzazione di Tikhonov. Reti di funzioni di base radiale. Apprendimento RBF. Reti autoregolanti. Bias vs varianza dilemma. Supporta algoritmi di definizione e apprendimento della macchina vettoriale (SVM). 10. Reti neurali stocastiche dinamiche: reti Hopfield, macchine Boltzmann, apprendimento competitivo, mappe di caratteristiche autoorganizzate di Kohonen, teoria di risonanza adattativa. 11. Reti neurali profonde (Deep NNs DNNs) - Big data e contesto applicativo di DNN; autoencoder semplici e impilati; metodi di regolarizzazione per il deep learning: penalità delle norme (L2 L1 e KL distance); Deep RNN e applicazioni; reti 2D e 3D convoluzionali; implementazione di algoritmi su larga scala per DNN. 12. Filtro spazio-temporale discreto. Elaborazione di array. Beamforming. Statistica BF ottimale, BF a banda larga. Frost BF. GSC-BF. Stima della stima degli arrivi. 13. Apprendimento non supervisionato basato sulla teoria dell'informazione. Trasformazione di Karuhunen-Loève. Analisi del componente principale. Analisi dei componenti indipendenti. Separazione "alla cieca" di segnali (istantanea / convolutiva). Algoritmi di apprendimento per PCA e ICA. Algoritmi di apprendimento graduale naturale. Infomax.

A. Uncini, “Introduction to Adaptive Algorithms and Machine Learning,” Ed. 2020. A. Uncini, “Mathematical Elements for Machine Learning,” lecture notes, 2020. A. Uncini, “Algoritmi adattivi per l'elaborazione dei segnali,” Esculapio Ed., ISBN: 8874888406, 2015.