Presentazione

Organizzazione della Didattica

DM270
PHYSICS OF DATA ORD. 2018

Machine learning

6

Corsi comuni

 

Frontali Esercizi Laboratorio Studio Individuale
ORE: 48 0 0 85

Periodo

AnnoPeriodo
I anno1 semestre

Frequenza

Facoltativa

Erogazione

Convenzionale

Lingua

Inglese

Calendario Attività Didattiche

InizioFine
01/10/201818/01/2019

Tipologia

TipologiaAmbitoSSDCFU
affine/integrativo Nessun ambitoING-INF/056


Responsabile Insegnamento

ResponsabileSSDStruttura
N.D.

Altri Docenti

Non previsti

Attività di Supporto alla Didattica

Non previste

Bollettino

Conoscenze di Base di Analisi Matematica, Probabilità, Statistica, Algebra Lineare, Algoritmi e elementi di base di Programmazione.

Lo scopo del corso è di fornire i principi fondamentali del problema di apprendimento e di introdurre i principali algoritmi per la regressione e la classificazione. Il corso includerà esercitazioni al calcolatore. Alla fine del corso lo studente avrà le seguenti conoscenze ed abilità: 1. Conoscerà i principi fondamentali e le principali metodologie dell'apprendimento automatico. 2. Sarà in grado di affrontare problemi di apprendimento supervisionato e non supervisionato. 3. Saprà applicare queste metodologie a diversi scenari e problemi. 4. Sarà in grado di selezionare la metodologia più adatta alla soluzione di uno specifico problema di apprendimento sulla base delle caratteristiche del problema e dei dati a disposizione. 5. Avrà le competenze per utilizzare e adattare sistemi software in grado di risolvere i problemi considerati. 6. Se possibile saranno fornite anche competenze relative ad argomenti più avanzati come sparsità, boosting e deep learning.

Lezioni teoriche con utilizzo sia di lucidi che della lavagna. Esercitazioni in aula con coinvolgimento degli studenti. Esercitazioni al calcolatore (in laboratorio), anche con l’utilizzo di casi di studio.

Motivazioni, componenti del problema di apprendimento e applicazioni dell'apprendimento automatico. Apprendimento supervisionato e non supervisionato. Parte I: Apprendimento supervisionato. 1. Introduzione: Dati, classi di modelli, funzioni di costo. 2. Modelli probabilistici e ipotesi sui dati. Funzione di regressione. Regressione e Classificazione. 3. Bonta' di un modello, complessità, compromesso tra distorsione e varianza (dimensione di Vapnik-Chervonenkis, errore di generalizzazione). 4. Modelli per la regressione: regressione lineare (scalare e multivariata), selezione di variabili, modelli lineari nei parametri, regolarizzazione. 5. Classi di modelli non lineari: Sigmoidi, Reti Neurali. 6. Metodi "Kernel'': Support Vectors Machines. 7. Metodi per la classificazione: Regressione Logistica, Reti Neurali, Perceptron, Classificatore di Bayes, SVM, Deep Learning. 8. Validazione e selezione dei modelli: errore di generalizzazione, compromesso tra distorsione e varianza, cross validation. Determinazione della complessità del modello. Parte II: Apprendimento non supervisionato 1. Analisi di clusters: K-means, misture di Gaussiane e stima EM. 2. Riduzione della dimensionalita’: analisi delle componenti principali (PCA).

La valutazione delle conoscenze e delle abilità acquisite viene effettuata mediante due contributi: 1. Una prova scritta a libro chiuso in cui lo studente deve risolvere dei problemi, al fine di verificare l'acquisizione dei principali ingredienti e strumenti del problema di apprendimento, la capacità analitica nel loro utilizzo e la capacita di interpretare i risultati tipici in un problema pratico di apprendimento. 2. Esercitazioni al calcolatore (facoltative) rivolte all’acquisizione delle competenze, anche pratiche, per l’utilizzo degli strumenti di machine learning. Queste esercitazioni, da svolgere a casa, consentono di verificare la capacità di mettere in pratica i concetti teorici acquisiti. Lo studente deve produrre una breve relazione che descriva le metodologie utilizzate per risolvere il progetto assegnato assieme ai risultati ottenuti. Il voto finale sarà basato sulla prova scritta con un bonus fino ad un massimo di 3 punti per gli studenti che svolgeranno le esercitazioni di laboratorio.

La valutazione con cui verrà effettuata la verifica delle conoscenze e delle abilità acquisite considera: 1. La completezza delle conoscenze acquisite per quanto riguarda gli strumenti per la predizione (regressione e classificazione). 2. La capacità di risolvere un problema di apprendimento attraverso le tecniche proposte 3. La proprietà nella terminologia tecnica usata, sia scritta che orale 4. L’originalità e indipendenza nella identificazione delle metodologie più adatte a risolvere uno specifico problema di apprendimento. 5. La capacità di interpretare i risultati in un problema pratico di apprendimento 6. Abilità nell'utilizzo degli strumenti informatici per l’apprendimento automatico 7. L’abilità analitica e pratica nell'uso di questi strumenti per la soluzione di semplici problemi.

Shalev-Shwartz, Shai; Ben-David, Shai, Understanding machine learning: From theory to algorithms. Cambridge: Cambridge University Press, 2014 C. M. Bishop, Pattern Recognition and Machine Learning. : Springer, 2006 Hastie, Trevor J.; Tibshirani, Robert, The elements of statistical learning, data mining, inference, and prediction. New York: Springer, 2009 Murphy, Kevin P., Machine Learninga probabilistic perspective. Cambridge: Mit press, 2012

Il corso sarà basato sui libri di testo: “Understanding Machine Learning: from Theory to Algorithms", "Machine Learning, a probabilistic perspective", "Pattern Recognition and Machine Learning", e "The Elements of Statistical Learning" (vedi Sezione "Testi di Riferimento"). Tutto il materiale didattico presentato durante le ore di lezione frontale, altro materiale aggiuntivo e informazioni dettagliate sulle modalità d'esame saranno resi disponibili sulla piattaforma elearning ( http://elearning.dei.unipd.it ).