2-INF-150: Strojové učenie / Machine Learning
Fall 2021
Handouts


Contact | Basic information | Homework assigments | Handouts | Previous semesters


This page shows preliminary schedule of classes and servers as a repository of materials relevant to class. The schedule will be update regularly after lectures.

Recommended literature:

In the schedule, we list the chapters most relevant to the material covered in class. Presentation of the material in lectures usually differs from the books. The book chapters should serve mainly as an additional materials for self study.

Additional materials:

Week 20.-24.9.2021
Administratíva. Úvod.
Strojové učenie s učiteľom / regresia. Lineárna regresia. Matematické základy (parciálne derivácie, gradient, maticový počet). Normálne rovnice.
Literature: GBC:2.1-2.4 alebo B:C; GBC:5.1 alebo B:3.1 alebo HTF:3.1-3.2
Slides and notes:Supporting materials:
Administratíva:PDF, 63 Kb ]
video úvod:linka ]
video regresia:linka ]
ALVINN:linka ]

Week 27.9.-1.10.2021
Alternatívne chybové funkcie (L1,Linf). Metódy optimalizácie (gradientová metóda, stochastická gradientová metóda, lineárne/kvadratické programovanie). Generalizovaná lineárna regresia a ďalšie varianty.
Cvičenie 1: collabora/jupyter notebooky, numpy
Literature: GBC:4.3,5.9; B:3.1;
Slides and notes:Supporting materials:
Algebra 101:PDF, 42 Kb ]
video regresia 2:linka ]
Cvičenia 1: numpy:linka ]

Week 4.-8.10.2021

Teória učenia I. Matematický model strojového učenia. Výchylka a rozptyl. Krivky učenia. Regularizácia (ridge, lasso). Holdout testing.
Strojové učenie s učiteľom / klasifikácia. Ako z regresie urobiť klasifikáciu (sigmoidová funkcia, chybové funkcie založené na maximálnej vierohodnosti).
Literature: GBC:3.1-3.3,3.8; GBC:5.2-5.2.2 alebo B:3.2; GBC:5.4
Slides and notes:Supporting materials:
Stredné hodnoty:PDF, 29 Kb ]
video teória 1:linka ]
video logistická regresia:linka ]
Výchylka a rozptyl:PDF, 99 Kb ]

Week 11.-15.10.2021
Logistická regresia. Jednoduché neurónové siete. Spätná propagácia ako gradientová metóda.
Cvičenie 2: regresia
Literature: GBC:5.3 alebo HTF:4.4; GBC:6.1-6.2 alebo B:5.1,5.3 alebo HTF:11-11.4
Slides and notes:Supporting materials:
Cvičenia 2: regresia:linka ]

Week 18.-22.10.2021
Support Vector Machines (SVM). Formulácia ako klasifikátor s najväčším odstupom. Riešenie pomocou kvadratického programovania.
Lagrangeove multiplikátory. Duálna formulácia. Podporné vektory
Literature: B:7.1
Slides and notes:Supporting materials:
Silná dualita:PDF, 30 Kb ]
video svm 1:linka ]
video svm 2:linka ]
Lagrangeova dualita konvexných programov:PDF, 486 Kb ]

Week 25.-29.10.2021
Kernelový trik. Dizajn kernelových funkcií (Mercerova veta, uzáverové vlastnosti). Nekonzistentné diskriminanty. Voľnostné premenné (slack variables).
Cvičenie 3: neurónové siete
Literature: GBC:5.7.2 alebo B:6.1-6.2

Week 1.-5.11.2021
Rozhodovacie stromy, algoritmus ID3. Bagging a boosting.
Teória učenia II. PAC učenie. Odhady pre konečné množiny hypotéz.

Literature: HTF:9.2; HTF:8.7; B:14.2-14.3

Week 8.-12.11.2021
Nekonečné množiny hypotéz. Príklad: obdĺžníková hra.
Cvičenie 4: SVM a náhodné lesy

Week 15.-19.11.2021
Vapnik-Červonenkisova (VC) dimenzia. PAC odhady pomovou VC dimenzie. Odhadz pre SVM.
Strojové učenie bez učiteľa. Zhlukovanie (k-means a k-medoids). Hierarchické zhlukovanie.
Literature: HTF:14.3 alebo B:9.1

Week 22.-26.11.2021
Redukcia dimenzionality. Analýza hlavných komponentov (PCA).
Nelineárne metódy (kernel PCA, t-SNE)
Literature: HTF:14.5.1 alebo B:12.1; HTF:14.5.4 alebo B:12.3; HTF:14.8

Week 29.11.-3.12.2021
Best practices v strojovom učení
Cvičenie 5: PCA

Week 6.-10.12.2021
On-line učenie (halving algorithm, váhovaná väčšina, horné ohraničenia počtu chýb).
Učenie odmenou a trestom. Markovovské rozhodovacie procesy. Value iteration. Markovovské rozhodovacie procesy so spojitými stavmi. Fitted value iteration.

Week 13.-17.12.2021
Zhrnutie semestra. Cvičenie 6


Maintained by 2-INF-150 personnel