| 2-INF-150: Strojové učenie / Machine Learning Fall 2021 Handouts |
Contact | Basic information | Homework assigments | Skúšky | Handouts | Previous semesters
This page shows preliminary schedule of classes and servers as a repository of materials relevant to class. The schedule will be update regularly after lectures.
Recommended literature:
In the schedule, we list the chapters most relevant to the material covered in class. Presentation of the material in lectures usually differs from the books. The book chapters should serve mainly as an additional materials for self study.
Additional materials:
| Week 20.-24.9.2021 | |
|
Administratíva. Úvod. Strojové učenie s učiteľom / regresia. Lineárna regresia. Matematické základy (parciálne derivácie, gradient, maticový počet). Normálne rovnice. Literature: GBC:2.1-2.4 alebo B:C; GBC:5.1 alebo B:3.1 alebo HTF:3.1-3.2 |
|
| Slides and notes: | Supporting materials: |
|---|---|
|
Administratíva: [ PDF, 63 Kb ] video úvod: [ linka ] video regresia: [ linka ] |
ALVINN: [ linka ] |
| Week 27.9.-1.10.2021 | |
|
Alternatívne chybové funkcie (L1,Linf). Metódy optimalizácie (gradientová metóda, stochastická
gradientová metóda, lineárne/kvadratické programovanie). Generalizovaná lineárna regresia a ďalšie varianty. Cvičenie 1: collabora/jupyter notebooky, numpy Literature: GBC:4.3,5.9; B:3.1; |
|
| Slides and notes: | Supporting materials: |
|---|---|
|
Algebra 101: [ PDF, 42 Kb ] video regresia 2: [ linka ] Cvičenia 1: numpy: [ linka ] |
|
| Week 4.-8.10.2021 | |
|
Teória učenia I. Matematický model strojového učenia. Výchylka a rozptyl. Krivky učenia. Regularizácia (ridge, lasso). Holdout testing. Strojové učenie s učiteľom / klasifikácia. Ako z regresie urobiť klasifikáciu (sigmoidová funkcia, chybové funkcie založené na maximálnej vierohodnosti). Literature: GBC:3.1-3.3,3.8; GBC:5.2-5.2.2 alebo B:3.2; GBC:5.4 |
|
| Slides and notes: | Supporting materials: |
|---|---|
|
Stredné hodnoty: [ PDF, 29 Kb ] video teória 1: [ linka ] video teória 2: [ linka ] Výchylka a rozptyl: [ PDF, 99 Kb ] |
|
| Week 11.-15.10.2021 | |
|
Logistická regresia. Jednoduché neurónové siete. Spätná propagácia ako gradientová metóda. Cvičenie 2: regresia Literature: GBC:5.3 alebo HTF:4.4; GBC:6.1-6.2 alebo B:5.1,5.3 alebo HTF:11-11.4 |
|
| Slides and notes: | Supporting materials: |
|---|---|
|
video logistická regresia, neurónové siete: [ linka ] Cvičenia 2: regresia: [ linka ] |
|
| Week 18.-22.10.2021 | |
|
Support Vector Machines (SVM). Formulácia ako klasifikátor s najväčším odstupom. Riešenie pomocou kvadratického programovania. Lagrangeove multiplikátory. Duálna formulácia. Podporné vektory Literature: B:7.1 |
|
| Slides and notes: | Supporting materials: |
|---|---|
|
Silná dualita: [ PDF, 30 Kb ] video svm 1: [ linka ] video svm 2: [ linka ] |
Lagrangeova dualita konvexných programov: [ PDF, 486 Kb ] |
| Week 25.-29.10.2021 | |
|
Kernelový trik.
Dizajn kernelových funkcií (Mercerova veta, uzáverové vlastnosti).
Nekonzistentné diskriminanty. Voľnostné premenné (slack variables). Cvičenie 3: neurónové siete Literature: GBC:5.7.2 alebo B:6.1-6.2 |
|
| Slides and notes: | Supporting materials: |
|---|---|
|
video kernelový trik: [ linka ] Cvičenia: Úvod do konvolučných neurónových sietí: [ PDF, 11139 Kb ] Cvičenia 3: neurónové siete: [ linka ] |
Support Vector Machines and Kernels for Computational Biology (tutorial): [ linka ] |
| Week 1.-5.11.2021 | |
|
Rozhodovacie stromy, algoritmus ID3. Bagging a boosting. Teória učenia II. PAC učenie. Odhady pre konečné množiny hypotéz. Literature: HTF:9.2; HTF:8.7; B:14.2-14.3 |
|
| Slides and notes: | Supporting materials: |
|---|---|
|
video rozhodovacie stromy: [ linka ] video pac učenie 1: [ linka ] |
Náhodné lesy: [ linka ] |
| Week 8.-12.11.2021 | |
|
Nekonečné množiny hypotéz. Príklad: obdĺžníková hra. Vapnik-Červonenkisova (VC) dimenzia. Cvičenie 4: SVM a náhodné lesy |
|
| Slides and notes: | Supporting materials: |
|---|---|
|
video pac učenie 2: [ linka ] Cvičenia 4: SVM, náhodné lesy: [ linka ] |
PAC - konečné hypotézy: [ PDF, 243 Kb ] |
| Week 15.-19.11.2021 | |
|
Samoštúdium (video). PAC odhady pomovou VC dimenzie. Odhady pre SVM. |
|
| Slides and notes: | Supporting materials: |
|---|---|
|
video pac učenie 3 / učenie bez učiteľa: [ linka ] |
obdĺžniky s osovorovnobežnými stranami / Andres Munoz, NY Univ: [ PDF, 97 Kb ] VC dimenzia - definícia a riešené príklady / Yishai Mansour, U Tel Aviv: [ PDF, 109 Kb ] VC dimenzia - PAC ohraničenie / Yishai Mansour, U Tel Aviv: [ PDF, 173 Kb ] PAC ohraničenie pre SVM: [ PDF, 295 Kb ] |
| Week 22.-26.11.2021 | |
|
Strojové učenie bez učiteľa. Zhlukovanie (k-means a k-medoids). Hierarchické zhlukovanie.
Redukcia dimenzionality. Analýza hlavných komponentov (PCA). Nelineárne metódy (kernel PCA, t-SNE) Literature: HTF:14.3 alebo B:9.1; HTF:14.5.1 alebo B:12.1; HTF:14.5.4 alebo B:12.3; HTF:14.8 |
|
| Slides and notes: | Supporting materials: |
|---|---|
|
zhlukovanie: [ PDF, 185 Kb ] video pca: [ linka ] video nelineárna redukcia dimenzionality: [ linka ] PCA: [ PDF, 567 Kb ] |
|
| Week 29.11.-3.12.2021 | |
|
Best practices v strojovom učení Cvičenie 5: PCA |
|
| Slides and notes: | Supporting materials: |
|---|---|
|
video best practices: [ linka ] Cvičenia 5: PCA: [ linka ] |
|
| Week 6.-10.12.2021 | |
|
On-line učenie (halving algorithm, váhovaná
väčšina, horné ohraničenia počtu chýb). Učenie odmenou a trestom. Markovovské rozhodovacie procesy. Value iteration. |
|
| Slides and notes: | Supporting materials: |
|---|---|
|
video on-line learning: [ linka ] video reinforcement 1: [ linka ] MDP definície: [ PDF, 22 Kb ] |
|
| Week 13.-17.12.2021 | |
|
Markovovské rozhodovacie procesy so spojitými stavmi. Fitted value iteration. Zhrnutie semestra. |
|
| Slides and notes: | Supporting materials: |
|---|---|
|
video reinforcement 2: [ linka ] Zhrnutie semestra: [ PDF, 771 Kb ] |
Video (Andrew Ng, Stanford): [ linka ] |