Zima 2024 / Fall 2024
Handouts
| 2-INF-150: Strojové učenie / Machine Learning Zima 2024 / Fall 2024 Handouts |
|
Contact | Basic information | Homeworks | Exams | Handouts | Previous semesters
|
This page shows preliminary schedule of classes and servers as a repository
of materials relevant to class. The schedule will be update regularly
after lectures.
| ||
| Recommended literature | ||
|---|---|---|
|
In the schedule, we list the chapters most relevant to the material covered
in class. Presentation of the material in lectures usually differs from the
books. The book chapters should serve mainly as an additional materials for
self study. | ||
| ||
| Additional materials | ||
|
| Týždeň 23.09.2024-27.09.2024 | |
|
Administratíva. Úvod. Cvičenie 1: collabora/jupyter notebooky, numpy |
|
| Slajdy: | Poznámky a ďalšie materiály: |
|---|---|
|
Administratíva: [ PDF, 392 Kb ] video úvod (draft): [ linka ] Cvičenia 1: numpy: [ linka ] |
ALVINN: [ linka ] |
| Týždeň 30.09.2024-04.10.2024 | |
|
Strojové učenie s učiteľom / regresia.
Lineárna regresia. Matematické základy (parciálne derivácie, gradient, maticový počet). Normálne rovnice.
Alternatívne chybové funkcie (L1,Linf). Metódy optimalizácie (gradientová metóda, stochastická
gradientová metóda, lineárne/kvadratické programovanie). Generalizovaná lineárna regresia a ďalšie varianty. Literatúra: GBC:2.1-2.4 alebo B:C; GBC:5.1 alebo B:3.1 alebo HTF:3.1-3.2; GBC:4.3,5.9; B:3.1 |
|
| Slajdy: | Poznámky a ďalšie materiály: |
|---|---|
|
Algebra 101: [ PDF, 42 Kb ] video regresia 1: [ linka ] video regresia 2: [ linka ] |
|
| Týždeň 07.10.2024-11.10.2024 | |
|
Strojové učenie s učiteľom / klasifikácia. Ako z regresie urobiť klasifikáciu (sigmoidová funkcia, chybové funkcie založené na maximálnej vierohodnosti).
Logistická regresia. Jednoduché neurónové siete. Cvičenie 2: regresia Literatúra: GBC:5.3 alebo HTF:4.4; GBC:6.1-6.2 alebo B:5.1,5.3 alebo HTF:11-11.4 |
|
| Slajdy: | Poznámky a ďalšie materiály: |
|---|---|
|
video logistická regresia, neurónové siete: [ linka ] Cvičenia 2: regresia: [ linka ] |
|
| Týždeň 14.10.2024-18.10.2024 | |
|
Jednoduché neurónové siete (pokr.) Spätná propagácia ako gradientová metóda. Teória učenia I. Matematický model strojového učenia. Výchylka a rozptyl. Krivky učenia. Literatúra: GBC:3.1-3.3,3.8; GBC:5.2-5.2.2 alebo B:3.2; GBC:5.4 |
|
| Slajdy: | Poznámky a ďalšie materiály: |
|---|---|
|
Stredné hodnoty (slajdy): [ PDF, 29 Kb ] Výchylka a rozptyl (text): [ PDF, 99 Kb ] video teória 1: [ linka ] |
Teória strojového učenia (poznámky): [ PDF, 362 Kb ] |
| Týždeň 21.10.2024-25.10.2024 | |
|
Teória I. (pokr.).
Regularizácia (ridge, lasso). Holdout testing. Support Vector Machines (SVM). Formulácia ako klasifikátor s najväčším odstupom. Cvičenie 3: neurónové siete Literatúra: B:7.1 |
|
| Slajdy: | Poznámky a ďalšie materiály: |
|---|---|
|
video teória 2: [ linka ] video svm 1: [ linka ] Cvičenia 3: neurónové siete: [ linka ] Cvičenia: Úvod do konvolučných neurónových sietí: pozri neskôr |
|
| Týždeň 28.10.2024-01.11.2024 | |
|
Support vector machines (pokr).
Riešenie pomocou kvadratického programovania.
Lagrangeove multiplikátory. Duálna formulácia. Podporné vektory Kernelový trik. Dizajn kernelových funkcií, uzáverové vlastnosti. Nekonzistentné diskriminanty. Voľnostné premenné (slack variables). Literatúra: GBC:5.7.2 alebo B:6.1-6.2 |
|
| Slajdy: | Poznámky a ďalšie materiály: |
|---|---|
|
Silná dualita: [ PDF, 30 Kb ] video svm 2 (draft): [ linka ] video kernelový trik (draft): [ linka ] |
Lagrangeova dualita konvexných programov: [ PDF, 486 Kb ] Support Vector Machines and Kernels for Computational Biology (tutorial): [ linka ] |
| Týždeň 04.11.2024-08.11.2024 | |
|
Rozhodovacie stromy, algoritmus ID3. Bagging a boosting. Cvičenie 4: SVM a náhodné lesy Literatúra: HTF:9.2; HTF:8.7; B:14.2-14.3 |
|
| Slajdy: | Poznámky a ďalšie materiály: |
|---|---|
|
video rozhodovacie stromy (draft): [ linka ] adaboost - príklad: [ PDF, 327 Kb ] Cvičenia 4: SVM, náhodné lesy: [ linka ] |
Náhodné lesy (článok): [ linka ] |
| Týždeň 11.11.2024-15.11.2024 | |
|
Teória učenia II.
PAC učenie. Odhady pre konečné množiny hypotéz.
Nekonečné množiny hypotéz. Príklad: obdĺžníková hra. Vapnik-Červonenkisova (VC) dimenzia. výučba v stredu 13.11.2024 odpadne |
| Týždeň 18.11.2024-22.11.2024 | |
|
PAC odhady pomocou VC dimenzie. Odhady pre SVM. Strojové učenie bez učiteľa. Zhlukovanie (k-means a k-medoids). Hierarchické zhlukovanie. Redukcia dimenzionality. Analýza hlavných komponentov (PCA). |
| Týždeň 25.11.2024-29.11.2024 | |
|
Nelineárne metódy (kernel PCA, t-SNE). Cvičenie 5: PCA Literatúra: HTF:14.3 alebo B:9.1; HTF:14.5.1 alebo B:12.1; HTF:14.5.4 alebo B:12.3; HTF:14.8 |
| Týždeň 02.12.2024-06.12.2024 | |
|
Učenie odmenou a trestom. Markovovské rozhodovacie procesy.
Value iteration. Markovovské rozhodovacie procesy so spojitými stavmi. Fitted value iteration. |
| Týždeň 09.12.2024-13.12.2024 | |
| Best practices v strojovom učení. |
| Týždeň 16.12.2024-20.12.2024 | |
|
On-line učenie (halving algorithm, váhovaná
väčšina, horné ohraničenia počtu chýb). Zhrnutie semestra. |