Zima 2024 / Fall 2024
Handouts
| 2-INF-150: Strojové učenie / Machine Learning Zima 2024 / Fall 2024 Handouts |
|
Contact | Basic information | Homeworks | Exams | Handouts | Previous semesters
|
This page shows preliminary schedule of classes and servers as a repository
of materials relevant to class. The schedule will be update regularly
after lectures.
| ||
| Recommended literature | ||
|---|---|---|
|
In the schedule, we list the chapters most relevant to the material covered
in class. Presentation of the material in lectures usually differs from the
books. The book chapters should serve mainly as an additional materials for
self study. | ||
| ||
| Additional materials | ||
|
| Týždeň 23.09.2024-27.09.2024 | |
|
Administratíva. Úvod. Cvičenie 1: collabora/jupyter notebooky, numpy |
|
| Slajdy: | Poznámky a ďalšie materiály: |
|---|---|
|
Administratíva: [ PDF, 392 Kb ] video úvod (draft): [ linka ] Cvičenia 1: numpy: [ linka ] |
ALVINN: [ linka ] |
| Týždeň 30.09.2024-04.10.2024 | |
|
Strojové učenie s učiteľom / regresia.
Lineárna regresia. Matematické základy (parciálne derivácie, gradient, maticový počet). Normálne rovnice.
Alternatívne chybové funkcie (L1,Linf). Metódy optimalizácie (gradientová metóda, stochastická
gradientová metóda, lineárne/kvadratické programovanie). Generalizovaná lineárna regresia a ďalšie varianty. Literatúra: GBC:2.1-2.4 alebo B:C; GBC:5.1 alebo B:3.1 alebo HTF:3.1-3.2; GBC:4.3,5.9; B:3.1 |
|
| Slajdy: | Poznámky a ďalšie materiály: |
|---|---|
|
Algebra 101: [ PDF, 42 Kb ] video regresia 1: [ linka ] video regresia 2: [ linka ] |
|
| Týždeň 07.10.2024-11.10.2024 | |
|
Strojové učenie s učiteľom / klasifikácia. Ako z regresie urobiť klasifikáciu (sigmoidová funkcia, chybové funkcie založené na maximálnej vierohodnosti).
Logistická regresia. Jednoduché neurónové siete. Cvičenie 2: regresia Literatúra: GBC:5.3 alebo HTF:4.4; GBC:6.1-6.2 alebo B:5.1,5.3 alebo HTF:11-11.4 |
|
| Slajdy: | Poznámky a ďalšie materiály: |
|---|---|
|
video logistická regresia, neurónové siete: [ linka ] Cvičenia 2: regresia: [ linka ] |
|
| Týždeň 14.10.2024-18.10.2024 | |
|
Jednoduché neurónové siete (pokr.) Spätná propagácia ako gradientová metóda. Teória učenia I. Matematický model strojového učenia. Výchylka a rozptyl. Krivky učenia. Literatúra: GBC:3.1-3.3,3.8; GBC:5.2-5.2.2 alebo B:3.2; GBC:5.4 |
|
| Slajdy: | Poznámky a ďalšie materiály: |
|---|---|
|
Stredné hodnoty (slajdy): [ PDF, 29 Kb ] Výchylka a rozptyl (text): [ PDF, 99 Kb ] video teória 1: [ linka ] |
Teória strojového učenia (poznámky): [ PDF, 362 Kb ] |
| Týždeň 21.10.2024-25.10.2024 | |
|
Teória I. (pokr.).
Regularizácia (ridge, lasso). Holdout testing. Support Vector Machines (SVM). Formulácia ako klasifikátor s najväčším odstupom. Cvičenie 3: neurónové siete Literatúra: B:7.1 |
|
| Slajdy: | Poznámky a ďalšie materiály: |
|---|---|
|
video teória 2: [ linka ] video svm 1: [ linka ] Cvičenia 3: neurónové siete: [ linka ] Cvičenia: Úvod do konvolučných neurónových sietí: [ PDF, 11139 Kb ] |
|
| Týždeň 28.10.2024-01.11.2024 | |
|
Support vector machines (pokr).
Riešenie pomocou kvadratického programovania.
Lagrangeove multiplikátory. Duálna formulácia. Podporné vektory Kernelový trik. Dizajn kernelových funkcií, uzáverové vlastnosti. Nekonzistentné diskriminanty. Voľnostné premenné (slack variables). Literatúra: GBC:5.7.2 alebo B:6.1-6.2 |
|
| Slajdy: | Poznámky a ďalšie materiály: |
|---|---|
|
Silná dualita: [ PDF, 30 Kb ] video svm 2 (draft): [ linka ] video kernelový trik (draft): [ linka ] |
Lagrangeova dualita konvexných programov: [ PDF, 486 Kb ] Support Vector Machines and Kernels for Computational Biology (tutorial): [ linka ] |
| Týždeň 04.11.2024-08.11.2024 | |
|
Rozhodovacie stromy, algoritmus ID3. Bagging a boosting. Cvičenie 4: SVM a náhodné lesy Literatúra: HTF:9.2; HTF:8.7; B:14.2-14.3 |
|
| Slajdy: | Poznámky a ďalšie materiály: |
|---|---|
|
video rozhodovacie stromy (draft): [ linka ] adaboost - príklad: [ PDF, 327 Kb ] Cvičenia 4: SVM, náhodné lesy: [ linka ] |
Náhodné lesy (článok): [ linka ] |
| Týždeň 11.11.2024-15.11.2024 | |
|
Strojové učenie bez učiteľa. Redukcia dimenzionality. Analýza hlavných komponentov (PCA). výučba v stredu 13.11.2024 odpadne Literatúra: HTF:14.5.1 alebo B:12.1 |
|
| Slajdy: | Poznámky a ďalšie materiály: |
|---|---|
|
pca (slajdy): [ PDF, 1444 Kb ] video pca (draft): [ linka ] |
|
| Týždeň 18.11.2024-22.11.2024 | |
|
Nelineárne metódy (kernel PCA, t-SNE). Samoštúdium: Zhlukovanie (k-means a k-medoids). Hierarchické zhlukovanie. Teória učenia II. PAC učenie. Odhady pre konečné množiny hypotéz. Obdĺžníková hra. Literatúra: HTF:14.5.4 alebo B:12.3; HTF:14.8; HTF:14.3 alebo B:9.1 |
|
| Slajdy: | Poznámky a ďalšie materiály: |
|---|---|
|
video nelineárna redukcia dimenzionality (draft): [ linka ] video zhlukovanie: [ linka ] video pac učenie 1 (draft): [ linka ] video pac učenie 2 (draft): [ linka ] |
PAC - konečné hypotézy: [ PDF, 243 Kb ] obdĺžniky s osovorovnobežnými stranami / Andres Munoz, NY Univ: [ PDF, 97 Kb ] |
| Týždeň 25.11.2024-29.11.2024 | |
|
Vapnik-Červonenkisova (VC) dimenzia. PAC odhady pomocou VC dimenzie.
Odhady pre SVM. Cvičenie 5: PCA |
| Týždeň 02.12.2024-06.12.2024 | |
|
Učenie odmenou a trestom. Markovovské rozhodovacie procesy.
Value iteration. Markovovské rozhodovacie procesy so spojitými stavmi. Fitted value iteration. |
| Týždeň 09.12.2024-13.12.2024 | |
| Best practices v strojovom učení. |
| Týždeň 16.12.2024-20.12.2024 | |
|
On-line učenie (halving algorithm, váhovaná
väčšina, horné ohraničenia počtu chýb). Zhrnutie semestra. |