Zima 2014
Prednášky a poznámky
| 2-INF-150: Strojové učenie Zima 2014 Prednášky a poznámky |
|
Na tejto stránke nájdete orientačný rozvrh semestra. Tento rozvrh bude aktualizovaný vždy po skončení príslušného týždňa prednášok, takisto budú pribúdať ďalšie študijné materiály.
Literatúra:
Ďalšie zdroje informácií:
U prednášok uvádzame zoznam kapitol, ktoré najviac pokrývajú učivo. Prezentácia materiálu v rámci prednášok sa obvykle nezhoduje s prezentáciou v učebniciach. Uvedené kapitoly by mali hlavne slúžiť ako doplňujúci materiál pre samoštúdium.
| Týždeň 22.-26.9.2014 | |
|
Úvod. Administratíva.
Strojové učenie s učiteľom - regresia.
Lineárna regresia s jedným atribútom.
(parciálne derivácie, maticový počet)
Literatúra: B:3.1,C; HTF:2.3; alt. HTF:3.1-3.2 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Administratíva: [ PDF, 44 Kb ] |
|
| Týždeň 29.9.-3.10.2014 | |
|
Normálne rovnice. (Úvod do Octave).
Generalizovaná lineárna regresia. Príklady bázových funkcií
(polynómy, lokálne bázové funkcie). Lokálne váhovaná aproximácia.
Časová zložitosť. Alternatívne chybové funkcie.
(Lineárne programovanie). Literatúra: B:1.1 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Úvod do Octave: [ zip, 15 Kb ] |
|
| Týždeň 6.-10.10.2014 | |
|
Jednoduché neurónové siete (gradientová metódy, spätná propagácia).
Strojové učenie s učiteľom - klasifikácia.
Rozhodovacie stromy, algoritmus ID3, náhodné lesy. Logistická regresia.
Literatúra: B:5.1,5.2.3-5.2.4,5.3.1; HTF:9.2; HTF:4.4; B:14.4 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Náhodné lesy (článok): [ linka ] |
|
| Týždeň 13.-17.10.2014 | |
|
Teória učenia - základy.
Generalizácia. Matematický model strojového učenia.
(Očakávaná)
trénovacia a testovacia chyba. Veta o výchylke a rozptyle
(bias/variance).
Krivky učenia (learning curves). Podučenie a
preučenie (overfitting/underfitting).
Automatizovaný výber modelov (penalizácia zložitosti a regularizácia,
holdout testing).
Literatúra: B:1.5,3.2; alt. HTF:2.9,7.3; HTF:7.8,7.10; B:4.1,7.1,E |
| Týždeň 20.-24.10.2014 | |
|
Strojové učenie s učiteľom - klasifikácia (pokračovanie). Konzistentný diskriminant.
Lineárny program pre hľadanie konzistentného diskriminantu.
Klasifikátor s najväčším odstupom (maximum margin). Kvadratický program.
Literatúra: B:6.1-6.2 |
| Týždeň 27.-31.10.2014 | |
|
SVM (support vector machines) - duálna formulácia a kernelový trik.
Dizajn kernelových funkcií (Mercerova veta, uzáverové vlastnosti).
Nekonzistentné diskriminanty. Voľnostné premenné (slack variables).
Literatúra: B:7.1 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Lagrangeova dualita konvexných programov: [ linka ] Support Vector Machines and Kernels for Computational Biology (tutorial): [ linka ] |
|
| Týždeň 3.-7.11.2014 | |
|
Učenie za pomoci komisií (ensemble methods).
Bagging, boosting. On-line učenie (halving algorithm, váhovaná
väčšina, horné ohraničenia počtu chýb).
Adaptácia algoritmov lineárnej regresie na klasifikáciu.
Klasifikácia pomocou neurónových sietí. Diskrétna klasifikácia - algoritmus eliminácie kandidátov.
Literatúra: B:14.2-14.3; M:2 |
| Týždeň 10.-14.11.2014 | |
|
Teória učenia. PAC (probably
approximately correct) učenie na konečných množinách hypotéz. Horné
odhady: pravdepodobnosť veľkej chyby, očakávaná chyba konzistentného
klasifikačného algoritmu, postačujúci počet príkladov aby
pravdepodobnosť veľkej chyby bola malá. PAC na nekonečných množinách
hypotéz. Príklad učenia obdĺžnikov s osorovnbožnými stranami. VC
(Vapnik-Červonenkis) dimenzia. Očakávaná chyba a postačujúci počet
príkladov. Literatúra: B:7.1.5; nepokryté PAC |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
konečné hypotézy / Yishai Mansour, U Tel Aviv: [ PDF, 243 Kb ] oprava obdĺžnikov s osovorovnobežnými stranami / Andres Munoz, NY Univ: [ PDF, 97 Kb ] VC dimenzia - PAC ohraničenie / Yishai Mansour, U Tel Aviv: [ PDF, 173 Kb ] |
|
| Týždeň 17.-21.11.2014 | |
|
VC dimenzia (cvičenie). PAC učenie pre prípady
nekonzistentných hypotéz a pre SVM. Strojové učenie bez učiteľa. Redukcia dimenzionality (analýza hlavných komponentov - PCA, manifold learning). Literatúra: B:12.1; HTF:14.5 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Redukcia dimenzionality: [ PDF, 567 Kb ] |
VC dimenzia - definícia a riešené príklady / Yishai Mansour, U Tel Aviv: [ PDF, 109 Kb ] PAC ohraničenie pre SVM: [ PDF, 295 Kb ] Redukcia dimenzionality - poznámky PCA / Stanford CS229: [ linka ] Redukcia dimenzionality - ďalšie metódy vizualizácie: [ linka ] |
| Týždeň 24.-28.11.2014 | |
|
Strojové učenie bez učiteľa. Zhlukovanie (clustering), K-means,
K-medoids, hierarchické zhlukovanie.
Úvod do pravdepodobnostného modelovania.
Opakovanie teórie pravdepodobnosti (vierohodnosť a pravdepodobnosť,
maximalizácia vierohodnosti, podmienená pravdepodobnosť a Bayesov vzorec)
Literatúra: HTF:14.3; B:1.2 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Zhlukovanie: [ PDF, 1065 Kb ] |
|
| Týždeň 1.-5.12.2014 | |
|
Skryté Markovove modely (HMM): definícia a použitie, Viterbiho algoritmus,
dopredný (forward) algoritmus, trénovanie HMM z úplných pozorovaní.
Literatúra: B:13.2; alt. DEKM:3 |
| Týždeň 8.-12.12.2014 | |
|
Učenie odmenou a trestom (reinforcement learning).
Markovovské rozhodovacie procesy (MDP), Bellmanove rovnice,
iteračné algoritmy na riešenie Bellmanových rovníc (VI,PI),
učenie prechodovej funkcie. Pravdepodobnostné modelovanie (pokr.). Bayesovské siete. HMM ako Bayesovské siete. Všeobecná formulácia inferencie. Naivný Bayesovský klasifikátor. Literatúra: B:8.1,8.2; HTF:6.6.3 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Reinforcement Learning and Control (Andrew Ng lecture notes): [ PDF, 74 Kb ] |
|
| Týždeň 15.-19.12.2014 | |
|
Všeobecný eliminačný algoritmus (inferencia). Učenie Bayesovských sietí s úplnými (pozorované frekvencie) a s neúplnými dátami (EM algoritmus). Zhrnutie semestra. Literatúra: nepokryté: eliminačný algoritmus; B:9.4 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Trénovanie Bayesovských sietí: [ PDF, 26 Kb ] Zhrnutie semestra: [ PDF, 362 Kb ] |
|