Zima 2010
Prednášky a poznámky
| 2-INF-150: Strojové učenie Zima 2010 Prednášky a poznámky |
|
Na tejto stránke nájdete orientačný rozvrh semestra. Tento rozvrh bude aktualizovaný vždy po skončení príslušného týždňa prednášok, takisto budú pribúdať ďalšie študijné materiály.
Literatúra:
Ďalšie zdroje informácií:
U prednášok uvádzame zoznam kapitol, ktoré najviac pokrývajú učivo, ktoré plánujeme prebrať. Prezentácia materiálu v rámci prednášok sa obvykle nezhoduje s prezentáciou v učebniciach. Uvedené kapitoly by mali hlavne slúžiť ako doplňujúci materiál pre samoštúdium.
| Týždeň 20.-24.9.2010 | |
|
Úvod, administratíva.
Strojové učenie s učiteľom - regresia.
Lineárna regresia. Normálne rovnice.
(parciálne derivácie, maticový počet)
Literatúra: B:3.1,C; HTF:2.3; alt. HTF:3.1-3.2 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Úvod, administratíva: [ PDF, 36 Kb ] |
|
| Týždeň 27.9.-1.10.2010 | |
|
(Úvod do Octave).
Časová zložitosť. Alternatívne chybové funkcie.
(Lineárne programovanie).
Generalizovaná lineárna regresia. Príklady bázových funkcií
(polynómy, lokálne bázové funkcie). Lokálne váhovaná aproximácia.
Literatúra: B:1.1,5.1,5.2.3-5.2.4,5.3.1 |
| Týždeň 4.-8.10.2010 | |
|
Jednoduché neurónové siete (gradientová metódy, spätná propagácia).
Teória učenia - základy.
Generalizácia. Matematický model strojového učenia.
(Očakávaná)
trénovacia a testovacia chyba. Veta o výchylke a rozptyle
(bias/variance). Krivky učenia (learning curves). Podučenie a
preučenie (overfitting/underfitting).
Literatúra: B:1.5,3.2; alt. HTF:2.9,7.3 |
| Týždeň 11.-15.10.2010 | |
|
Automatizovaný výber modelov (penalizácia zložitosti a regularizácia,
holdout testing).
Strojové učenie s učiteľom - klasifikácia. Konzistentný diskriminant.
Lineárny program pre hľadanie konzistentného diskriminantu.
Klasifikátor s najväčším odstupom (maximum margin). Kvadratický program.
Literatúra: HTF:7.8,7.10; B:4.1,7.1,E |
| Týždeň 18.-22.10.2010 | |
|
SVM (support vector machines) - duálna formulácia a kernelový trik.
Dizajn kernelových funkcií (Mercerova veta, uzáverové vlastnosti).
Nekonzistentné diskriminanty. Voľnostné premenné (slack variables).
Literatúra: B:6.1-6.2 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Lagrangeova dualita konvexných programov: [ linka ] Support Vector Machines and Kernels for Computational Biology (tutorial): [ linka ] |
|
| Týždeň 25.-29.10,2009 | |
|
Pondelok - dekanské voľno Adaptácia algoritmov lineárnej regresie na klasifikáciu. Klasifikácia pomocou neurónových sietí. Diskrétne klasifikátory (eliminácia kandidátov) Literatúra: M:2,3 |
| Týždeň 1.-5.11.2010 | |
|
Sviatok všetkých svätých Diskrétne klasifikátory (rozhodovacie stromy, algoritmus ID3). Učenie za pomoci komisií (ensemble methods). Bagging, boosting. Literatúra: B:14.4; B:14.2-14.3 |
| Týždeň 8.-12.11.2010 | |
|
On-line učenie (halving algorithm, váhovaná
väčšina, horné ohraničenia počtu chýb). Teória učenia. PAC (probably approximately correct) učenie na konečných množinách hypotéz. Horné odhady: pravdepodobnosť veľkej chyby, očakávaná chyba konzistentného klasifikačného algoritmu, postačujúci počet príkladov aby pravdepodobnosť veľkej chyby bola malá. Literatúra: B:7.1.5; nepokryté PAC |
| Týždeň 15.-19.11.2010 | |
|
Príklad MCONJ, dolné odhady (očakávaná chyba, potrebný počet príkladov).
PAC na nekonečných množinách hypotéz. VC
(Vapnik-Červonenkis) dimenzia. Horné a dolné odhady: očakávaná chyba a
postačujúci počet príkladov.
Literatúra: |
| Týždeň 22.-26.11.2010 | |
|
PAC učenie pre klasifikátory s veľkým
odstupom. Strojové učenie bez učiteľa. Zhlukovanie (clustering), K-means, K-medoids, hierarchické zhlukovanie. Redukcia dimenzionality (principal component analysis - PCA). Literatúra: B:9.1; HTF:14.3; B:12.1,1.2 |
| Týždeň 29.11.-3.12.2010 | |
|
Úvod do pravdepodobnostného modelovania.
Opakovanie teórie pravdepodobnosti (vierohodnosť a pravdepodobnosť,
maximalizácia vierohodnosti, podmienená pravdepodobnosť a Bayesov vzorec)
Skryté Markovove modely (HMM): definícia a použitie, Viterbiho algoritmus,
dopredný (forward) algoritmus, trénovanie HMM z úplných pozorovaní.
Literatúra: B:13.2; alt. DEKM:3 |
| Týždeň 6.-10.12.2010 | |
|
Bayesovské siete. HMM ako Bayesovské siete. Všeobecná formulácia inferencie.
Podmienená nezávislosť v Bayesovských sieťach. Naivný Bayesovský klasifikátor. Všeobecný eliminačný algoritmus (inferencia). Učenie Bayesovských sietí s úplnými (pozorované frekvencie) a s neúplnými dátami (EM algoritmus). Literatúra: B:8.1,8.2; HTF:6.6.3; nepokryté: eliminačný algoritmus; B:9.4 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Bayesovské siete a EM: [ PDF, 32 Kb ] |
|
| Týždeň 13.-17.12.2010 | |
|
Učenie odmenou a trestom (reinforcement learning).
Markovovské rozhodovacie procesy (MDP), Bellmanove rovnice,
iteračné algoritmy na riešenie Bellmanových rovníc (VI,PI),
učenie prechodovej funkcie. |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Zhrnutie semestra: [ PDF, 357 Kb ] |
Reinforcement Learning and Control (Andrew Ng lecture notes): [ PDF, 167 Kb ] |