Zima 2012
Prednášky a poznámky
| 2-INF-150: Strojové učenie Zima 2012 Prednášky a poznámky |
|
Na tejto stránke nájdete orientačný rozvrh semestra. Tento rozvrh bude aktualizovaný vždy po skončení príslušného týždňa prednášok, takisto budú pribúdať ďalšie študijné materiály.
Literatúra:
Ďalšie zdroje informácií:
U prednášok uvádzame zoznam kapitol, ktoré najviac pokrývajú učivo. Prezentácia materiálu v rámci prednášok sa obvykle nezhoduje s prezentáciou v učebniciach. Uvedené kapitoly by mali hlavne slúžiť ako doplňujúci materiál pre samoštúdium.
| Týždeň 17.-21.9.2012 | |
|
Úvod.
Strojové učenie s učiteľom - regresia.
Lineárna regresia. Normálne rovnice.
(parciálne derivácie, maticový počet)
Literatúra: B:3.1,C; HTF:2.3; alt. HTF:3.1-3.2 |
| Týždeň 24.-28.9.2012 | |
|
Administratíva. (Úvod do Octave).
Generalizovaná lineárna regresia. Príklady bázových funkcií
(polynómy, lokálne bázové funkcie). Lokálne váhovaná aproximácia.
Časová zložitosť. Alternatívne chybové funkcie.
(Lineárne programovanie). Literatúra: B:1.1,5.1,5.2.3-5.2.4,5.3.1 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Administratíva: [ PDF, 36 Kb ] Úvod do Octave: [ Text, 1 Kb ] |
|
| Týždeň 1.-5.10.2012 | |
|
Jednoduché neurónové siete (gradientová metódy, spätná propagácia).
Teória učenia - základy.
Generalizácia. Matematický model strojového učenia.
(Očakávaná)
trénovacia a testovacia chyba. Veta o výchylke a rozptyle
(bias/variance).
Literatúra: B:1.5,3.2; alt. HTF:2.9,7.3 |
| Týždeň 8.-12.10.2012 | |
|
Krivky učenia (learning curves). Podučenie a
preučenie (overfitting/underfitting).
Automatizovaný výber modelov (penalizácia zložitosti a regularizácia,
holdout testing).
Strojové učenie s učiteľom - klasifikácia. Konzistentný diskriminant.
Lineárny program pre hľadanie konzistentného diskriminantu.
Klasifikátor s najväčším odstupom (maximum margin). Kvadratický program.
Literatúra: HTF:7.8,7.10; B:4.1,7.1,E |
| Týždeň 15.-19.10.2012 | |
|
SVM (support vector machines) - duálna formulácia a kernelový trik.
Dizajn kernelových funkcií (Mercerova veta, uzáverové vlastnosti).
Literatúra: B:6.1-6.2 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Lagrangeova dualita konvexných programov: [ linka ] Support Vector Machines and Kernels for Computational Biology (tutorial): [ linka ] |
|
| Týždeň 22.-26.10.2012 | |
|
Nekonzistentné diskriminanty. Voľnostné premenné (slack variables).
Rozhodovacie stromy, algoritmus ID3, náhodné lesy.
Učenie za pomoci komisií (ensemble methods).
Bagging, boosting. Literatúra: B:14.4; B:14.2-14.3 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Random forests (článok): [ linka ] |
|
| Týždeň 29.10-2.11.2012 | |
|
On-line učenie (halving algorithm, váhovaná
väčšina, horné ohraničenia počtu chýb).
Adaptácia algoritmov lineárnej regresie na klasifikáciu.
Klasifikácia pomocou neurónových sietí.
Teória učenia. PAC (probably approximately correct) učenie na konečných množinách hypotéz. Horné odhady: pravdepodobnosť veľkej chyby, očakávaná chyba konzistentného klasifikačného algoritmu, postačujúci počet príkladov aby pravdepodobnosť veľkej chyby bola malá. Literatúra: B:7.1.5; nepokryté PAC |
| Týždeň 5.-9.11.2012 | |
|
Príklad MCONJ, dolné odhady (očakávaná chyba, potrebný počet príkladov).
PAC na nekonečných množinách hypotéz. VC
(Vapnik-Červonenkis) dimenzia. Horné a dolné odhady: očakávaná chyba a
postačujúci počet príkladov.
Literatúra: bez študijného materiálu |
| Týždeň 12.-16.11.2012 | |
|
PAC učenie pre klasifikátory s veľkým
odstupom. Strojové učenie bez učiteľa. Zhlukovanie (clustering), K-means, K-medoids, hierarchické zhlukovanie. Literatúra: B:9.1; HTF:14.3 |
| Týždeň 19.-23.11.2012 | |
|
Redukcia dimenzionality (principal component analysis - PCA).
Samoorganizujúce sa zobrazenia (self-organizing maps)
Úvod do pravdepodobnostného modelovania.
Opakovanie teórie pravdepodobnosti (vierohodnosť a pravdepodobnosť,
maximalizácia vierohodnosti, podmienená pravdepodobnosť a Bayesov vzorec)
Literatúra: B:12.1,1.2; HTF:14.4 |
| Týždeň 26.-30.11.2012 | |
|
Skryté Markovove modely (HMM): definícia a použitie, Viterbiho algoritmus,
dopredný (forward) algoritmus, trénovanie HMM z úplných pozorovaní.
Literatúra: B:13.2; alt. DEKM:3 |
| Týždeň 3.-7.12.2012 | |
|
Bayesovské siete. HMM ako Bayesovské siete. Všeobecná formulácia inferencie.
Podmienená nezávislosť v Bayesovských sieťach. Naivný Bayesovský klasifikátor. Všeobecný eliminačný algoritmus (inferencia). Literatúra: B:8.1,8.2; HTF:6.6.3; nepokryté: eliminačný algoritmus; B:9.4 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Bayesovské siete a EM: [ PDF, 32 Kb ] |
|
| Týždeň 10.-14.12.2012 | |
|
Učenie Bayesovských sietí s úplnými (pozorované frekvencie)
a s neúplnými dátami (EM algoritmus). Učenie odmenou a trestom (reinforcement learning). Markovovské rozhodovacie procesy (MDP), Bellmanove rovnice, iteračné algoritmy na riešenie Bellmanových rovníc (VI,PI), učenie prechodovej funkcie. |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Zhrnutie semestra: [ PDF, 354 Kb ] |
Reinforcement Learning and Control (Andrew Ng lecture notes): [ PDF, 167 Kb ] |