Zima 2009
Prednášky a poznámky
| 2-INF-150: Strojové učenie Zima 2009 Prednášky a poznámky |
|
Na tejto stránke nájdete orientačný rozvrh semestra. Tento rozvrh bude aktualizovaný vždy po skončení príslušného týždňa prednášok. Poznámky z prednášok a ďalšie rozširujúce materiály budú pribúdať taktiež po skončení príslušných prednášok, môže to však v niektorých prípadoch trvať dlhšie.
Literatúra:
U prednášok uvádzame zoznam kapitol, ktoré najviac pokrývajú učivo, ktoré plánujeme prebrať. Prezentácia materiálu v rámci prednášok sa obvykle nezhoduje s prezentáciou v učebniciach. Uvedené kapitoly by mali hlavne slúžiť ako doplňujúci materiál pre samoštúdium.
| Týždeň 21.-25.9.2009 | |
|
Úvod, administratíva.
Strojové učenie s učiteľom - regresia.
Lineárna regresia. Normálne rovnice.
(parciálne derivácie, maticový počet)
Literatúra: B:3.1,C; HTF:2.3; alt. HTF:3.1-3.2 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Organizácia kurzu: [ PDF, 57 Kb ] Poznámky streda: [ linka ] |
|
| Týždeň 28.9.-2.10.2009 | |
|
Pozvaná prednáška:
Strojové učenie a robotika - Pavel Petrovič (úvod do Octave) Časová zložitosť. Alternatívne chybové funkcie. (lineárne programovanie) |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Poznámky streda: [ linka ] |
Learning robots: [ PDF, 3500 Kb ] |
| Týždeň 5.-9.10.2009 | |
|
Generalizovaná lineárna regresia. Príklady bázových funkcií
(polynómy, lokálne bázové funkcie). Lokálne váhovaná aproximácia.
Jednoduché neurónové siete (gradientová metódy, spätná propagácia).
Teória učenia - základy.
Generalizácia. Matematický model strojového učenia.
Literatúra: B:1.1,5.1,5.2.3-5.2.4,5.3.1,1.5,3.2; alt. HTF:2.9,7.3; HTF:7.8,7.10 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Poznámky pondelok: [ linka ] Poznámky streda: [ linka ] |
|
| Týždeň 12.-16.10.2009 | |
|
(Očakávaná)
trénovacia a testovacia chyba. Veta o výchylke a rozptyle
(bias/variance). Krivky učenia (learning curves). Podučenie a
preučenie (overfitting/underfitting).
Automatizovaný výber modelov (penalizácia zložitosti a regularizácia,
holdout testing).
Strojové učenie s učiteľom - klasifikácia. Konzistentný diskriminant.
Literatúra: B:4.1,7.1,E |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Poznámky pondelok: [ linka ] Poznámky streda: [ linka ] |
|
| Týždeň 19.-23.10.2009 | |
|
Lineárny program pre hľadanie konzistentného diskriminantu.
Klasifikátor s najväčším odstupom (maximum margin). Kvadratický program.
SVM (support vector machines) - duálna formulácia a kernelový trik. Literatúra: B:6.1-6.2,14.4 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Poznámky pondelok: [ linka ] Poznámky streda: [ linka ] |
Support Vector Machines and Kernels for Computational Biology (tutorial): [ linka ] |
| Týždeň 26.-30.10,2009 | |
|
Dizajn kernelových funkcií (Mercerova veta, uzáverové vlastnosti).
Nekonzistentné diskriminanty. Voľnostné premenné (slack variables).
Adaptácia algoritmov lineárnej regresie na klasifikáciu.
Klasifikácia pomocou neurónových sietí.
Diskrétne klasifikátory (eliminácia kandidátov, rozhodovacie
stromy, algoritmus ID3) Literatúra: M:2,3 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Poznámky pondelok: [ linka ] Poznámky streda: [ linka ] |
|
| Týždeň 2.-6.11.2009 | |
|
Diskrétne klasifikátory (diskretizácia atribútov).
Teórie učenia. PAC (probably approximately correct) učenie
na konečných množinách hypotéz. Horné odhady: pravdepodobnosť
veľkej chyby, očakávaná chyba konzistentného klasifikačného algoritmu,
postačujúci počet príkladov aby pravdepodobnosť veľkej chyby bola malá.
Príklad MCONJ, dolné odhady (očakávaná chyba, potrebný počet príkladov). Literatúra: B:7.1.5; nepokryté PAC |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Poznámky pondelok: [ linka ] Poznámky streda: [ linka ] |
|
| Týždeň 9.-13.11.2009 | |
|
PAC na nekonečných množinách hypotéz. VC
(Vapnik-Červonenkis) dimenzia. Horné a dolné odhady: očakávaná chyba a
postačujúci počet príkladov. PAC učenie pre klasifikátory s veľkým
odstupom. Strojové učenie bez učiteľa. Zhlukovanie (clustering), K-means, K-medoids, hierarchické zhlukovanie. Literatúra: B:9.1; HTF:14.3 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Poznámky pondelok: [ linka ] Poznámky streda: [ linka ] |
|
| Týždeň 16.-20.11.2009 | |
|
Deň študentstva Redukcia dimenzionality, self-organizing maps (SOMs), principal component analysis (PCA). Literatúra: B:12.1,1.2 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Poznámky streda: [ linka ] |
|
| Týždeň 23.-27.11.2009 | |
|
Úvod do pravdepodobnostného modelovania.
Opakovanie teórie pravdepodobnosti (vierohodnosť a pravdepodobnosť,
maximalizácia vierohodnosti, podmienená pravdepodobnosť a Bayesov vzorec)
Skryté Markovove modely (HMM): definícia a použitie, Viterbiho algoritmus,
dopredný (forward) algoritmus, trénovanie HMM z úplných pozorovaní.
Literatúra: B:13.2; alt. DEKM:3 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Poznámky pondelok: [ linka ] Poznámky streda: [ linka ] |
|
| Týždeň 30.11.-4.12.2009 | |
|
Bayesovské siete. HMM ako Bayesovské siete. Všeobecná formulácia inferencie.
Podmienená nezávislosť v Bayesovských sieťach. Naivný Bayesovský klasifikátor. Všeobecný eliminačný algoritmus (inferencia). Literatúra: B:8.1,8.2; HTF:6.6.3; nepokryté: eliminačný algoritmus |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Poznámky pondelok: [ linka ] Poznámky streda: [ linka ] |
|
| Týždeň 7.-11.12.2009 | |
|
Učenie Bayesovských sietí s úplnými (pozorované frekvencie)
a s neúplnými dátami (EM algoritmus). Učenie za pomoci komisií (ensemble methods). Bagging, boosting, on-line učenie (halving algorithm, váhovaná väčšina, horné ohraničenia počtu chýb). Literatúra: B:9.4, B:14.2-14.3 |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Poznámky pondelok: [ linka ] Poznámky streda: [ linka ] |
|
| Týždeň 14.-18.12.2009 | |
|
Učenie odmenou a trestom (reinforcement learning).
Markovovské rozhodovacie procesy (MDP), Bellmanove rovnice,
iteračné algoritmy na riešenie Bellmanových rovníc (VI,PI),
učenie prechodovej funkcie. |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Video prednáška (Stanford): [ linka ] Poznámky (Stanford): [ linka ] |
|