Leto 2009
Prednášky a poznámky
| 2-INF-150: Strojové učenie Leto 2009 Prednášky a poznámky |
|
Na tejto stránke nájdete orientačný rozvrh semestra. Tento rozvrh bude aktualizovaný vždy po skončení príslušného týždňa prednášok. Poznámky z prednášok a ďalšie rozširujúce materiály budú pribúdať taktiež po skončení príslušných prednášok, môže to však v niektorých prípadoch trvať dlhšie.
| Týždeň 9.-13.2.2009 | |
|
Úvod, administratíva.
Strojové učenie s učiteľom - regresia.
Lineárna regresia. Cvičenia: Lineárna algebra (opakovanie) |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Administratíva: [ PDF, 44 Kb ] |
Matematický ťahák pre informatikov (Steve Seiden): [ PDF, 154 Kb ] Kuchárka maticovej algebry (Petersen & Pedersen): [ PDF, 522 Kb ] |
| Týždeň 16.-20.2.2009 | |
| Lineárna regresia (pokračovanie). Normálne rovnice. Časová zložitosť. Alternatívne chybové funkcie. Generalizovaná lineárna regresia. Príklady bázových funkcií (polynómy, lokálne bázové funkcie). Lokálne váhovaná aproximácia. Jednoduché neurónové siete (gradientová metódy, spätná propagácia). | |
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Linearna regresia: [ PDF, 172 Kb ] |
|
| Týždeň 23.-27.2.2009 | |
|
Teória učenia - základy.
Generalizácia. Matematický model strojového učenia. (Očakávaná)
trénovacia a testovacia chyba. Veta o výchylke a rozptyle
(bias/variance). Krivky učenia (learning curves). Podučenie a
preučenie (overfitting/underfitting). Cvičenia: Octave |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Octave Tutorial: [ linka ] Octave Manual: [ linka ] |
|
| Týždeň 2.-6.3.2009 | |
| Automatizovaný výber modelov (penalizácia zložitosti a regularizácia, holdout testing). Strojové učenie s učiteľom - klasifikácia. Konzistentný diskriminant. Lineárny program pre hľadanie konzistentného diskriminantu. Klasifikátor s najväčšou rezervou (maximum margin). Kvadratický program. SVM (support vector machines) - duálna formulácia a kernelový trik. | |
| Poznámky: | Ďalšie materiály: |
|---|---|
| Týždeň 9.-13.3.2009 | |
|
Dizajn kernelových funkcií (Mercerova veta, uzáverové vlastnosti).
Nekonzistentné diskriminanty. Voľnostné premenné (slack variables).
Adaptácia algoritmov lineárnej regresie na klasifikáciu.
Klasifikácia pomocou neurónových sietí.
Diskrétne klasifikátory (eliminácia kandidátov, rozhodovacie
stromy, algoritmus ID3, diskretizácia atribútov) |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
| Týždeň 16.-20.3.2009 | |
|
Teórie učenia. Uniformita. PAC (probably approximately correct) učenie.
VC (Vapnik-Červonenkis) dimenzia: emprická a trénovacia chyba, accuracy/presnosť confidence/istota, ohraničenia chyby, ERM, MDL (potiaľ z Waterloo dokumentu) + PAC a VC z Mitchellovej knizky, príklad na NN. |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Poznámky z kurzu na Waterloo: [ PDF, 296 Kb ] |
|
| Týždeň 23.-27.3.2009 | |
|
On-line učenie učenie odmenou a trestom (reinforcement learning): vlastnosti RL, hlavné pojmy, Q-learning, príklad, prehľad LCS. Seminár: Strojové učenie v robotike |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Knižka o Reinforcement Learning (Sutton,Barto): [ linka ] Prehľadový článok o Learning Classifier Systems: [ PDF, 204 Kb ] Evolutionary Robots with On-line Self-Organization and Behavioral Fitness: [ PDF, 654 Kb ] Incremental Evolution of Animats’ Behaviors as a Multi-objective Optimization: [ PDF, 368 Kb ] A Reinforcement Learning Technique with an Adaptive Action Generator for a Multi-robot System: [ PDF, 986 Kb ] A Bayesian Framework for Reinforcement Learning: [ PDF, 83 Kb ] Learning to Play Using Low-Complexity Rule-Based Policies: Illustrations through Ms. Pac-Man: [ PDF, 411 Kb ] Bayesian Robot Programming: [ PDF, 523 Kb ] |
|
| Týždeň 30.3.-3.4.2009 | |
| Strojové učenie bez učiteľa. Zhlukovanie (clustering), K-means, K-medoids, hierarchické zhlukovanie. Redukcia dimenzionality, self-organizing maps (SOMs), principal component analysis (PCA). | |
| Poznámky: | Ďalšie materiály: |
|---|---|
| Týždeň 6.-10.4.2009 | |
|
Opakovanie teórie pravdepodobnosti (vierohodnosť a pravdepodobnosť,
maximalizácia vierohodnosti, podmienená pravdepodobnosť a Bayesov vzorec)
Veľká noc |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
| Týždeň 13.-17.4.2009 | |
|
Veľká noc Úvod do pravdepodobnostného modelovania. Skryté Markovove modely (HMM): definícia a použitie, Viterbiho algoritmus, dopredný (forward) algoritmus, trénovanie HMM z úplných pozorovaní. |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
| Týždeň 20.-24.4.2009 | |
|
Bayesovské siete. HMM ako Bayesovské siete. Všeobecná formulácia inferencie.
Podmienená nezávislosť v Bayesovských sieťach. Naivný Bayesovský klasifikátor. Všeobecný eliminačný algoritmus (inferencia). |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
| Týždeň 27.4.-1.5.2009 | |
|
Učenie Bayesovských sietí s úplnými (pozorované frekvencie)
a s neúplnými dátami (EM algoritmus). Seminár: Strojové učenie v bioinformatike |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
| Týždeň 4.-8.5.2009 | |
|
Učenie za pomoci komisií (ensemble methods).
Bagging, boosting, on-line učenie (halving algorithm, váhovaná
väčšina, horné ohraničenia počtu chýb).
Zhrnutie, opakovanie, pokyny k skúške. |
|
| Poznámky: | Ďalšie materiály: |
|---|---|
|
Zhrnutie (prezentácia): [ PDF, 362 Kb ] |
|