Learning theory

Crédit : 3 ECTS
Langue du cours : anglais

Volume horaire

• CM : 21 h
• Volume horaire global (hors stage) : 21 h

Compétences à acquérir

L'objectif du cours est d'acquérir des notions théoriques d'apprentissage statistique.

Description du contenu de l'enseignement

1. Supervised Learning: Bayes decision rule, Consistency and no free lunch theorem, Hypothesis class,Probably Approximately Correct (PAC) framework. Empirical Risk Minimization (ERM), PA Cbounds with ERM
2. Concentration Inequalities : Chebyshev’s inequality,Hoeffding’s inequality,Sub-Gaussian random variables, Concentrations of functions of random variables,Bernstein’s deviation inequality,Deviation inequality for quadratic forms
3. Generalization Bounds via Uniform Convergence: Finite hypothesis class, Bounds for infinite hypothesis class via discretization, Rademacher complexity (RC), Empirical RC,
4. Bounding the Rademacher complexity: Shattering numbers, VC theory, Covering number, entropy, Dudley’s chaining

Mode de contrôle des connaissances

Examen final.

Pré-requis recommandés

Probabilités multidimensionnelles (lois et espérances conditionnelles).

Enseignant responsable

KATIA MULLER MEZIANI