Pour les problèmes de régression et de classification, on étudiera dans un premier temps les modèles linéaires, les modèles non paramétriques basés sur des expansions linéaires avec splines ou ondelettes, les modèles additifs, projection pursuit, CART, random forest et les réseaux de neurones. Puis on étudiera l'estimation par moindres carrés et la régularisation par shrinkage, seuillage, subset selection, ridge regression, lasso pour éviter l'overfitting du training set. On étudiera ensuite des méthodes de choix de l'hyper paramètre par validation croisée, AIC/BIC, Stein unbiased risk estimation, quantile universal threshold pour des critères tels que l'erreur de prédiction, le true positive rate et le false discovery rate. On présentera enfin quelques algorithmes employés pour résoudre les moindres carrés (pénalisés ou pas) tels que (stochastic) gradient descent et coordinate descent.

Pré-requis : néant