Introduction au Machine Learning Chloé-AgatheAzencott

1 1. Introduction au Machine Learning Chlo -Agathe Azencott Cet ouvrage s'adresse aux tudiantes et tudiants en fin de licence et en master d'informatique ou de maths appliqu es, ainsi qu'aux l ves d' cole d'ing nieurs. L'apprentissage automatique, ou Machine Learning , est une discipline dont les outils puissants permettent aujourd'hui de nombreux secteurs d'activit de r aliser des progr s spectaculaires gr ce l'exploitation de grands volumes de donn es. Le but de cet ouvrage est de vous fournir des bases solides sur les concepts et les algorithmes de ce domaine en plein essor. Il vous aidera identifier les probl mes qui peuvent tre r solus par une approche Machine Learning , les formaliser, identifier les algorithmes les mieux adapt s chaque cas, les mettre en oeuvre, et enfin savoir valuer les r sultats obtenus. Ce document est la version lectronique d'un ouvrage publi aux ditions Dunod dans la collection InfoSup 1 , qui contient aussi 86 exercices corrig s.

2 1. Pr ambule Le Machine Learning (apprentissage automatique) est au c ur de la science des donn es et de l 'intelli- gence artificielle. Que l'on parle de transformation num rique des entreprises, de Big Data ou de strat - gie nationale ou europ enne, le Machine Learning est devenu incontournable. Ses applications sont nom- breuses et vari es, allant des moteurs de recherche et de la reconnaissance de caract res la recherche en g nomique, l'analyse des r seaux sociaux, la publicit cibl e, la vision par ordinateur, la traduction auto- matique ou encore le trading algorithmique. l'intersection des statistiques et de l 'informatique, le Machine Learning se pr occupe de la mod lisa- tion des donn es. Les grands principes de ce domaine ont merg des statistiques fr quentistes ou bay - siennes, de l 'intelligence artificielle ou encore du traitement du signal. Dans ce livre, nous consid rons que le Machine Learning est la science de l 'apprentissage automatique d'une fonction pr dictive partir d'un jeu d'observations de donn es tiquet es ou non.

3 Ce livre se veut une Introduction aux concepts et algorithmes qui fondent le Machine Learning , et en propose une vision centr e sur la minimisation d'un risque empirique par rapport une classe donn e de fonctions de pr dictions. Objectifs p dagogiques : Le but de ce livre est de vous accompagner dans votre d couverte du Machine Learning et de vous fournir les outils n cessaires . 1. identifier les probl mes qui peuvent tre r solus par des approches de Machine Learning ;. 2. formaliser ces probl mes en termes de Machine Learning ;. 3. identifier les algorithmes classiques les plus appropri s pour ces probl mes et les mettre en uvre ;. 4. impl menter ces algorithmes par vous-m me afin d'en comprendre les tenants et aboutissants ;. 5. valuer et comparer de la mani re la plus objective possible les performances de plusieurs algo- rithmes de Machine Learning pour une application particuli re.

4 Public vis : Ce livre s'adresse des tudiants en informatique ou maths appliqu es, niveau L3 ou M1. (ou deuxi me ann e d' cole d'ing nieur), qui cherchent comprendre les fondements des principaux algo- rithmes utilis s en Machine Learning . Il se base sur mes cours CentraleSup lec 2 et sur OpenClassrooms 3. et suppose les pr requis suivants : alg bre lin aire (inversion de matrice, th or me spectral, d composition en valeurs propres et vec- teurs propres). notions de probabilit s (variable al atoire, distributions, th or me de Bayes). 2. 3. 2. 3. Plan du livre : Ce livre commence par une vue d'ensemble du Machine Learning et des diff rents types de probl mes qu'il permet de r soudre. Il pr sente comment ces probl mes peuvent tre formul s math - matiquement comme des probl mes d'optimisation (chapitre 1) et pose en appendice les bases d'optimi- sation convexe n cessaires la compr hension des algorithmes pr sent s par la suite.

5 La majeure partie de ce livre concerne les probl mes d'apprentissage supervis ; le chapitre 2 d taille plus particuli rement leur formulation et introduit les notions d'espace des hypoth ses, de risque et perte, et de g n ralisation. Avant d' tudier les algorithmes d'apprentissage supervis les plus classiques et fr quemment utilis s, il est essentiel de comprendre comment valuer un mod le sur un jeu de donn es, et de savoir s lectionner le meilleur mod le parmi plusieurs possibilit s, ce qui est le sujet du chapitre 3. Il est enfin pertinent ce stade d'aborder l'entra nement de mod les pr dictifs supervis s. Le livre aborde tout d'abord les mod les param triques, dans lesquels la fonction mod lisant la distribution des donn es ou permettant de faire des pr dictions a une forme analytique explicite. Les bases sont pos es avec des l ments d'inf rence bay sienne (chapitre 4), qui seront ensuite appliqu s des mod les d'ap- prentissage supervis param triques (chapitre 5).

6 Le chapitre 6 pr sente les variantes r gularis es de ces algorithmes. Enfin, le chapitre 7 sur les r seaux de neurones propose de construire des mod les param - triques beaucoup plus complexes et d'aborder les bases du deep Learning . Le livre aborde ensuite les mod les non param triques, commencer par une des plus intuitives de ces approches, la m thode des plus proches voisins (chapitre 8). Suivront ensuite les approches base d'arbres de d cision, puis les m thodes ensemble qui permettront d'introduire deux des algorithmes de Machine Learning supervis les plus puissants l'heure actuelle : les for ts al atoires et le boosting de gradient (cha- pitre 9). Le chapitre 10 sur les m thodes noyaux, introduites gr ce aux machines vecteurs de support, permettra de voir comment construire des mod les non lin aires via des mod les lin aires dans un espace de redescription des donn es.

7 Enfin, le chapitre 11 pr sentera la r duction de dimension, supervis e ou non supervis e, et le cha- pitre 12 traitera d'un des probl mes les plus importants en apprentissage non supervis : le clustering. Chaque chapitre sera conclu par quelques exercices. Comment lire ce livre : Ce livre a t con u pour tre lu lin airement. Cependant, apr s les trois pre- miers chapitres, il vous sera possible de lire les suivants dans l'ordre qui vous conviendra, l'exception du chapitre 6, qui a t crit dans la continuit du chapitre 5. De mani re g n rale, des r f rences vers les sections d'autres chapitres appara tront si n cessaire. Remerciements : Cet ouvrage n'aurait pas vu le jour sans Jean-Philippe Vert, qui m'a fait d couvrir le Machine Learning , avec qui j'ai enseign et pratiqu cette discipline pendant plusieurs ann es, et qui m'a fait, enfin, l'honneur d'une relecture attentive.

8 Ce livre doit beaucoup ceux qui m'ont enseign le Machine Learning , et plus particuli rement Pierre Baldi, Padhraic Smyth, et Max Welling ; ceux avec qui je l'ai pratiqu , notamment les membres du Baldi Lab UC Irvine, du MLCB et du d partement d'inf rence empirique de l 'Institut Max Planck T bingen, et du CBIO Mines ParisTech, et bien d'autres encore qu'il serait difficile de tous nommer ici ; ceux avec qui je l'ai enseign , Karsten Borgwardt, Yannis Chaouche, Fr d ric Guyon, Fabien Moutarde, mais aussi Judith Abecassis, Eugene Belilovsky, Joseph Boyd, Peter Naylor, Beno t Playe, Mihir Sahasrabudhe, Jiaqian Yu, et Luc Bertrand ; et enfin ceux auxquels je l'ai enseign , en particulier les tudiants du cours Data Mining 4. in der Bioinformatik de l 'Universit de T bingen qui ont subi ma toute premi re tentative d'enseignement des m thodes noyaux en 2012, et les tudiants centraliens qui ont essuy les pl tres de la premi re version de ce cours l'automne 2015.

9 Mes cours sont le r sultat de nombreuses sources d'inspirations accumul es au cours des ann es. Je remercie tout particuli rement Ethem Alpaydin, David Barber, Christopher M. Bishop, Stephen Boyd, Hal Daum III, Jerome Friedman, Trevor Hastie, Tom Mitchell, Bernhard Sch lkopf, Alex Smola, Robert Tibshi- rani, Lieven Vandenberghe, et Alice Zhang pour leurs ouvrages. Parce que tout serait diff rent sans scikit-learn, je remercie chaleureusement tous ses core-devs, et en particulier Alexandre Gramfort, Olivier Grisel, Ga l Varoquaux et Nelle Varoquaux. Je remercie aussi Matthew Blaschko, qui m'a pouss e l'eau, et Nikos Paragios, qui l'y a encourag . Parce que je n'aurais pas pu crire ce livre seule, merci Jean-Luc Blanc des ditions Dunod, et tous ceux qui ont relu tout ou partie de cet ouvrage, en particulier Judith Abecassis, Luc Bertrand, Caroline Petitjean, Denis Rousselle, Erwan Scornet.

10 La relecture attentive de Jean-Marie Monier, ainsi que les commentaires d'Antoine Brault, ont permis d' liminer de nombreuses coquilles et approximations de la deuxi me version de ce texte. Merci Alix Deleporte, enfin, pour ses relectures et son soutien. Table des mati res 1 Pr sentation du Machine Learning 10. Qu'est-ce que le Machine Learning ? .. 10. Pourquoi utiliser le Machine Learning ? .. 11. Types de probl mes de Machine Learning .. 13. Apprentissage supervis .. 13. Apprentissage non supervis .. 15. Apprentissage semi-supervis .. 17. Apprentissage par renforcement .. 17. Ressources pratiques .. 17. Impl mentations logicielles .. 17. Jeux de donn es .. 18. Notations .. 18. 2 Apprentissage supervis 20. Formalisation d'un probl me d'apprentissage supervis .. 20. D cision .. 21. Classification multi-classe .. 22. Espace des hypoth ses .. 23. Minimisation du risque empirique.