Les quatre piliers d’une solution de gestion des Big …

1 White Paper Les quatre piliers d'une solution de gestion des big data Talend White Paper Les quatre piliers d'une solution de gestion des big data Table des Mati res introduction .. 4 big data : un terme tr s vaste .. 4 Le big data .. 5 La technologie big data .. 5 Le grand changement de paradigme .. 6 Big Data1 : volution des cas d'usage .. 7 Moteur de recommandation .. 7 Analyse de campagnes marketing .. 7 Analyse de la fid lisation et de la perte de client le .. 7 Analyse des graphes sociaux .. 7 Analyse des march s des capitaux .. 8 Analyse pr dictive .. 8 gestion des risques .. 8 Rogue trading .. 9 D tection des fraudes .. 9 Services bancaires de d tail .. 9 Surveillance du r seau .. 9 Recherche et d veloppement .. 9 Les d fis sp cifiques du big data .. 10 Ressources limit es .. 10 Faible qualit des donn es + big data = probl mes en vue .. 10 Gouvernance du projet.

2 10 quatre facteurs d terminants pour une solution de gestion des big data .. 11 Int gration des big data .. 11 Manipulation des big data .. 12 Qualit et big data .. 12 gestion et gouvernance de projets big data .. 12 Talend et big data : solutions disponibles aujourd'hui .. 13 Talend Open Studio for big data .. 13 Talend Enterprise data Integration big data Edition .. 13 Talend Platform for big data .. 13 Conclusion ..14 Page 2 of 17. Talend White Paper Les quatre piliers d'une solution de gestion des big data Annexe : un aper u des technologies .. 15 MapReduce comme framework .. 15 Fonctionnement de Hadoop .. 15 Pig .. 16 Hive .. 16 HBase .. 16 HCatalog .. 16 Flume .. 17 Oozie .. 17 Mahout .. 17 Sqoop .. 17 NoSQL (not only SQL) .. 17 Page 3 of 17. Talend White Paper Les quatre piliers d'une solution de gestion des big data introduction Les gros volumes de donn es ( big data ) repr sentent une volution significative des mod les technologiques de l'entreprise.

3 Le ph nom ne big data change radicalement les modalit s de gestion des donn es puisqu'il introduit de nouvelles probl matiques concernant la volum trie, la vitesse de transfert et le type de donn es. Il permet d'adapter les technologies et les strat gies d'entreprise en fournissant des informations critiques pour des actions cibl es et optimis es, et offre la possibilit d'acc der de nouvelles opportunit s d'affaires et de mieux contr ler les risques inh rents. Par ailleurs, il est probable qu'il transformera l'entreprise moderne telle que nous la connaissons aujourd'hui. Voici les conclusions videntes que nous pouvons en tirer : Le big data aborde les besoins r els du march en s'appuyant sur une nouvelle avanc e technologique. Alors que la plupart des entreprises sont en phase de recherche, de nombreux mod les d'utilisation du big data ont fait leur apparition.

4 Si l'int gration de donn es est essentielle au traitement des big data , la qualit et la gouvernance de donn es n'en restent pas moins des pr occupations majeures. Les projets de big data quitteront la sph re de l'exp rimentation pour devenir un atout strat gique pour l'entreprise. Des outils de d veloppement sont n cessaires pour augmenter l'adoption de ces nouvelles technologies et ainsi r duire le recours obligatoire aux d veloppeurs tr s qualifi s. Tous les principaux vendeurs d'infrastructures et de bases de donn es commencent lancer des solutions de big data sur le march . big data : un terme tr s vaste big data est un concept tr s difficile d finir avec pr cision, puisque la notion m me de big . en termes de volum trie des donn es varie d'une entreprise l'autre. Il n'est pas d fini par un ensemble de technologies, bien au contraire, il d finit une cat gorie de techniques et de technologies.

5 Il s'agit d'un domaine mergent et alors que nous cherchons apprendre comment impl menter ce nouveau paradigme et en exploiter la valeur, la d finition se transforme. Pourtant, si celle-ci peut s'av rer ambigu , de nombreux experts sont convaincus que des secteurs entiers de l'industrie et des march s seront atteints et d'autres cr s, au fur et mesure que ces capacit s permettront la r alisation de nouveaux produits et fonctionnalit s qui taient inimaginables auparavant. Page 4 of 17. Talend White Paper Les quatre piliers d'une solution de gestion des big data Le big data Comme l'expression l'indique, le big data se caract rise par la taille ou la volum trie des informations. Mais d'autres attributs, notamment la vitesse et le type de donn es, sont aussi . consid rer. En ce qui concerne le type, le big data est souvent rattach du contenu non structur ou semi-structur , ce qui peut repr senter un d fi pour les environnements classiques de stockage relationnel et de calcul.

6 Les donn es non structur es et semi-structur es sont partout : contenu web, posts twitter ou commentaires client en format libre. Par vitesse on entend la rapidit avec laquelle les informations sont cr es. Gr ce ces nouvelles technologies, il est maintenant possible d'analyser et d'utiliser l'importante masse de donn es fournie par les fichiers log des sites web, l'analyse d'opinions des r seaux sociaux, et m me les vid os en streaming et les capteurs environnementaux. Nous pouvons ainsi tirer parti d'une vision strat gique impossible jusqu' ce jour. Afin d'avoir un aper u de la complexit engendr e par la volum trie, la vitesse et le type de donn es, il suffit de consid rer les cas suivants : Walmart traite chaque heure plus d'un million de transactions clients, qui sont import es vers des bases de donn es dont le contenu est estim plus de 2,5.

7 Petabytes - savoir 167 fois l' quivalent des informations r unies dans tous les livres de la Biblioth que du Congr s am ricain. Facebook g re 40 milliards de photos partir de sa base d'utilisateurs. D coder le g nome humain a demand initialement 10 ans de travail ; cette t che peut maintenant tre effectu e en une semaine. La distribution Hadoop par Hortonworks g re pr sent plus de 42,000 machines Yahoo! traitant des millions de requ tes par jour. De tels exemples de technologies de pointe deviennent de plus en plus r pandus au fur et . mesure que les entreprises comprennent quel point ces immenses magasins de donn es contiennent des informations inestimables pour leur activit . La technologie big data . Afin de saisir l'impact de ce nouveau paradigme, il est important d'avoir des connaissances de base sur les nouveaux concepts, ainsi que sur les termes et les technologies cl , qui d finissent le big data .

8 Au c ur de cette r volution, une architecture connue sous le nom de MapReduce : elle consiste en un puissant environnement massivement parall le qui ex cute des fonctions avanc es en tr s peu de temps. Introduit par Google en 2004, MapReduce permet un programmeur d'ex cuter une transformation de donn es, qui sont ensuite d l gu es et trait es par une architecture cluster pouvant inclure des milliers d'ordinateurs qui op rent simultan ment. la base, il s'articule en deux tapes : map , o les probl mes sont d coup s et distribu s plusieurs Page 5 of 17. Talend White Paper Les quatre piliers d'une solution de gestion des big data serveurs parall les, et reduce , o les r ponses sont consolid es partir de chaque map et r solvent probl me initial. De nombreuses technologies big data , telles que Hadoop, Pig et Hive, sont disponibles dans l'offre open source.

9 Celle-ci propose, contrairement aux logiciels propri taires, de nombreux avantages : innovation continue, r duction des co ts, interop rabilit et d veloppement bas . sur des standards Une description plus approfondie du fonctionnement de l'architecture MapReduce, ainsi qu'un glossaire des technologies big data , sont report s en annexe de ce document. Le grand changement de paradigme Les technologies big data ont d j r volutionn notre mode de vie. Si Facebook, Groupon, Twitter, Zynga et d'autres nouveaux et nombreux mod les m tiers existent, c'est gr ce . l'avance g n r e par le big data . Il s'agit l d'un changement de paradigmes technologiques qui pourrait avoir des cons quences plus marquantes que la commercialisation d'Internet la fin des ann es 90. Il impactera des secteurs entiers de l'industrie et des march s au fur et . mesure que nous apprendrons utiliser ces capacit s pour fournir non seulement un meilleur r sultat et des nouvelles fonctionnalit s dans les produits propos s, mais aussi la cr ation de nouvelles solutions auxquelles on ne croyait pas il y a peu.

10 Consid rons titre d'exemple la vue unique du client telle qu'obtenue au moyen d'outils MDM. Les solutions actuelles se basent sur une base relationnelle quelque peu statique pour maintenir les donn es et doivent ex cuter un algorithme par lots pour cr er cette image globale. Les limites actuelles de performance et de stockage r duisent ces solutions l'utilisation d'un ensemble explicite de donn es. Hadoop limine ces restrictions de telle sorte qu'une vue unique du client peut tre g n r e tout moment et inclure davantage d'informations, comme par exemple les donn es relationnelles. Comment pourrions-nous utiliser l'analyse des sentiments exprim s dans les r seaux sociaux pour largir la vue du client ? Cette avanc e risque de perturber de nombreux march s existants. Pensons aux ERP et aux entrep ts de donn es, o le big data joue un r le important pour le futur de la gestion des data warehouse et des produits analytiques.