Cnam - Formation - Bases de données documentaires et distribuées - NFE204

Bases de données documentaires et distribuées - NFE204

  • 6 ECTS
  • Informatique

Objectifs pédagogiques

Le cours est consacré à le gestion de données massives, non-structurées ou semi-structurées. Le passage à l'échelle de très gros volumes (téraoctets, pétaoctets) peut amener a revoir la modélisation relationnelle qui implique des opérations de jointures assez coûteuses dans un environnement distribué. Cette modélisation est également inadaptée à des données comme les textes, les images, ou un assemblage de plusieurs médias. On s'oriente alors plutôt vers une modélisation sous forme de "documents" souvent dénués de structure connue (e., documents images, vidéos, documents Office, etc) ou d'une structure très souple (documents hypertextes).

Les notions de modèles de données et de langage d'interrogation sont alors à revoir. De plus le volume des données considérées implique la mise en place d'infrastructure à grande échelle typique des systèmes de gestion des données du Web.
Le cours couvre les sujets suivants:Données peu structurées. Représentation de données complexes et/ou dotée d'une structure variable. Application à la représentation de documents textuels par des langages comme XML ou JSON. Notions essentielles sur la navigation dans une structure de document, le typage de documents, et la gestion de documents dans des bases de données.
Systèmes NoSQL. Des systèmes de gestion de données qui renoncent à certaines fonctionnalités fortes (transactions, langage d'interrogation) des bases relationnelles, au profit du passage à l'échelle, émergent à l'heure actuelle. Ces systèmes sont fortement orientés vers la distribution dans des environnements de type cloud, et leur conception varie selon l'objectif visé (accès temps réel, ou traitement analytiques). La structure des données reprend les principes vus dans la première partie du cours. Nous étudions les principes généraux des systèmes NoSQL, et en étudions certains: MongoDB, CouchDB, Cassandra, etc. Les problèmes de passage à l'échelle, de fiabilité, de sécurité, de reprise sur panne et de cohérence seront évoqués.

La Recherche d'Information (RI) consiste à effectuer des recherches sur des ensembles de données peu structurées, en effectuant un classement par pertinence. Avec l'avènement de gros moteurs d'indexation tels que Google ou Amazon, les technologies de recherche textuelle devient incontournable et donne un véritable intérêt à toutes ses techniques de stockage et d'index orienté texte.

Stockage distribué.  Le volume des données manipulées par les moteurs de recherche, les sites de commerce électronique ou les sites communautaires rassemblant des millions d'utilisateurs, a atteint des niveaux inédits: le téraoctets est un ordre de grandeur courant, bientôt ce sera le pétaoctets. De nouvelles techniques de gestion de ces données massives ont émergé récemment, sous l'impulsion notamment des entreprises (Google, Amazon) directement  confrontées aux problèmes liés à ces volumes inédits. L'exposé sera consacré à ces nouvelles techniques, en mettant l'accent sur les solutions s'appuyant sur la distribution du stockage et des traitements dans des parcs de machines extensibles appelés "Cloud Computing".  Le cours présente les principales problématiques et méthodes de stockage distribué: réplication, partitionnement, tolérance aux pannes, illustrées par quelques solutions-phares (ElasticSearch, Hadoop, Cassandra, etc).

Calcul distribué. Le stockage distribué est associé à des systèmes permettant de paralléliser les calculs pour traiter en temps raisonnable de très grandes masses de données, notamment à des fins analytiques. Le calcul parallèle à grande échelle est introduit et illustré avec des principes phares comme MapReduce, et des systèmes comme Spark, Hadoop et Flink.

Public

Prérequis: M1 ou niveau Bac+4 informatique

Bonnes connaissances en bases de données, architectures des systèmes informatiques, pratique de la programmation
Public: cycle d'ingénieur CNAM, Master M2

Compétences

Compréhension des défis et des enjeux actuels dans la gestion de l'information, de plus en plus orientée vers l'acquisition et l'analyse de grandes masses de données. Maîtrise des techniques de base concernant ces nouvelles technologies. Systèmes NoSQL, techniques de distribution de données, techniques de recherche d'information.

Modalité de validation

examen, projet, travaux pratiques

Contenu de la formation

Modélisation de données peu structurées
- Documents structurés, JSON, XML
- Données web, Open data, services REST

- Bases documentaires: MongoDB, CouchDB, Cassandra

Recherche d'information
- introduction à la recherche textuelle dans les documents, indexation textuelle et Recherche d'Information (IE, Google, Amazon, ...)

- moteur de recherches: ElasticSearch, Solr

Systèmes de stockage distribués

- systèmes distribués, équilibrage, partitionnement, réplication

- cloud, performances, architectures, scalabilité
- illustration concrète avec quelques systèmes NoSQL: MongoDB, Cassandra, ElasticSearchSystèmes de calcul distribué

  - Le paradigme MapReduce

  - Systèmes modernes de traitement à grande échelle: Spark, Flink

 

Bibliographie

Abiteboul, Manolescu, Rigaux, Rousset, Sennelart Web Data Management, Cambdrige Publishing, 2012
R. Baeza-Yates, B. Ribeiro-Neto Modern Information Retrieval, Addison-Wesely, 1999
P.Rigaux Support en ligne: http://b3d.bdpedia.fr

Cette UE apparaît dans les diplômes et certificats suivants :

Certificat de spécialisation Analyste de données massives - CS5900A
Master Sciences, technologies, santé mention Informatique parcours Systèmes d'information et business intelligence - MR11603A
Master Sciences, technologies, santé mention Informatique parcours Traitement de l'information et exploitation des données - MR11604A
Diplôme d'ingénieur Spécialité informatique parcours Informatique systèmes d'information - CYC9105A

Aucune information de planification n'est pour le moment disponible.

FAQ

Questions - Réponses

Le Conservatoire national des arts et métiers est un établissement public d'enseignement supérieur placé sous la tutelle du Ministère de l'Éducation Nationale et de la Recherche.

Il propose des parcours de formation s'adaptant au rythme de chaque auditeur qui peut suivre ses cours le soir, le samedi matin ou à distance sur Internet.

L'offre de formation, riche et diversifiée, permet d'acquérir un diplôme, un certificat ou simplement de développer ses compétences.

Le Cnam s'adresse à tous les adultes qui désirent :

  • obtenir un diplôme en suivant des cours de niveau Bac à Bac + 5
  • obtenir un certificat afin d'acquérir une qualification professionnelle
  • compléter, approfondir ou actualiser ses connaissances, à la carte

En Ile-de-France, 12 lieux de formation vous accueillent pour vous aider à choisir et organiser votre parcours de formation et naturellement vous inscrire dans le centre de votre choix.

Aucun diplôme n’est exigé pour préparer un titre RNCP III (Bac+2) ou un diplôme d’établissement.

La préparation d’une licence nécessite d’être titulaire d’un baccalauréat, celle des titres RNCP II (Bac+4) ou d’un diplôme d’ingénieur d’avoir obtenu un Bac+2.

Un cycle de remise à niveau est conseillé pour les auditeurs qui reprennent leurs études après une interruption.

Un diplôme Cnam s’obtient par la validation des UE le constituant, crédits d’expérience professionnelle et parfois la rédaction d’un rapport d’activité ou d’un mémoire de fin d’études.

Pour en savoir plus : prenez contact avec un conseiller pédagogique du Cnam Ile-de-France, proche de votre travail ou de votre domicile

Le Cnam offre la possibilité de préparer, à son rythme, un diplôme, un titre ou un certificat, allant de Bac + 1 à Bac + 5.

Parcourez nos thèmes de formation :

Le Cnam inscrit son offre de formation dans un contexte international d’harmonisation des diplômes et propose notamment, à l'image des universités, une organisation des études en Licence, Master, Doctorat.

Les formations sont regroupées en domaines de formation. Pour chaque domaine de formation, trois cycles sont proposés :

  • Licence : Bac+3
  • Master : Bac+4
  • Doctorat : Bac+8

Chacun de ces cycles débouche sur un diplôme national, reconnu dans l'espace européen.

Les formations et diplômes du Cnam sont composés de cours appelés UE ou unités d'enseignement.

Ces UE sont cumulables pour :

  • vous spécialiser et acquérir rapidement des compétences nouvelles en préparant un certificat
  • vous engager dans une formation diplômante
  • composer votre formation à la carte, sans objectif de diplôme ni de durée.

Dans nos centres  : Rendez-vous dans un de nos centres franciliens pour rencontrer nos conseillers pédagogiques, bâtir votre projet de formation et procéder à votre inscription.

Contactez-nous

En ligne  : Vous pouvez vous inscrire directement en ligne à partir de notre site

Rechercher une Unité d'enseignement (cours du soir, en journée ou en ligne)

A noter : l'inscription en ligne est réservée à un public averti. Pour une première inscription, il est recommandé de rencontrer un conseiller pédagogique.

Le choix des UE dépend de l’objectif de formation.

Certaines formations (diplômantes ou certifiantes) imposent un parcours précis et la capitalisation d’UE prédéfinies.

 

Si votre objectif est d’acquérir des connaissances, vous pouvez choisir vos UE à la carte. Vous construirez ainsi une formation plus courte et mieux adaptée à vos besoins.

A noter : la nécessité de valider certaines UE et leurs bases indispensables pour progresser vers d'autres UE.

Selon votre disponibilité. A titre d'exemple, un rythme de 4 à 6 UE dans l'année, soit 2 à 3 par semestre est raisonnable et assez dense.

Il s'agit du système européen de transfert de crédit ou European Credit Transfer System.

A chaque diplôme correspond un volume précis de crédits ECTS : 180 crédits pour la Licence, 120 crédits pour le Master après la Licence.

Les crédits facilitent la souplesse entre les parcours et la mobilité.
Ils sont cumulables, donc définitivement acquis, et transférables d'une université à l'autre, en France et en Europe.

Le coût de la formation dépend du nombre d’UE suivies et du nombre de crédits que valident ces UE.

A chaque UE, correspond un nombre de crédits (généralement de 3 à 12 crédits).

Chaque formation diplômante ou certifiante regroupe plusieurs UE.

Le prix des UE varie entre 90€* et 360€* par semestre.

* tarifs applicables au 06/07/2020

Pour en savoir plus sur votre projet de formation, sur les possibilités de financement, prenez contact avec un conseiller pédagogique

Contactez-nous

L'ENF (Espace Numérique de Formation) est le portail d'accès vous permettant de vous identifier pour accéder à vos cours qui se trouvent sur la plateforme d'apprentissage en ligne Moodle du Cnam. L'ENF vous permet également, de gérer votre scolarité, comme retrouver vos notes, consulter les messages des enseignants, etc. L'adresse du site de l'ENF est la suivante : https://lecnam.net

Vous souhaitez en savoir plus sur l'Espace Numérique de Formation ?

Consultez le guide.

Ce dispositif permet d'obtenir une partie ou la totalité d'un diplôme du Cnam.

  • La totalité de votre expérience professionnelle compte : activités non salariées, bénévoles, etc.
  • Il faut avoir au moins 1 an d'expérience en relation avec le diplôme envisagé

A noter : un dossier de V.A.E. consiste à rassembler les preuves de l'expérience acquise par le/la candidat(e) durant sa vie professionnelle et personnelle et d'en démontrer le lien direct avec le contenu des UE ou du diplôme visé(es).

Après vérification et évaluation du dossier constitué, un jury se prononce sur la demande de validation.

Le Registre national des certificats professionnels ou RNCP regroupe l’information sur tous les titres professionnels et diplômes en France.

L'objectif est de rendre plus lisibles et comparables les diplômes des pays européens et à terme de faciliter l’accès à l’emploi, la gestion des ressources humaines et la mobilité professionnelle.

Le Cnam offre aux salariés et aux demandeurs d’emploi, la possibilité de se former tout au long de la vie.

Chacun peut préparer à son rythme l’un des diplômes, titres ou certificats proposés.

Dans ce contexte, tout est conçu pour suivre sa formation de façon continue ou discontinue :

Chaque UE validée par un examen est valable à vie.

En cas de déménagement, vous pouvez poursuivre vos études dans un autre centre Cnam présent en France ou même à l’étranger, dans l’un des quarante pays partenaires. Vous avez aussi la possibilité de suivre des cours à distance sur Internet.

À partir de votre situation présente, cet outil vous permet de faire le point sur vos compétences professionnelles et personnelles et sur vos motivations

Le bilan de compétences permet de les identifier, les valoriser et construire votre projet professionnel.

Il s'adresse à toute personne justifiant d'au moins 5 ans d'expérience professionnelle dont un an en entreprise.

Certains centres Cnam sont agréés FONGECIF en Île-de-France.

  • Les données personnelles collectées sont destinées au CNAM Ile-de-France qui est autorisé à les conserver en mémoire informatique à des fins de gestion pédagogique dans le cadre de l’exécution d’une mission d’intérêt public. Ces informations ne seront pas transmises à des tiers hors du CNAM. Conformément à la loi en vigueur, vous disposez d’un droit d’accès, de modification, de rectification, d’opposition, de limitation et de suppression des données vous concernant et d’un droit à la portabilité de ces données. Pour exercer vos droits, adressez-vous au Responsable des Systèmes d’Information par courriel (contact@cnam-iledefrance.fr) ou par lettre adressée à : AGCNAM Ile-de-France, 9 cour des petites écuries 75010 Paris.

Vous avez choisi de suivre une ou plusieurs unités d’enseignement, à la carte ou dans le cadre de la préparation d’un diplôme

dans nos centres CNAM Ile-de-France, vous êtes désormais un.e auditeur.rice du CNAM.

Ce guide a pour objectif de vous accompagner dans votre parcours.

Région Ile-de-France

A propos

L’objectif principal du Cnam Ile-de-France est de permettre aux franciliens de se former tout au long de la vie. Il accompagne ainsi chaque année, plus de 8 800 adultes dans la construction de leur projet professionnel, en partenariat avec la région Ile-de-France.

En savoir plus

 

FacebookTwitterLinkedIn