← TravauxMSc DataScale · intégration et qualité des données
Mesurer la qualité avant de la promettre : 38 indicateurs sur des données énergétiques
Consommation, population et référentiels territoriaux réconciliés par zone IRIS : orchestration Airflow quotidienne, transformations Talend et Apache Hop, 38 métriques de qualité suivies avant et après nettoyage.
- Rôle
- Conception et réalisation du pipeline
- Période
- 2025 — 2026
- Statut
- Projet académique
- Outils
- PythonAirflowTalendApache HopSQL
01Vue d'ensemble
Préparer des indicateurs de consommation énergétique par zone IRIS et catégorie socioprofessionnelle à partir de sources hétérogènes : formats, codes postaux, unités et valeurs manquantes incohérents.
MSc DataScale — intégration et qualité des données.
Ce que j'ai fait personnellement
- 01Conçu l'orchestration quotidienne Airflow et les scripts Python de contrôle.
- 02Calculé 38 métriques de qualité sur cinq tables, avec conservation des métadonnées avant/après nettoyage.
- 03Transformé les données dans Talend et Apache Hop (mapping, unions, jointures, agrégations, règles de conformité).
02Contraintes
- Sources publiques hétérogènes, référentiels territoriaux à réconcilier.
03Architecture
- 01
Ingestion
Consommation, population, référentiels IRIS.
- 02
Profilage
38 métriques mesurées avant toute correction.
- 03
Transformation
Talend et Apache Hop, règles de conformité.
- 04
Restitution
Tableau de bord comparatif avant / après.
Architecture de principe.
04Décisions d'implémentation
- 01
Mesurer d'abord
Les métriques sont calculées avant et après chaque étape : l'amélioration de la qualité devient un résultat observable, pas une affirmation.
05Difficultés
Codes et unités
Codes postaux et unités divergents entre sources : normalisation explicite et traçable.
06Évaluation
Comparaison des 38 métriques avant et après nettoyage, par table.
07Résultats
- Une chaîne reproductible qui sépare brut, nettoyé et agrégé.
08Ce que j'en retiens
- 01La qualité des données se pilote avec des indicateurs, comme le reste du système.
09Preuves