Aller au contenu

Accueil/Transformation des données & ETL

05 / Transformation des données et ETL

Transformer les données.
Uniformiser les formats.

Développez des transformations de données et des pipelines ETL reproductibles. Les données sont lues depuis les sources prises en charge, mappées vers un modèle cible, validées et chargées dans le système requis.

Discuter de votre projetVoir le périmètre du projet
ETLJSON / XML / CSVValidation
SCHÉMA D’INTÉGRATION / EXEMPLESOURCE / TRANSFORM / TARGET
SOURCE / JSON

Des formats différents.

{
  "customer_id": "001042",
  "country": "at",
  "total": "21,90"
}
MAPPING / NORMALISATION
TRANSFORM / RÈGLES

customer_id→externalId:string
country→uppercase()
total→decimal(de-AT)
VALIDATION / SCHÉMA CIBLE
TARGET / JSON

Des types de données validés.

{
  "externalId": "001042",
  "countryCode": "AT",
  "total": 21.9
}

Les zéros initiaux sont conservés. Nombres et codes suivent le schéma cible.

Situation initiale

Le format est connu. Le sens l’est souvent moins.

Deux fichiers CSV peuvent décrire le même champ différemment. Les dates sont ambiguës, les séparateurs décimaux varient selon le pays et les zéros initiaux d’un identifiant produit sont essentiels. Nous définissons le sens des champs et documentons leur transformation.

Domaines d’application

Convertir les formats vers un modèle commun.

Automatiser les imports et exports

Remplacez les conversions manuelles récurrentes par un pipeline de données pour CSV, XML, JSON ou extractions de bases de données prises en charge.

Reporting et consolidation

Convertissez les données de plusieurs systèmes vers un modèle de reporting uniforme avec une provenance et des règles de mise à jour documentées.

Mapping spécifique aux partenaires

Convertissez vos enregistrements internes vers le schéma d’un fournisseur, d’une marketplace ou d’une plateforme. La validation précède la livraison.

Périmètre du projet

Mapping.
Validation. Contrat cible.

Le périmètre dépend de vos systèmes et du résultat attendu. Nous convenons de ces points avec vous.

Les données erronées nécessitent un traitement visible.

Les enregistrements invalides sont isolés, corrigés ou rejetés selon les règles convenues. Les informations manquantes ne sont pas complétées silencieusement. Les ambiguïtés restent visibles pour permettre leur clarification métier.

  • Analyse des sources et schéma cible versionné
  • Mappings pour types de données, identifiants, dates, unités et formats nationaux
  • Validation des champs obligatoires et règles pour les enregistrements rejetés
  • Étapes reproductibles d’extraction, de transformation et de chargement
  • Journaux d’exécution et provenance des données traçable
  • Données de test représentatives et critères de réception pour les évolutions futures

Le périmètre des prestations et les responsabilités sont convenus pour chaque projet. Méthode : réception et exploitation

Questions techniques

Types de données et règles de mapping.

Migration de donnéesSynchronisation des données
Quelle différence entre ETL et migration de données ?
ETL désigne l’extraction, la transformation et le chargement et peut être exécuté régulièrement. Une migration transfère les données vers un nouveau système, généralement avec une bascule. Un pipeline ETL peut servir à cet effet.
Pouvez-vous convertir CSV, XML et JSON ?
Oui, si les schémas source et cible sont définis. L’essentiel est de conserver le sens, les types et les relations. L’extension du fichier ne définit pas à elle seule une règle complète de conversion.
Comment sont traités les enregistrements invalides ?
Nous définissons les règles de validation et le traitement des exceptions. Les enregistrements rejetés restent visibles avec suffisamment de contexte pour être corrigés. Le projet précise si une erreur arrête toute l’exécution ou est traitée individuellement.
Les mappings peuvent-ils être modifiés ultérieurement ?
Les mappings sont versionnés et testés avec des données représentatives. Les modifications peuvent ainsi être validées contre le schéma cible existant avant leur publication.

Votre prochaine connexion

Que doivent accomplir
vos systèmes ensemble ?

Vous apportez la problématique. Nous clarifions les connexions.

Discuter de votre projet

Problématiques d’intégration concrètes

Les sujets techniques de ce domaine.

Processus de données

Automatiser les imports CSV

Le fichier arrive chaque jour. Quelqu’un corrige les colonnes, l’importe et vérifie ensuite les messages d’erreur. DataSource transforme cette tâche récurrente en un import documenté avec des règles explicites pour les données incomplètes ou erronées.

Processus de données

Transformation des données JSON / XML

Les données sont techniquement lisibles mais restent rejetées. Noms de champs, types ou structures ne correspondent pas à l’application cible. Nous développons des mappings traçables qui traitent aussi les valeurs vides, les cas particuliers et les évolutions du format source.

Processus de données

Automatiser les processus de données produit

L’ERP fournit les données de référence, le PIM les textes et un fournisseur les caractéristiques techniques. Les listes manuelles ne relient ces informations que temporairement. Nous créons un flux défini du champ de référence à l’export validé pour chaque canal.