Processus de données / 05
Automatiser les imports CSV. Traiter les erreurs de manière ciblée.
Le fichier arrive chaque jour. Quelqu’un corrige les colonnes, l’importe et vérifie ensuite les messages d’erreur. DataSource transforme cette tâche récurrente en un import documenté avec des règles explicites pour les données incomplètes ou erronées.
La situation initiale
Le format est simple. Les règles de données le sont souvent moins.
Un fournisseur livre des articles avec un point-virgule comme séparateur et une virgule décimale allemande. Les numéros d’articles contiennent des zéros initiaux et les descriptions peuvent contenir des retours à la ligne. Traiter ces données comme de simples lignes de texte les endommage.
Nous examinons le contrat de fichier réel : encodage, guillemets, noms de colonnes, valeurs obligatoires, dates et définition d’un fichier complet. La réception peut s’effectuer par SFTP ou upload protégé.
Ce que DataSource prend en charge
Réception du fichier. Préparation. Intégration.
Réception du fichier
Reconnaître les fichiers terminés en sécurité, par exemple après un renommage atomique convenu ou un marqueur associé. Ne pas importer un transfert encore en cours.
Préparation
Lire avec un parser CSV, normaliser les champs selon leurs types et vérifier les clés métier. Produire des erreurs compréhensibles avec références au fichier et à la ligne ou à l’enregistrement.
Intégration
Mettre en œuvre staging, aperçu et import cible selon le système. Hash de fichier, identifiant d’import et enregistrements confirmés empêchent les intégrations multiples involontaires.
Scénario technique / Exemple illustratif
Conserver les zéros initiaux, normaliser les valeurs décimales.
Mapping illustratif d’une ligne valide. Le numéro d’article reste une chaîne. Les prix invalides ne sont pas silencieusement remplacés par null, mais traités comme des erreurs corrigibles.
Données d’exemple et règles proposées. Les interfaces et règles métier concrètes seront examinées pour votre projet.
artikel;preis;land
004218;49,90;at
→ {
"sku": "004218",
"price": "49.90",
"countryCode": "AT"
}Gestion des erreurs, sécurité et exploitation
Import partiel : vérifier et exploiter.
Import partiel
Décider à l’avance si une ligne erronée arrête tout l’import. Des enregistrements dépendants peuvent nécessiter une validation commune.
Reprise
Distinguer version du fichier et clé d’enregistrement. Un fichier corrigé doit pouvoir être traité sans déclencher à nouveau les opérations déjà intégrées.
Exploitation
Surveiller les délais de livraison attendus, les fichiers absents et les colonnes modifiées. Ne pas inclure identifiants d’accès et contenus sensibles des lignes dans les rapports généraux d’erreur.
Questions métier
Les détails qui comptent avant la mise en œuvre.
CSV · SFTP · Encodage · Mapping · Validation · Import
Un fichier Excel peut-il être traité de la même façon ?
XLSX est un format différent avec ses propres règles de types et formules. Nous pouvons le prendre en compte comme une source distincte ; il n’est pas simplement renommé en CSV.
Que se passe-t-il avec de nouvelles colonnes ?
Le contrat de fichier définit si les colonnes supplémentaires sont tolérées. L’absence de colonnes obligatoires ou un changement de signification entraîne un contrôle ciblé.
Les lignes valides doivent-elles toujours attendre ?
Cela dépend de la cohérence métier. Un import partiel peut convenir pour des articles indépendants, mais pas nécessairement pour une commande constituant un ensemble.
Pour la clarification technique
Partir de votre processus concret.
Fournissez un fichier original anonymisé, les instructions actuelles d’import, le système cible et les messages d’erreur habituels. Des exemples avec caractères accentués, valeurs null et zéros initiaux sont particulièrement utiles.
Le premier échange clarifie les accès disponibles, la responsabilité des données et un premier flux limité. Nous convenons ensuite du périmètre, des responsabilités et des conditions.
Des exemples anonymisés suffisent pour commencer. Merci de ne pas envoyer de mots de passe, tokens ou données personnelles de production dans la première demande.
Problématiques associées
La prochaine connexion dans son contexte.
Transformation des données JSON / XML
Les données sont techniquement lisibles mais restent rejetées. Noms de champs, types ou structures ne correspondent pas à l’application cible. Nous développons des mappings traçables qui traitent aussi les valeurs vides, les cas particuliers et les évolutions du format source.
Automatiser les processus de données produit
L’ERP fournit les données de référence, le PIM les textes et un fournisseur les caractéristiques techniques. Les listes manuelles ne relient ces informations que temporairement. Nous créons un flux défini du champ de référence à l’export validé pour chaque canal.
Connecter les bases de données SQL
Le reporting, les portails ou les applications métier ont besoin de données d’une autre base. Nous concevons une connexion tenant compte des droits d’accès, de la cohérence des données et des règles des applications concernées.