Modèle d’article
À propos de la tâche de transformation de base
La tâche de transformation de base vous permet d’éditer et de valider vos données brutes en un document compatible et simplifié. La transformation des données peut aider à unifier automatiquement vos ensembles de données afin de les exporter dans le format que vous souhaitez envoyer à vos partenaires et à vos équipes.
Mise en place d’une tâche de transformation de base
- Cliquez sur le menu de navigation en haut à gauche.
- Sélectionnez FLUX DE TRAVAIL.
- Cliquez sur Créer un flux de travail.
- Cliquez sur Extraire, transformer et charger (ETL) les données.
- Si vous le souhaitez, renommez votre flux de travail en cliquant sur le nom du flux de travail en haut.
- Configurez votre tâche d’extraction. Cette tâche fournira les données qui seront transformées dans ce Flux de travail. Pour obtenir des instructions sur la configuration des tâches d’extraction, reportez-vous à la section Création de flux DEVAIL.
- Cliquez sur Transformation des données.
- Sélectionnez Basic Transform dans le menu.
- Choisissez la source de données dans la liste déroulante.
- Cliquez sur Suivant.
- Modifiez les champs de votre tâche d’extraction. Il y a quatre éléments principaux pour chaque domaine :
- Obligatoire: Cochez la case située à côté du champ si les données sont obligatoires. Si le champ est coché et qu’il n’y a pas de données dans ce champ, il sera ignoré.
- Champ source: Tous les champs du fichier dans la tâche d’extraction. Lorsque vous ajoutez un nouveau champ, sélectionnez dans la liste déroulante la colonne dont les données seront extraites.
- Nom du champ de destination: le nom du champ apparaîtra dans l’ensemble de données transformé. Si vous souhaitez renommer des champs du fichier source, modifiez le nom dans cette colonne.
- Type de champ: Comment les données extraites seront interprétées dans l’ensemble de données transformé. Le type de champ détermine les opérations de transformation disponibles.
- Cliquez sur le menu à trois points à droite pour transformer vos données, ajouter des règles de validation, ajouter des champs conditionnels ou supprimer ce champ de l’ensemble de données. Pour plus d’informations sur ces options, voir les sections ci-dessous.
- Si vous souhaitez ajouter un champ supplémentaire à l’ensemble de données, cliquez sur Ajouter un champ.
Astuce : Vous pouvez réorganiser vos champs en plaçant votre souris à gauche du nom du champ, en cliquant sur l’icône qui apparaît, puis en faisant glisser le champ. La réorganisation des champs avec la tâche de transformation de base est le seul moyen de garantir l’ordre des champs dans les flux de travail ETL.
- Évaluez toutes vos transformations dans l’onglet Transformations appliquées. Pour plus d’informations sur chaque transformation, cliquez sur une transformation. Cliquez sur le menu à trois points pour modifier ou supprimer.
Astuce: Les opérations sont effectuées dans l’ordre où elles apparaissent dans l’onglet des transformations appliquées, qui est l’ordre dans lequel elles sont configurées. Si plusieurs opérations sont mises en place sur le même champ, les opérations suivantes seront calculées sur les résultats des précédentes. - Évaluez toutes vos règles de validation dans l’onglet Règles de validation. Pour plus d’informations sur chaque règle de validation, cliquez sur une règle de validation. Cliquez sur le menu à trois points pour modifier ou supprimer.
- Cliquez sur Suivant.
- Évaluez le résumé de vos transformations et validations. Cliquez sur Enregistrer lorsque vous êtes prêt.
Transformation des données
Les opérations de transformation disponibles pour votre champ dépendent du type de champ de destination.
Les transformations suivantes sont disponibles pour les champs de type valeur de texte, ensemble de textes et texte ouvert :
- Concaténer: Combine les valeurs de plusieurs champs.
- Diviser: Diviser le champ d’origine en plusieurs champs séparés par un délimiteur.
- Ajouter un préfixe: Ajouter un texte au début de chaque valeur.
- Ajouter le suffixe. Ajouter du texte à la fin de chaque valeur.
- Format case: Appliquer un format de casse (par exemple UPPERCASE) à toutes les valeurs du champ.
- Remplacer la valeur: Rechercher et remplacer des valeurs dans le champ.
- Valeur de découpage : Supprime les chaînes de caractères ou les espaces blancs spécifiés au début, à la fin ou aux deux extrémités du texte dans le champ.
- Diviser par nombre de caractères: Diviser le texte en deux champs en spécifiant le nombre de caractères à partir du début ou de la fin.
Les transformations suivantes sont disponibles pour les champs de valeurs de nombres et d’ensembles de nombres :
- Transformation par addition : Ajoutez une valeur à chaque nombre du champ ou additionnez deux champs.
- Transformation par soustraction: Soustraire une valeur à chaque nombre du champ ou soustraire un champ d’un autre.
- Transformation par multiplication: Multiplier une valeur à chaque nombre du champ ou multiplier deux champs ensemble.
- Transformation par division: Séparateur de chaque nombre du champ par une valeur ou division d’un champ par un autre.
- Transformation de la division des nombres entiers: Séparateur de chaque nombre du champ par une valeur ou division d’un champ à partir d’un autre. Ne renvoie que le nombre entier (integer).
- Valeur absolue: Obtenir la valeur absolue de chaque valeur du champ.
- Arrondir la valeur: Arrondir toutes les valeurs du champ vers le haut ou vers le bas.
- Moyenne des valeurs: Faites la moyenne des valeurs des champs sélectionnés pour chaque réponse.
- Médiane des valeurs: Prendre la médiane des valeurs dans les champs sélectionnés pour chaque réponse.
- Somme des valeurs: Faites la somme des valeurs des champs sélectionnés pour chaque réponse.
- Minimum de valeurs: Prendre le minimum des valeurs dans les champs sélectionnés pour chaque réponse.
- Maximum de valeurs : Prendre le maximum des valeurs dans les champs sélectionnés pour chaque réponse.
Les transformations suivantes sont disponibles pour les champs de date :
- Calcul de la date: Chronomètre le temps écoulé entre la date source actuelle et une autre date.
- Chronomètre: Décalage de la date/heure avec une valeur temporelle spécifiée. Par exemple, vous pouvez indiquer la date de 5 jours après une interaction.
Lors de la saisie d’un format de date/heure personnalisé, voici les options de formatage :
- Année : aaa, aaa
- Mois : M, MM, MMM, MMMM
- Jour: d, dd
- Jour de l’année: JJD
- Heure de la demi-journée : K, KK
- Heure du jour: HH
- Minute: m, mm
- Deuxième: s, ss
- Fraction de seconde: S, SS, SSS
- Décalage du fuseau horaire: ZZZZ, ZZ:ZZ (peut inclure +/-)
- Demi-journée de la journée: a
- Jour de la semaine: E, EE
- Format du fuseau horaire: z
  ;
Validation des données
L’ajout de règles de validation vous permet de créer des critères et des conditions qui garantissent que les données contenues dans vos champs ont le même format. Par exemple, vous pouvez vouloir éliminer tous les enregistrements dont l’adresse électronique n’est pas valide.
- Cliquez sur le menu à trois points, puis sur Ajouter une règle de validation.
- Sélectionnez ” Inclure uniquement les réponses qui ne sont pas vides ” si vous souhaitez omettre la réponse enregistrée si ce champ est vide. Cette préférence a le même effet que la colonne Requis dans la table de transformation.
- Sélectionner le type de données de l’enregistrement d’exécution, en n’incluant que les enregistrements qui peuvent être convertis dans le type spécifié afin de les valider en fonction du format des données. Par exemple, pour une valeur textuelle, vous pouvez choisir si cette donnée doit être un nombre ou un texte.
- Devrait avertir en cas d’échec au lieu d’ignorer: L’activation de cette option permet d’inclure dans l’ensemble de données les enregistrements qui ne répondent pas aux critères de validation. Un avertissement s’affiche dans le rapport de ligne, indiquant que la réponse n’a pas respecté cette règle. Si cette case n’est pas cochée, l’information sera ignorée et ne sera pas incluse dans le nouvel ensemble de données.
- Ajoutez des règles de validation, si vous le souhaitez. Pour en savoir plus, voir la section ci-dessous.
- Cliquez sur Appliquer.
RÈGLES DE VALIDATION
Vous pouvez ajouter des règles de validation pour valider de manière conditionnelle les données de votre champ. Pour plus d’informations sur les conditions de construction, voir les bases des conditions de construction.
- Sélectionnez ce qu’il adviendra de l’enregistrement en cas de défaillance de la condition. Vous pouvez choisir d’ignorer l’information afin qu’elle ne soit pas incluse dans l’ensemble de données ou de l’inclure avec un avertissement.
- Indiquez si toutes les règles ou une partie d’entre elles doivent être vraies pour que la condition soit validée.
- Créez votre condition à l’aide de la liste déroulante des opérateurs et de la zone de texte. Cela détermine ce que l’enregistrement de ce champ doit satisfaire pour que la condition soit remplie.
Astuce: pour créer une autre condition ou supprimer une condition existante, cliquez sur le menu à trois points situé à droite. - Ajoutez une autre règle de validation, si vous le souhaitez.
Astuce: cliquez sur la corbeille pour supprimer une règle de validation.
- Cliquez sur Appliquer.
Champs conditionnels
Les champs conditionnels sont créés en établissant des ensembles de conditions logiques qui utilisent d’autres champs pour déterminer comment le champ est créé. Ajoutez un champ conditionnel à partir du menu à trois points situé à droite des champs source. Pour plus d’informations sur les conditions de construction, voir les bases des conditions de construction.
CHAMP CONDITIONNEL
Un champ conditionnel crée un nouveau champ sur la base d’une condition logique unique.
- Saisissez le nom du nouveau champ.
- Choisissez un opérateur pour votre condition.
- Saisissez la valeur pour déterminer comment la condition est remplie.
- Saisissez ce qui sera renvoyé si la règle créée aux étapes 2 et 3 est vraie.
- Saisissez ce qui sera renvoyé si la règle créée aux étapes 2 et 3 est fausse.
- Cliquez sur Appliquer lorsque vous avez terminé.
CHAMP CONDITIONNEL AVANCÉ
Un champ conditionnel avancé crée un nouveau champ basé sur plusieurs conditions logiques ou ensembles de conditions.
- Saisissez le nom du nouveau champ.
- Indiquez si une ou toutes les règles doivent être vraies pour valider la condition.
- Créer une condition. Pour plus d’informations, voir la section Champ conditionnel ci-dessus.
- Pour créer un nouvel ensemble de conditions, cliquez sur Ajouter une branche.
Astuce : Le nombre de branches est limité à 4.
- Cliquez sur Appliquer lorsque vous avez terminé.
Dossier transformé et Rapports
La tâche de transformation de base génère le fichier transformé ainsi que deux rapports pour vous aider à comprendre votre ensemble de données transformé. Dans l’onglet Historique des exécutions de votre éditeur de flux de travail, cliquez sur la tâche Transformation de base dans l’exécution du flux de travail pour voir les fichiers sur la côte droite. Ces fichiers peuvent être exportés en cliquant sur l’icône de téléchargement à leur droite.
- Rapports de transformation: Toutes les transformations effectuées sur les enregistrements du fichier source et d’autres détails tels que le nom, le numéro de ligne, le statut, la raison de l’échec, etc.
- Fichier transformé: Le résultat de la transformation des données contenant le nouvel ensemble de données avec toutes les transformations et validations appliquées.
- Rapport de validation: Rapports sur les validations effectuées, indiquant si l’enregistrement a été exclu et la validation à laquelle il a échoué.
Résolution des problèmes
- Si le fichier produit par la tâche de transformation de base est supérieur à 1 Go, le flux de travail échouera.
- Selon la manière dont vous choisissez de transformer vos données, la tâche de transformation de base peut ajouter davantage de données à votre fichier. Si le fichier que vous extrayez est déjà proche de la limite de 1 Go, n’oubliez pas que vos transformations peuvent rendre votre fichier trop volumineux pour être traité.