Identifiant unique d’exécution de l’ETL

id_etl_execution

Il s’agit de l'identifiant unique de l'exécution d’un ETL.

Statut d’exécution de l’ETL

etl_status

• RUNNING : en cours d’exécution.

• FINISHED : exécution terminée.

• ETL_LIMIT_TIME_REACHED : limite de temps atteinte.

Date début d’exécution de l’ETL

etl_start_date

Il s’agit de la date/heure de démarrage des traitements ETL.

Durée totale d’exécution de l'ETL

total_etl_execution_time

Exprimé en millisecondes.

Temps d’exécution des traitements V2

execution_time_v2

Exprimé en millisecondes

Temps d’exécution des traitements V1

execution_time_v1

Exprimé en millisecondes

Durée d’exécution de l’intégration avec QuickSight

execution_time_viz

Exprimé en millisecondes.

Taille totale du datawarehouse (bytes)

total_size_bytes

Exprimé en bytes.

Taille totale du datawarehouse

total_size_pretty

Exprimé dans un format lisible (Mo, Go, …)

Taille du datawarehouse pour les traitements V2

dwh_size_v2_bytes

Exprimé en bytes.

Taille du datawarehouse pour les traitements V1

dwh_size_v1_bytes

Exprimé en bytes.

Taille totale du SPICE consommé

spice_size_bytes

Exprimé en bytes.

Nombre total de requêtes d’extraction

total_query_v2_count

Nombre total des requêtes d’extraction, toute société confondue.

Nombre de requêtes V2 mise à jour

executed_query_v2_count

Nombre des requêtes d’extraction qui ont été mises à jour avec succès, toute société confondue.

Nombre de requêtes V2 en échec

error_query_v2_count

Nombre des requêtes d’extraction en échec, toute société confondue.

Périmètre d’exécution des traitements V1

etl_v1_complete

• true : L’ensemble des données ont été traitées dans le cadre du V1.

• false : Seul un sous-ensemble de données à été traité. Peut se produire suite à une action de maintenance.

Statut des traitements V1

etl_v1_status

• OK : Les traitements en relation avec le V1 sont terminés avec succès.

• KO : Les traitements en relation avec le V1 sont terminés avec des erreurs.

• ETL_LIMIT_TIME_REACHED : Limite de temps atteinte en cours d’exécution.

Nombre total de datasets présents dans Quicksight

total_dataset_count

Nombre total de datasets présents dans l’espace QuickSight, indépendamment de leur génération automatique ou non dans le cadre des traitements V2.

Nombre de datasets mis à jour

updated_dataset_count

Nombre de datasets dont le SPICE à été mis à jour via les traitements d’intégration avec QuickSight.

Nombre de dataset en erreur

error_dataset_count

Nombre de datasets en erreur (échec de mise à jour, erreur lors de l’accès au dataset, …).

Identifiant unique d’exécution de l’ETL

id_etl_execution

Il s’agit de l'identifiant unique de l'exécution d’un ETL.

Date de détection du dataset

date

Correspond à la date d’insertion de ce dataset dans cette table d’historique pour qu’il soit traité ultérieurement.

Identifiant du dataset

id_dataset

Nom du dataset

name_dataset

Nom du dataset présent dans QuickSight

Liste des propriétaires du dataset

owner_dataset

Ensemble des propriétaires du dataset dans QuickSight.

Statut de traitement du dataset

status

• TODO : la mise à jour du dataset doit être réalisé par les traitements suivants.

• IN_PROGRESS : la mise à jour du dataset est en cours.

• OK : la mise à jour du dataset s'est terminée avec succès.

• KO : la mise à jour du dataset a échoué.

• IGNORED : la mise à jour du dataset est ignoré et ne sera pas traité.

Liste des identifiants des datasets faisant référence au dataset courant

dependencies

Peut être vide. Permet de gérer la mise à jour “en cascade” des Datasets se référençant les uns les autres.

Dataset en mode SPICE

is_spice_mode

• True si le dataset est chargé dans le SPICE

• False si le dataset est en mode Direct Query.

Identifiant de l’ingestion la plus récente

id_ingestion

Donnée technique pour les traitements.

Temps d’exécution du dernier rafraichissement du SPICE

ingestion_time_in_seconds

Exprimé en secondes

Taille du SPICE consommé

spice_size

Exprimé dans un format lisible (Mo, Go, …)

Taille du SPICE consommé (bytes)

spice_size_in_bytes

Exprimé en bytes

Complément information concernant les datasets dont la mise à jour est ignorée.

ignore_cause

• QUERY_KO : la requête d’extraction en échec.

• QUERY_NOT_EXECUTED : la requête est hors période de récurrence (Ex: Requêtes d’extraction à mettre à jour tous les lundis)

• NOT_ON_SYLOB_DATASOURCE : le dataset ne référence pas la “Data Source Sylob”.

• DEPENDENCY_IGNORED_OR_KO : la mise à jour de l'une des dépendances du dataset a échoué, le dataset courant n’a pas été mis à jour.

• DATASET_ON_KO_DATA : Statut spécifique aux datasets créés sur via des traitements V1. Si les traitements du V1 sur la société où sont présentes les ressources sont en échec, le dataset n’est pas mis à jour.

• ETL_LIMIT_TIME_REACHED : limite de temps atteinte en cours d’exécution.

• OTHER : erreur technique autre.

Date de définition du format du dataset

structure_definition_date

Donnée technique pour les traitements. Permet notamment d’identifier des changements (ajout/suppression de colonnes, …) et est utilisée pour gérer la mise à jour automatique des datasets en relation avec les traitements V2.

Année

year

Année du relevé.

Mois

month

Mois du relevé.

Taille du datawarehouse

dwh_size

Taille moyenne du datawarehouse sur le mois en format lisible (Mo, Go, …).

Taille max du datawarehouse

dwh_max_size

Taille maximum du datawarehouse sur le mois en format lisible (Mo, Go, …).

Taille min du datawarehouse

dwh_min_size

Taille minimum du datawarehouse sur le mois en format lisible (Mo, Go, …).

Taille du SPICE

spice_size

Taille moyenne du SPICE sur le mois en format lisible (Mo, Go, …).

Taille max du SPICE

spice_max_size

Taille maximum du SPICE sur le mois en format lisible (Mo, Go, …).

Taille min du SPICE

spice_min_size

Taille minimum du SPICE sur le mois en format lisible (Mo, Go, …).

Taille du datawarehouse (bytes)

dwh_size_bytes

Taille moyenne du datawarehouse sur le mois en bytes.

Taille max du datawarehouse (bytes)

dwh_max_size_bytes

Taille maximum du datawarehouse sur le mois en bytes.

Taille min du datawarehouse (bytes)

dwh_min_size_bytes

Taille minimum du datawarehouse sur le mois en bytes.

Taille du SPICE (bytes)

spice_size_bytes

Taille moyenne du SPICE sur le mois en bytes.

Taille max du SPICE (bytes)

spice_max_size_bytes

Taille maximum du SPICE sur le mois en bytes.

Taille min du SPICE (bytes)

spice_min_size_bytes

Taille minimum du SPICE sur le mois en bytes.

Identifiant interne

id

Identifiant technique de la requête d’extraction

Nom de la table DWH

table_name

Nom technique de la table présente dans le datawarehouse.

Nom de la requête d’extraction

query_name

Libellé de la requête d’extraction renseigné dans l’ERP.

Date de début de récupération des données

desired_min_recuperation_date

Date à partir de laquelle des données modifiées ou créées sont récupérées pour cette requête d’extraction.

Période de mise à jour

daily_retrieved_data_in_days

Nombre de jour d’historique des données qui sera supprimé puis réinséré lors de l’alimentation des données de cette requête d’extraction

Date de régénération des données

required_regeneration_date

Date à laquelle une régénération complète des données a été demandée / a été nécessaire.

Date de la donnée la plus ancienne actuellement présente dans le Datawarehouse

real_min_recuperation_date

Donnée technique pour les traitements.
Permet notamment de gérer les cycles d’allotissement de la récupération des données.

Code de la langue de la requête d’extraction

langue

Date de la donnée la plus ancienne

min_source_data_date

Donnée technique pour les traitements.
Permet notamment de gérer les cycles d’allotissement de la récupération des données.

Dataset automatique dans Quicksight

automatic_dataset_qs

• true si un dataset à l’image de la requête d’extraction doit être géré dans Quicksight.

• false sinon.

Dataset en mode Spice

dataset_spice

• true si le dataset géré automatiquement doit être dans le SPICE.

• false sinon.

Nom du dataset

dataset_name

Date de définition du format du dataset

structure_definition_date

Donnée technique pour les traitements.

Permet notamment d’identifier des changements (ajout/suppression de colonnes, …) et est utilisé pour gérer la mise à jour automatique des datasets en relation avec les traitements V2.

Identifiant interne

id

Identifiant technique de l’attribut de la requête d’extraction.

Identifiant de la requête d’extraction

id_infoquery

Permet de faire le lien entre l’attribut courant et sa requête d’extraction.

Position de la colonne dans la requête du système d’information

index

Numéro d’ordre. Non répercuté sur l’ordonnancement réel des colonnes de la table dans le datawarehouse.

Libellé de la colonne

column_label

Libellé de l’attribut défini au niveau de la requête du système d’information.

Nom de la colonne dans la table

column_name

Nom “technique” de la colonne dans la table du datawarehouse.

Format de la colonne (typage)

type

Type de l’attribut dans la table. Exemples : varchar(255), numeric(31,8), date…

Présence d’un index sur cette colonne

column_optimized

• Optimized : lorsqu'un index permettant d’accélérer les requêtes de sélection est présent sur cette colonne.

• Not optimized : si aucun index n’est présent.

Identifiant unique d’exécution de l’ETL

id_etl_execution

Il s’agit de l'identifiant unique de l'exécution d’un ETL.

Date d’exécution de la requête

start_execution_date

Date de début des traitements d’extraction des données.

Identifiant de la requête d’extraction

id_infoquery

Référence l’identifiant de la table _info_query.

Nom de la table présente dans le datawarehouse

table_name

Nom technique de la table présente dans le datawarehouse.

Nom de la requête d’extraction

query_name

Libellé de la requête d’extraction renseigné dans l’ERP.

Statut de traitement de la requête d’extraction

status

• OK_COMPLETE : extraction réalisée avec succès sur l’ensemble des données.

• OK_INCOMPLETE : extraction réalisée avec succès, mais l’ensemble des données n’a pas encore été récupéré (allotissement).

• KO : échec de l’extraction des données.

• RUNNING : extraction des données en cours.

• DELETED : requête d’extraction supprimée lors de l’exécution.

• ETL_LIMIT_TIME_REACHED : le temps limite d’exécution des traitements ETL est atteint.

Statut de mise à jour des données

execution

Permet d’indiquer si les traitements ont impactés les données de la requête d’extraction.

Valeurs possibles :

• UPDATED : données mises à jour lors de ce traitements

• NOT_UPDATED : données non mises à jour lors de ce traitement. Ce cas intervient lorsque la planification de l'exportation fait que la donnée ne doit pas se mettre à jour (tous les semaines le mardi par exemple).

• INACTIVE : lorsque la requête d’extraction a été désactivée.

Nombre de ligne transférées

result_row_number

Nombres de lignes totales dans la source de données

source_row_number

Nombre de lignes totales dans le datawarehouse

dwh_row_number

Temps d’exécution de l’extraction

duration

Exprimé en millisecondes.

Détail de l’erreur (information technique)

error_detail

Informations techniques sur les éventuelles erreurs rencontrées.

Taille de la table dans le datawarehouse (bytes)

dwh_table_size

Exprimé en bytes.

Taille de la table dans le datawarehouse

dwh_table_size_pretty

Exprimé en format lisible (Mo, Go, …).