Cette page présente les différentes informations de suivi et d’historique disponible dans le datawarehouse.
| Table of Contents |
|---|
| minLevel | 1 |
|---|
| maxLevel | 3 |
|---|
| outline | false |
|---|
| style | none |
|---|
| type | list |
|---|
| printable | true |
|---|
|
Les suivis “généraux” permettent d’avoir une vue d’ensemble sur les traitements qui ont été réalisés, indépendamment de la version 1 ou 2 du module BI. Historique des exécutions de l’ETL - table “_etl_history”Localisation : sur le schéma “nomClient” A chaque exécution d’un ETL, un enregistrement récapitulatif des actions réalisées est présent dans la table “_etl_history” dont voici les attributs : Intitulé | Nom colonne | Description |
|---|
Identifiant unique d’exécution de l’ETL | id_etl_execution | Il s’agit de l'identifiant unique de l'exécution d’un ETL. | Statut d’exécution de l’ETL | etl_status | RUNNING : en cours d’exécution. FINISHED : exécution terminée. ETL_LIMIT_TIME_REACHED : limite de temps atteinte.
| Date début d’exécution de l’ETL | etl_start_date | Il s’agit de la date/heure de démarrage des traitements ETL. | Durée totale d’exécution de l'ETL | total_etl_execution_time | Exprimé en millisecondes. | Temps d’exécution des traitements V2 | execution_time_v2 | Exprimé en millisecondes | Temps d’exécution des traitements V1 | execution_time_v1 | Exprimé en millisecondes | Durée d’exécution de l’intégration avec QuickSight | execution_time_viz | Exprimé en millisecondes. | Taille totale du datawarehouse (bytes) | total_size_bytes | Exprimé en bytes. | Taille totale du datawarehouse | total_size_pretty | Exprimé dans un format lisible (Mo, Go, …) | Taille du datawarehouse pour les traitements V2 | dwh_size_v2_bytes | Exprimé en bytes. | Taille du datawarehouse pour les traitements V1 | dwh_size_v1_bytes | Exprimé en bytes. | Taille totale du SPICE consommé | spice_size_bytes | Exprimé en bytes. | Nombre total de requêtes d’extraction | total_query_v2_count | Nombre total des requêtes d’extraction, toute société confondue. | Nombre de requêtes V2 mise à jour | executed_query_v2_count | Nombre des requêtes d’extraction qui ont été mises à jour avec succès, toute société confondue. | Nombre de requêtes V2 en échec | error_query_v2_count | Nombre des requêtes d’extraction en échec, toute société confondue. | Périmètre d’exécution des traitements V1 | etl_v1_complete | | Statut des traitements V1 | etl_v1_status | OK : Les traitements en relation avec le V1 sont terminés avec succès. KO : Les traitements en relation avec le V1 sont terminés avec des erreurs. ETL_LIMIT_TIME_REACHED : Limite de temps atteinte en cours d’exécution.
| Nombre total de datasets présents dans Quicksight | total_dataset_count | Nombre total de datasets présents dans l’espace QuickSight, indépendamment de leur génération automatique ou non dans le cadre des traitements V2. | Nombre de datasets mis à jour | updated_dataset_count | Nombre de datasets dont le SPICE à été mis à jour via les traitements d’intégration avec QuickSight. | Nombre de dataset en erreur | error_dataset_count | Nombre de datasets en erreur (échec de mise à jour, erreur lors de l’accès au dataset, …). |
Localisation : sur le schéma “nomClient” A chaque exécution de l’ETL, les traitements d’intégration avec QuickSight tente de rafraichir les datasets présents dans le compte QuickSight pour qu’ils soient à jour avec les dernières données présentes dans le datawarehouse. Les informations sont stockées dans la table “viz_dataset_update” dont voici les attributs : Intitulé | Nom colonne | Description |
|---|
Identifiant unique d’exécution de l’ETL | id_etl_execution | Il s’agit de l'identifiant unique de l'exécution d’un ETL. | Date de détection du dataset | date | Correspond à la date d’insertion de ce dataset dans cette table d’historique pour qu’il soit traité ultérieurement. | Identifiant du dataset | id_dataset | | Nom du dataset | name_dataset | Nom du dataset présent dans QuickSight | Liste des propriétaires du dataset | owner_dataset | Ensemble des propriétaires du dataset dans QuickSight. | Statut de traitement du dataset | status | TODO : la mise à jour du dataset doit être réalisé par les traitements suivants. IN_PROGRESS : la mise à jour du dataset est en cours. OK : la mise à jour du dataset s'est terminée avec succès. KO : la mise à jour du dataset a échoué. IGNORED : la mise à jour du dataset est ignoré et ne sera pas traité.
| Liste des identifiants des datasets faisant référence au dataset courant | dependencies | Peut être vide. Permet de gérer la mise à jour “en cascade” des Datasets se référençant les uns les autres. | Dataset en mode SPICE | is_spice_mode | | Identifiant de l’ingestion la plus récente | id_ingestion | Donnée technique pour les traitements. | Temps d’exécution du dernier rafraichissement du SPICE | ingestion_time_in_seconds | Exprimé en secondes | Taille du SPICE consommé | spice_size | Exprimé dans un format lisible (Mo, Go, …) | Taille du SPICE consommé (bytes) | spice_size_in_bytes | Exprimé en bytes | Complément information concernant les datasets dont la mise à jour est ignorée. | ignore_cause | QUERY_KO : la requête d’extraction en échec. QUERY_NOT_EXECUTED : la requête est hors période de récurrence (Ex: Requêtes d’extraction à mettre à jour tous les lundis) NOT_ON_SYLOB_DATASOURCE : le dataset ne référence pas la “Data Source Sylob”. DEPENDENCY_IGNORED_OR_KO : la mise à jour de l'une des dépendances du dataset a échoué, le dataset courant n’a pas été mis à jour. DATASET_ON_KO_DATA : Statut spécifique aux datasets créés sur via des traitements V1. Si les traitements du V1 sur la société où sont présentes les ressources sont en échec, le dataset n’est pas mis à jour. ETL_LIMIT_TIME_REACHED : limite de temps atteinte en cours d’exécution. OTHER : erreur technique autre.
| Date de définition du format du dataset | structure_definition_date | Donnée technique pour les traitements. Permet notamment d’identifier des changements (ajout/suppression de colonnes, …) et est utilisée pour gérer la mise à jour automatique des datasets en relation avec les traitements V2. |
Localisation : sur le schéma “nomClient” Cette vue met à disposition un récapitulatif par mois des données consommées dans le cadre du Module BI avec les informations Intitulé | Nom colonne | Description |
|---|
Année | year | Année du relevé. | Mois | month | Mois du relevé. | Taille du datawarehouse | dwh_size | Taille moyenne du datawarehouse sur le mois en format lisible (Mo, Go, …). | Taille max du datawarehouse | dwh_max_size | Taille maximum du datawarehouse sur le mois en format lisible (Mo, Go, …). | Taille min du datawarehouse | dwh_min_size | Taille minimum du datawarehouse sur le mois en format lisible (Mo, Go, …). | Taille du SPICE | spice_size | Taille moyenne du SPICE sur le mois en format lisible (Mo, Go, …). | Taille max du SPICE | spice_max_size | Taille maximum du SPICE sur le mois en format lisible (Mo, Go, …). | Taille min du SPICE | spice_min_size | Taille minimum du SPICE sur le mois en format lisible (Mo, Go, …). | Taille du datawarehouse (bytes) | dwh_size_bytes | Taille moyenne du datawarehouse sur le mois en bytes. | Taille max du datawarehouse (bytes) | dwh_max_size_bytes | Taille maximum du datawarehouse sur le mois en bytes. | Taille min du datawarehouse (bytes) | dwh_min_size_bytes | Taille minimum du datawarehouse sur le mois en bytes. | Taille du SPICE (bytes) | spice_size_bytes | Taille moyenne du SPICE sur le mois en bytes. | Taille max du SPICE (bytes) | spice_max_size_bytes | Taille maximum du SPICE sur le mois en bytes. | Taille min du SPICE (bytes) | spice_min_size_bytes | Taille minimum du SPICE sur le mois en bytes. |
Les suivis spécifiques au module BI V2 permettent d’avoir une vue détaillée sur les requêtes d’extraction présentes dans le datawarehouse ainsi que sur leur statut. Localisation : sur le schéma “nomClient_Société” Cette table liste l’ensemble des requêtes d’extraction présentes dans le datawarehouse pour la société courante en y ajoutant des informations sur son paramétrage. Intitulé | Nom colonne | Description |
|---|
Identifiant interne | id | Identifiant technique de la requête d’extraction | Nom de la table DWH | table_name | Nom technique de la table présente dans le datawarehouse. | Nom de la requête d’extraction | query_name | Libellé de la requête d’extraction renseigné dans l’ERP. | Date de début de récupération des données | desired_min_recuperation_date | Date à partir de laquelle des données modifiées ou créées sont récupérées pour cette requête d’extraction. | Période de mise à jour | daily_retrieved_data_in_days | Nombre de jour d’historique des données qui sera supprimé puis réinséré lors de l’alimentation des données de cette requête d’extraction | Date de régénération des données | required_regeneration_date | Date à laquelle une régénération complète des données a été demandée / a été nécessaire. | Date de la donnée la plus ancienne actuellement présente dans le Datawarehouse | real_min_recuperation_date | Donnée technique pour les traitements.
Permet notamment de gérer les cycles d’allotissement de la récupération des données. | Code de la langue de la requête d’extraction | langue | | Date de la donnée la plus ancienne | min_source_data_date | Donnée technique pour les traitements.
Permet notamment de gérer les cycles d’allotissement de la récupération des données. | Dataset automatique dans Quicksight | automatic_dataset_qs | | Dataset en mode Spice | dataset_spice | | Nom du dataset | dataset_name | | Date de définition du format du dataset | structure_definition_date | Donnée technique pour les traitements. Permet notamment d’identifier des changements (ajout/suppression de colonnes, …) et est utilisé pour gérer la mise à jour automatique des datasets en relation avec les traitements V2. |
Localisation : sur le schéma “nomClient_Société” Cette table contient le détail des colonnes (attributs) de chaque requête du système d’information exportée via la requête d’extraction. Intitulé | Nom colonne | Description |
|---|
Identifiant interne | id | Identifiant technique de l’attribut de la requête d’extraction. | Identifiant de la requête d’extraction | id_infoquery | Permet de faire le lien entre l’attribut courant et sa requête d’extraction. | Position de la colonne dans la requête du système d’information | index | Numéro d’ordre. Non répercuté sur l’ordonnancement réel des colonnes de la table dans le datawarehouse. | Libellé de la colonne | column_label | Libellé de l’attribut défini au niveau de la requête du système d’information. | Nom de la colonne dans la table | column_name | Nom “technique” de la colonne dans la table du datawarehouse. | Format de la colonne (typage) | type | Type de l’attribut dans la table. Exemples : varchar(255), numeric(31,8), date… | Présence d’un index sur cette colonne | column_optimized | |
Localisation : sur le schéma “nomClient_Société” Cette table ressence l’ensemble des mises à jour réalisées sur chacune des requêtes d’extraction dans le temps et permet d’obtenir des informations telles que le statut de la mise à jour, les volumes de données échangées, les temps d’exécution, … Intitulé | Anchor |
|---|
| infoQueryHistory |
|---|
| infoQueryHistory |
|---|
|
| Nom colonne | Description |
|---|
Identifiant unique d’exécution de l’ETL | id_etl_execution | Il s’agit de l'identifiant unique de l'exécution d’un ETL. | Date d’exécution de la requête | start_execution_date | Date de début des traitements d’extraction des données. | Identifiant de la requête d’extraction | id_infoquery | Référence l’identifiant de la table _info_query. | Nom de la table présente dans le datawarehouse | table_name | Nom technique de la table présente dans le datawarehouse. | Nom de la requête d’extraction | query_name | Libellé de la requête d’extraction renseigné dans l’ERP. | Statut de traitement de la requête d’extraction | status | OK_COMPLETE : extraction réalisée avec succès sur l’ensemble des données. OK_INCOMPLETE : extraction réalisée avec succès, mais l’ensemble des données n’a pas encore été récupéré (allotissement). KO : échec de l’extraction des données. RUNNING : extraction des données en cours. DELETED : requête d’extraction supprimée lors de l’exécution. ETL_LIMIT_TIME_REACHED : le temps limite d’exécution des traitements ETL est atteint.
| Statut de mise à jour des données | execution | Permet d’indiquer si les traitements ont impactés les données de la requête d’extraction. Valeurs possibles : UPDATED : données mises à jour lors de ce traitements NOT_UPDATED : données non mises à jour lors de ce traitement. Ce cas intervient lorsque la planification de l'exportation fait que la donnée ne doit pas se mettre à jour (tous les semaines le mardi par exemple). INACTIVE : lorsque la requête d’extraction a été désactivée.
| Nombre de ligne transférées | result_row_number | | Nombres de lignes totales dans la source de données | source_row_number | | Nombre de lignes totales dans le datawarehouse | dwh_row_number | | Temps d’exécution de l’extraction | duration | Exprimé en millisecondes. | Détail de l’erreur (information technique) | error_detail | Informations techniques sur les éventuelles erreurs rencontrées. | Taille de la table dans le datawarehouse (bytes) | dwh_table_size | Exprimé en bytes. | Taille de la table dans le datawarehouse | dwh_table_size_pretty | Exprimé en format lisible (Mo, Go, …). |
Localisation : sur le schéma “nomClient_Société” Cette vue propose une vision rapide du dernier ETL concernant les requêtes d’extraction à travers toutes les informations de la table “_info_query_history”. | Tip |
|---|
Une analyse simple sur cette vue permet d’informer sur l'état des mises à jour des requêtes d’extraction dans le datawarehouse pour le dernier ETL. On s’assure ainsi rapidement des données mises à disposition pour le module V2. |
|