Comment utiliser et interpréter l'Outil de qualité des données de l'OMS¶
[À l'attention de l'animateur : Pour mieux présenter cette section, faites une projection en ligne et en direct de l'instance DQ TrainingLand de DHIS2 (https://who.-demos.dhis2.org/dq ). Le document peut être présenté dans son intégralité, suivi des trois exercices. Les consignes des 3 exercices doivent être imprimées en un seul document dont un exemplaire doit être remis à chaque participant. Des conseils sur la configuration des numérateurs pour l'outil sont fournis dans un document nommé "Comment configurer l'Outil de Qualité des Données de l'OMS.docx". La présentation sur l'évaluation des dénominateurs et la comparaison avec les estimations d'enquête se trouve dans un document nommé "Dénominateurs de la Qualité.ppt".]
Contenu¶
Contenu
- Lancer l'outil
- Utiliser le tableau de bord de complétude
- Utiliser le tableau de bord "Cohérence-temporelle"
- Utiliser l'outil pour effectuer une analyse de la qualité des données, propre au programme
- Utiliser le tableau de bord "Cohérence-données"
- Utiliser le tableau de bord "Valeurs atypiques"
- Utiliser la fonction "Analyse-Cohérence"
- Utiliser la fonction "Analyse des Valeurs atypiques et Données manquantes"
- Exercice 1 : Utiliser le tableau de bord et les fonctions d'analyse pour identifier les valeurs suspectes dans votre DHIS2
- Exercice 2 : Discuter de comment traiter les valeurs très suspectes
- Utiliser la fonction "Rapport annuel"
- Exercice 3 : Utiliser l'outil pour préparer un rapport annuel sur la qualité des données
- Annexe 1 : Comment configurer les dénominateurs, les relations entre dénominateurs, et les comparaisons avec des données externes
- Notes
- "Doses de DPT-HepB-Hib 3 administrées < 1 an" est rapporté avec l'ensemble de données du PEV tandis que "Doses de Penta 3 administrées" est rapporté avec l'ensemble de données du HMIS.
Lancer l'outil¶
-
Connectez-vous à l'instance DHIS2 https://who.-demos.dhis2.org/dq
Nom d'utilisateur : demo Mot de passe : District1# -
Entrez "OMS" dans le champ de recherche des applications située en haut à droite de la page d'accueil DHIS2. Cliquez sur Outil de Qualité des Données de l'OMS.

alt_text -
Examinez rapidement le menu principal de l'outil de QD : Après avoir lancer l'outil, vous verrez les 5 onglets en haut de la page. Ils permettent de choisir entre plusieurs fonctionnalités différentes. Le mot "Tableau de bord" est mis en surbrillance et la fonction Tableau de bord est sélectionnée par défaut.

alt_text -
Examinez rapidement le menu du tableau de bord : Le tableau de bord a 4 onglets. L'onglet Complétude est sélectionné par défaut.

Utiliser le tableau de bord Complétude¶
- Examinez le tableau de bord Complétude : Défilez vers le bas et examinez la page Complétude du tableau de bord de la qualité des données. La page montre la complétude de chacun des 5 "ensembles de données principaux".
Remarque : Lorsque vous examinez la complétude avec votre instance DHIS2, si vous constatez qu'il est de 0% pour un ou plusieurs ensembles de données, il est probable que les données aient été importées. DHIS2 ne permet pas de surveiller la complétude des données importées à moins que vous n'importiez également les métadonnées de complétude. Pour l'instance de formation de DHIS2, l'ensemble de données sur la vaccination est assez incomplet. Il est préférable d'examiner la qualité des données de CPN qui sont plus complètes.

a. Examinez les graphiques situés sur le côté gauche de la page : Les graphiques de gauche montrent, pour chaque ensemble de données, la complétude et la ponctualité par mois pour chacun des 12 derniers mois. 
b. Examinez les graphiques situés sur le côté droit de la page : Les graphiques sur la droite montrent, pour chaque ensemble de données, la complétude par région et pour le dernier mois de la période analysée. Remarque : Avec cette instance DHIS2, le pays est divisé en 4 régions, chacune subdivisée en plusieurs districts. La complétude du mois le plus récent est en réalité une évaluation de la ponctualité. Présenter la complétude de l'avant-dernier mois est souvent plus révélateur. Cliquez sur l'icône de menu.
c. Modifiez l'"unité d'organisation" en cours d'analyse : Par défaut, l'outil de QD analyse toutes les données à l'échelle nationale, désagrégées par région. L'outil de QD peut également être utilisé au niveau du district avec des données désagrégées par établissement de santé. Dans la section Unité d'organisation du menu, cliquez sur Autre et sélectionnez "District D" de la région A. Les graphiques du côté gauche de la page de complétude affichent désormais la tendance sur 12 mois de la complétude des rapports du district D. Par défaut, les graphiques du côté droit de la page de complétude affichent les résultats désagrégés pour le premier niveau inférieur - établissement. Question : Quels établissements n'ont pas encore déclaré de données sur les CPN pour le mois dernier ? Depuis 3 mois ? Depuis 6 mois ? _ Après avoir changer l'unité d'organisation et le mois, procédez à une réinitialisation en considérant le niveau national avec désagrégation par district et période = avril de cette année 1 . _

Utiliser le tableau de bord "Cohérence-temporelle"¶
- Examinez le tableau de bord "Cohérence-temporelle" : Cliquez sur l'onglet "Cohérence-temporelle". Défilez vers le bas et examinez la page. Placez le curseur sur chaque graphique pour afficher les détails de la fenêtre contextuelle.

a. Examinez les graphiques situés sur le côté gauche de la page : Les graphiques de gauche montrent, pour chaque numérateur de base, la tendance de la valeur du numérateur pour les 1 à 12 mois précédents (bleu foncé sur le graphique ci-dessus), les 13 à 24 mois précédents (bleu clair sur le graphique ci-dessus) et les 25 à 36 mois précédents (orange sur le graphique ci-dessus). Notez la nette augmentation de la valeur de CPN 1 en mai 2018 et à nouveau en janvier 2019. Une telle augmentation au niveau national est certainement suspecte.
b. Examinez les graphiques situés du côté droit de la page : Chaque graphique de droite est un exemple de "diagramme de dispersion". Lorsque l'outil est défini sur 'Désagrégé par district', chaque point représente la valeur d'un seul district. Sur ce graphique, la position du point sur l'axe vertical représente la valeur du numérateur pour le mois sélectionné (rappelez-vous que nous avons réinitialisé le menu pour afficher les résultats de la Période = avril 2020). La position du point sur l'axe horizontal représente la valeur moyenne dans le même district pour les 11 mois précédents. Les points qui apparaissent au-dessus de la ligne grise inférieure ou au-dessus de la ligne grise supérieure sont des points suspects (par exemple, dans l'exemple ci-dessous, le nombre de 1ères visites de CPN dans le district F était de 1 425 en avril 2020 contre une moyenne de 4 596 / mois de Mai 2019 à mars 2020.

Par conséquent, le "tableau de bord du temps de complétude" peut permettre d'identifier certaines valeurs suspectes. Cependant, d'autres composants de l'outil sont plus efficaces dans la détection de valeurs suspectes, raison pour laquelle cette page est moins utilisée que les autres2.
Utiliser l'outil pour effectuer une analyse de la qualité des données, propre au programme{ #use-the-tool-for-a-program-specific-review-of-data-quality }¶
-
Examinez la liste des éléments/indicateurs de données "de base" : Dans le menu de l'outil, "Données" est désormais défini sur "de base". Par conséquent, l'outil présente les résultats pour les éléments de données/indicateurs définis sur "de base"3. Faites défiler la page "Temps de complétude" pour consulter la liste. Vous remarquerez que seuls deux indicateurs de vaccination4 sont présentés.
-
Changez les données par "Vaccination"– Dans le menu (cliquez sur l'icône si le menu n'est pas ouvert), remplacez "de base" par "Vaccination". Observez ce qui se passe avec la liste des éléments de données/indicateurs présentés : 10 indicateurs de vaccination sont désormais présentés sur la page "Temps de complétude". Ainsi, l'outil peut être utilisé pour mener un examen sur la qualité des données, spécifique au programme - afin d'analyser la gamme complète des indicateurs spécifiques au programme. Avant de passer à l'étape suivante, ramenez les données sur "de base" à partir du menu.
Utiliser le tableau de bord "Cohérence-données"{ #use-the-consistency-data-dashboard }¶
-
Examinez le tableau de bord "Cohérence-données" : Cliquez sur l'onglet "Cohérence-données". Cette page indique s'il existe une relation plausible entre des numérateurs associés. Ce sont les "relations du numérateur" qui sont configurées dans : Plus-Administration-Relations du numérateur. Défilez vers le bas et examinez la page. Placez le curseur sur chaque graphique pour afficher les détails de la fenêtre contextuelle.
a. Examinez les diagrammes de dispersion : Le graphique qui compare la CPN 1 à la CPN 4 est un diagramme de dispersion où chaque point représente les valeurs totales, au cours des 12 derniers mois, pour un district. Les districts dont les valeurs se situent hors des lignes de seuil grises sont représentés par un losange. Par exemple, pour le district F (représenté par le losange agrandi), au cours des 12 derniers mois, la CPN 4 avait une valeur de seulement 2 641, tandis que la CPN 1 avait une valeur de 51 976. Cet écart est suspect et devrait faire l'objet d'une enquête.

b. Examinez tous les graphiques qui évaluent les taux d'abandon : Le graphique qui compare le Penta 1 au Penta 3 évalue tout "taux d'abandon négatif". Le graphique montre que 5 districts, au cours des 12 derniers mois jusqu'à avril 2020 inclus, ont eu un taux d'abandon négatif entre le Penta 1 et le Penta 3. En d'autres termes, ces 5 districts ont rapporté une valeur plus élevée de Penta 3 que de Penta 1. Un taux d'abandon de Penta négatif pour un district pendant une année entière est généralement le signe d'une mauvaise qualité des données, et nécessite une enquête.

Utiliser le tableau de bord "Valeurs atypiques"¶
- Utilisez le tableau de bord "Valeurs atypiques" pour identifier les valeurs suspectes au niveau des districts : Cliquez sur l'onglet "Valeurs atypiques". Si nécessaire, utilisez le menu pour définir la désagrégation sur District. Pour libérer de l'espace sur la page, cliquez sur l'icône du menu pour le faire disparaître. La page affiche un tableau "Résultat" qui contient beaucoup de lignes. Chaque ligne contient au moins une valeur surlignée en rouge. Quelle est la différence entre les valeurs surlignées en rouge et les autres valeurs de la même ligne ? L'outil considère que les valeurs surlignées en rouge sont suspectes car elles sont nettement supérieures ou nettement inférieures aux autres valeurs de la ligne. Les lignes sont classées par ordre de "poids". Le "poids" peut être considéré comme étant la différence entre la valeur suspecte et la moyenne des autres valeurs de la ligne. À cause du nombre important de lignes, le tableau ne tient pas sur une seule page. Vous pouvez afficher les pages suivantes en utilisant sur les contrôles au bas de la page.

a. ** Enquêtez sur les valeurs atypiques dont le poids est à plus de 5 % du total annuel pour un district **. Avec autant de valeurs atypiques, comment pouvez-vous déterminer les plus importantes ? Vous pouvez vous focaliser sur les lignes du haut qui ont le poids le plus élevé. En règle générale, toutes les valeurs dont le poids est supérieur à 5 % du total annuel attendu pour le district doivent faire l'objet d'une enquête approfondie, car elles peuvent fausser considérablement les statistiques du district. Considérons, à titre d'exemples, les 1 ères et 2 èmes lignes du tableau ci-dessus qui montrent les valeurs atypiques extrêmes au niveau des valeurs de la CPN 1. Le nombre attendu de grossesse en une année dans le district F est de 20.000 alors qu'il est de 110.000 pour le district E. Dans les deux cas, les valeurs atypiques doivent être étudiées car leur poids dépasse largement les 5 % des grossesses attendues sur une période d'une année pour le compte du district.
b. ** Enquêtez sur les valeurs atypiques avec un Z-score extrême **. Il existe un autre moyen pour identifier les valeurs atypiques les plus suspectes : utiliser leur "Z-score"[^5]. Pour utiliser cette méthode, cliquez sur le bouton Options pour ouvrir la fenêtre d'options. Pour voir le Z-score de chaque ligne, cliquez sur la case "Inclure le Z-score". Passez en revue les valeurs de Z-score standard dans le tableau des résultats. Vous remarquerez que les valeurs vont de moins de 2 à plus de 3. Cliquez ensuite sur les boutons suivants : 1) Valeurs atypiques ; 2) Score standard ; et 3) Extrême. Si le tableau des résultats n'affiche aucune ligne ou n'affiche qu'une ou deux lignes, cliquez sur "Z-score modifié"[^6] pour identifier plus de valeurs atypiques.

c. **Inspectez chaque ligne**– **Questions** : Examinez les Z-scores standard. Voyez comment le tableau de résultats est réduit à quelques lignes. Le Z-score pour chaque ligne est supérieur à 3,0. Pensez-vous que _ces_ valeurs suspectes pourraient être dues à une erreur ? Comment mèneriez-vous votre enquête pour savoir si une valeur surlignée est due à une erreur ? Cliquez sur l'icône du menu à la fin de la première ligne et sélectionnez "Visualiser" dans le menu déroulant.

d. **"Analysez en profondeur" pour déterminer l'origine de la valeur suspecte** - Cliquez sur le bouton Fermer pour fermer le graphique, cliquez à nouveau sur l'icône du menu et sélectionnez "Analyser en profondeur" dans le menu déroulant. Si nécessaire, utilisez à nouveau la fonction Options pour filtrer le tableau en Valeurs atypiques, Score standard et Extrême. Pensez-vous que _ces_ valeurs suspectes pourraient être dues à une erreur ? Les valeurs atypiques extrêmes les plus importantes telles que celle de la première ligne sont très probablement dues à des erreurs. Les valeurs atypiques extrêmes qui sont bien inférieures à la valeur mensuelle moyenne, comme celle observée sur la deuxième ligne, peuvent être dues à des données manquantes si elles sont observées au niveau du district ou à un niveau supérieur. Une valeur atypique petite mais extrême, observée au niveau de l'établissement pourrait également être due à une erreur.

S'il existe un autre niveau de la hiérarchie d'organisation en dessous de ce niveau, vous pouvez continuer l'analyse. Par contre, si c'est le niveau le plus bas de la hiérarchie, vous recevrez un message comme celui-ci :

e. **Vous pouvez envoyer un message**[^7] à la personne responsable. Cliquez à nouveau sur l'icône du menu et sélectionnez "Contact" dans le menu déroulant. Une fenêtre devrait apparaître, indiquant la personne à contacter pour notifier la valeur atypique extrême. Cliquez sur "Écrire un message". Utilisez les menus déroulants pour entrer les informations pour le Destinataire. Rédigez un message et cliquez sur "Envoyer le message". Un message sera alors envoyé via la messagerie interne de DHIS2.


Vous pouvez constater que le tableau de bord de l'Outil de QD est facile à utiliser. Le petit bémol est qu'il ne peut être utilisé que pour examiner les éléments de données/indicateurs pour lesquels il a été configuré (voir "Comment configurer l'Outil de Qualité des Données de l'OMS"). Ensuite, nous verrons comment la fonction d'analyse de cet outil peut être utilisée pour examiner la qualité de _ <span style="text-decoration:underline;"> tout </span> _ élément de données ou indicateur dont DHIS2 dispose des données.
Utiliser la fonction "Analyse-Cohérence"¶
-
Examinez la fonction "Analyse-Cohérence" : En plus du tableau de bord, l'outil offre un moyen pratique pour personnaliser votre analyse de la qualité des données.
-
Cliquez sur l'onglet Analyse en haut de la page, puis sélectionnez Cohérence.

Une fenêtre apparaît où vous pouvez configurer une évaluation personnalisée de la cohérence au fil du temps ou de la cohérence entre les numérateurs associés. Par défaut, la cohérence "Entre les indicateurs" (entre les numérateurs associés) est sélectionnée de même que Comparer les unités d'organisation au "Résultat général". Avec ce paramètre, A = B, A > B et Abandon ne peuvent être sélectionnés8. Laissez "Type d'analyse de cohérence" défini sur "Entre les indicateurs" mais cliquez sur "Résultat attendu" et sélectionnez "Abandon" (voir la figure).
-
Cliquez sur Données pour choisir vos numérateurs. Configurez la fenêtre tel qu'indiqué sur la figure. (Notez que "Indicateur" est sélectionné pour les deux numérateurs. Cela tient au fait que, pour cette instance DHIS2, les données du DPT 1 sont désagrégées en deux éléments de données distincts : DPT1 des sites fixes et DPT1 des services de proximité. Un indicateur a été configuré pour examiner simultanément les données de ces deux éléments. De même, un indicateur a été configuré pour la somme de DPT3 des sites fixes et DPT3 des services de proximité.
-
Cliquez sur Période pour personnaliser la période tel qu'indiqué sur la figure - définie sur l'année dernière.

- Cliquez sur Unité d'organisation et définissez la désagrégation sur District.

Cliquez sur le bouton bleu Analyser, situé en bas à droite de la page et les résultats apparaîtront. Notez les points suivants :
-
Le graphique du côté gauche de la page est similaire à celui du tableau de bord "Cohérence-données". 6 districts avaient un taux d'abandon négatif du DPT 1 au DPT 3 en 2017. Pour voir plus de détails, vous pouvez placer le curseur sur les barres rouges.
-
Le tableau du côté droit de la page comporte une ligne pour tout le pays suivie d'une ligne pour chaque district. Les districts sont classés en fonction de leurs taux d'abandon. Les 6 districts avec un taux d'abandon négatif sont en haut de cette liste. Les lignes se prolongent sur deux pages supplémentaires mais leur consultation est moins importante car les taux d'abandon y sont tous positifs.

alt_text -
Si vous cliquez sur une ligne, sa couleur passe au jaune pâle et un tableau avec une ligne plus un autre graphique apparaissent au bas de la page. Le graphique vous montre les résultats par mois. Dans cet exemple, la valeur du DPT 3 était supérieure à celle du DPT1 pendant 7 mois sur 12, pour le compte de l'année dernière. Ainsi, le taux d'abandon négatif n'est pas uniquement dû à une seule valeur atypique - en 2019 et pour le district G, le problème était persistant.

alt_text -
Vous pouvez cliquer sur l'icône de menu à la fin de cette ligne unique pour "analyser en profondeur" et visualiser les résultats désagrégés à un niveau inférieur. Le graphique montre que le taux d'abandon négatif n'est pas uniquement dû à la déclaration de données par un seul établissement de santé - en 2018, 11 établissements de santé sur 18 dans le district G ont déclaré une valeur de DPT 3 supérieure à celle du DPT 1. Conclusion : le district G semble avoir un problème de surévaluation du DPT 3. Le problème a affecté la déclaration de données par plusieurs établissements de santé et sur plusieurs mois. Cela peut être dû au fait que certains établissements du district G ont pris l'habitude de classer par erreur les premières doses de DPT comme troisièmes doses.

-
Utiliser la fonction "Analyse-Cohérence" pour identifier toutes les valeurs fournies par des établissements qui méritent d'être étudiées
-
Définissez le type d'analyse tel qu'indiqué sur la figure : Type d'analyse de cohérence = "Au fil du temps" ; Comparez les unités d'organisation à = "Résultat attendu" ; Tendance attendue = "Constante" ; Critère = 0 %.

- Cliquez sur Données et sélectionnez un seul élément de données ou indicateur. Par exemple, sélectionnez "doses de Penta 3 administrées (HMIS)" dans le groupe d'éléments de données "HMIS"

- Cliquez sur Période pour paramétrer la période tel qu'indiqué sur la figure. Avec ces paramètres, la valeur de février 2020 sera comparée à celles des 12 mois précédents.

- Cliquez sur Unité d'organisation, sélectionnez un district spécifique et définissez la désagrégation sur Établissement.

Avec ces paramètres, les valeurs du Penta 3 pour le compte de février 2020 et pour tous les établissements de santé du District E seront comparées aux valeurs moyennes rapportées par ces mêmes établissements au cours des 12 mois précédents.
- Cliquez sur "Analyser" et attendez que le graphique apparaisse.

Comment comprendre ce tableau ?
- Chaque point représente les données rapportées par un établissement de santé du district sélectionné (District E) ;
- Le graphique compare la valeur rapportée en février 2020 à la valeur moyenne rapportée par le même établissement au cours des 12 mois précédents ;
- La ligne représente l'égalité. Pratiquement aucun des points ne se trouve exactement sur la ligne. La distance de chaque point par rapport à la ligne est déterminée par son poids. La plupart des points sont si proches de la ligne que leur poids est faible. Nous pouvons donc les ignorer.
- Chaque mois, le district rapporte un total de 6 536 doses de Penta 3 sur le formulaire du HMIS. Ce nombre peut être utilisé pour déterminer un seuil dans le cadre d'une enquête sur les valeurs atypiques. Il peut être décidé, par exemple, qu'une enquête doit être menée pour toute valeur atypique qui s'écarte de la ligne à plus de 5 % du total du district qui est 325.
- Seuls les deux premiers points ont un poids supérieur à 325. Pouvez-vous repérer ces deux points sur le graphique ? :
- L'établissement 567 a rapporté le chiffre 961 alors qu'il avait précédemment rapporté une moyenne de 146/mois. Cette valeur suspecte se voit donc attribuer un poids de 803 ;
- L'établissement 222 n'a rapporté aucune donnée alors qu'il avait précédemment rapporté une moyenne de 349 par mois. Cette valeur manquante se voit donc attribuée un poids de 349 ;
- Ces deux valeurs nécessite une enquête
La première étape de notre enquête va consister à cliquer sur chaque ligne. La ligne sélectionnée passe au jaune et un graphique apparaît au bas de l'écran de DHIS2.

Le graphique nous montre la nette différence entre la valeur de février 2020 pour l'établissement 567 et les valeurs rapportées précédemment. Cela est probablement dû à la présence de données erronées. Comment pouvons-nous utiliser DHIS2 pour approfondir notre enquête ? Que pouvez-vous faire d'autre pour enquêter sur cette valeur ? ` Voici ce que nous obtenons lorsque nous cliquons sur la ligne de l'établissement 222.

Non seulement la valeur de février 2020 est manquante, mais celle de mai 2019 est aussi anormalement élevée. Cela montre comment cette analyse permet non seulement d'identifier les valeurs atypiques extrêmes pour le mois sélectionné (février 2020), mais elle peut aussi identifier les valeurs atypiques des mois précédents (si la valeur en question est si élevé qu'elle augmente considérablement la moyenne sur 12 mois).
En résumé, avec ce type d'analyse, un district peut examiner les valeurs les plus récentes de tous les établissements de santé et identifier un sous-ensemble de valeurs qui nécessite une enquête approfondie. L'analyse doit être effectuée sur un élément de données à la fois.
Utiliser la fonction "Analyse-Valeurs atypiques et Données manquantes"{ #use-the-analysis-outliers-and-missing-data-function }¶
-
Examinez la fonction "Valeurs atypiques et Données manquantes" : Cliquez sur l'onglet Analyse en haut de la page, puis sélectionnez "Valeurs atypiques et Données manquantes". La fonction "Analyse-Valeurs atypiques" fonctionne de la même manière que le tableau de bord des valeurs atypiques. Sa flexibilité la rend plus avantageuse que le tableau de bord. Vous pouvez la configurer pour évaluer tous les éléments de données ou indicateurs 9 - pas seulement les éléments de données/indicateurs pour lesquels le tableau de bord de l'outil de QD a été configuré. En effet, vous pouvez la configurer pour qu'elle évalue simultanément toutes les combinaisons d'éléments de données et d'indicateurs. Vous pouvez aussi évaluer simultanément tous les éléments de données ou indicateurs d'un ensemble de données, d'un groupe d'éléments de données et/ou d'un groupe d'indicateurs.

alt_text
Vous pouvez également l'utiliser pour évaluer les données de n'importe quelle période.

... et pour tout regroupement d'établissements de santé.10

Exercice 1 : Utiliser le tableau de bord et les fonctions d'analyse pour identifier les valeurs suspectes dans votre DHIS2{ #exercise-1-use-the-dashboard-and-the-analysis-functions-to-identify-suspicious-values-with-your-dhis2 }¶
-
Examinez le tableau de bord "Cohérence-temporelle – Cliquez sur l'onglet du tableau de bord "Cohérence-temporelle". Examinez les graphiques de gauche et de droite pour le premier élément de données/indicateur (CPN1).
a.Définissez les données sur [de base], la période sur avril de cette année et la désagrégation sur District.
b. Examinez le graphique de gauche.
L'élément de données/l'indicateur a-t-il eu une valeur stable d'une année à l'autre et d'un mois à l'autre ? Si non, comment expliquez-vous l'incohérence ?
c. Accédez rapidement au tableau de bord 'Complétude' pour examiner le niveau de complétude de l'ensemble de données CPN au cours des 12 derniers mois (le graphique situé sur le côté gauche de la page).
Dans quelle mesure l'incohérence avec la valeur de l'élément de données/indicateur est due à un changement dans les rapports sur la complétude ?
d. Revenez au tableau de bord 'Cohérence'-
Tableau de bord et examen du graphique du côté droit pour la CPN 1. Ce graphique est un diagramme de dispersion où chaque point représente un district. La position du point sur l'axe vertical indique la valeur de la CPN 1 en avril de cette année pour le compte d'un district. La position du point sur l'axe horizontal indique la valeur moyenne de la CPN 1 pour ce district au cours des 11 mois précédant avril (c'est-à-dire de mai 2019 à mars 2020). Placez le curseur sur les points situés au-dessus ou en dessous des deux lignes grises pour afficher les valeurs suspectes.
Question : Énumérez les districts dont les valeurs pour le mois dernier sont les plus incohérentes par rapport à leur valeur moyenne au cours des 11 mois précédents. Comment pouvez-vous expliquer l'incohérence des données de ces districts au fil du temps ? Les données rapportées pour le mois dernier seraient-elles incomplètes ? Est-ce dû à de réels changements dans la prestation de services au cours du mois dernier ? Sachez que plusieurs raisons peuvent expliquer l'incohérence des valeurs au fil du temps. De ce fait, une telle incohérence ne met pas nécessairement en cause un problème de qualité des données.
-
Examinez le tableau de bord "Cohérence-données" - Cliquez sur l'onglet qui conduit au tableau de bord "Cohérence-données". Chaque graphique sur ce tableau de bord évalue la relation entre une paire d'éléments de données ou d'indicateurs associés.
a. Examinez le premier graphique qui compare la CPN 1 à la CPN 4 :
Ce graphique est également un diagramme de dispersion, où chaque point représente les valeurs de la CPN 1 et de la CPN 4 pour le compte d'un district, au cours des 12 mois précédents y compris le mois d'avril de cette année. Les districts dont les valeurs se situent hors des lignes de seuil grises sont représentés sous forme de losange. Placez le curseur sur ces points pour examiner les valeurs suspectes des éléments de données/indicateurs associés.
Questions : Comprenez-vous pourquoi l'outil a signalé ces valeurs associées comme suspectes ? Enumérez les districts qui ont des valeurs suspectes. Comment pouvez-vous expliquer la présence des valeurs suspectes pour ces districts particuliers ? Pourquoi est-ce que des rapports incomplets ne pourrait expliquer ces valeurs suspectes ?
b. Examinez le graphique qui évalue les taux d'abandon du Penta :
Questions : Quels districts ont un taux d'abandon négatif du Penta 1 au Penta 3 ? Quel district a le taux d'abandon le plus négatif ? Pourquoi pensez-vous que ce district en particulier a le taux d'abandon de Penta le plus négatif ? Le taux d'abandon négatif pourrait-il être dû à une seule valeur importante erronée, pour le compte d'un seul établissement de santé et pour un seul mois ? Ou est-ce dû à plusieurs valeurs provenant de plusieurs établissements de santé et de plusieurs mois ? Le tableau de bord "Cohérence-données" ne permet pas vraiment de répondre à cette question.
c. Utilisez la fonction Analyse-Cohérence pour évaluer les taux d'abandon du Penta : cliquez sur l'onglet '"Analyse", puis sélectionnez "Cohérence" dans le menu déroulant. Dans "Type d'analyse", cliquez sur chacun des éléments suivants : "Entre les indicateurs", "Résultat attendu" et "Abandon".

alt_text Ouvrez la fenêtre Données puis configurez-la tel qu'indiqué sur la figure à droite de l'écran. Remarque : Avec votre DHIS2, Penta 1 < 1 an (ou Penta 1 < 1 an) et Penta 3 < 1 an (ou Penta 3 < 1 an) peuvent être des éléments de données plutôt que des indicateurs.

alt_text Ouvrez la fenêtre Période et définissez-la sur l'année 2019.
Ouvrez la fenêtre Unité d'organisation et définissez-la sur National (ou équivalent) avec désagrégation sur District. Cliquez sur le bouton Analyser.
i. Examinez le graphique et le tableau (remarque : la ligne supérieure du tableau ne sera pas ombrée en jaune tant que vous n'aurez pas terminé l'étape suivante). Placez le curseur sur les barres verticales rouges du graphique pour en voir les détails. Comparez les noms des districts avec les barres rouges verticales aux noms des districts dans le tableau avec le taux d'abandon ombré en rouge.
Questions : Quel district a le taux d'abandon le plus négatif ? Recherchez-le dans le graphique et dans le tableau. Pour ce district, en 2019, quelle était la valeur du Penta 1 et du Penta 3 (voir le tableau) ?

ii. Cliquez sur la ligne du tableau correspondant au district qui a le taux d'abandon le plus négatif. Un nouveau tableau et un nouveau graphique devraient apparaître au bas de la page.
Question : Le taux d'abandon négatif est-il dû à une valeur pour un seul mois ou à des valeurs pour plusieurs mois ?

iii. Cliquez sur l'icône de menu à l'extrémité droite du petit tableau et sélectionnez "Analyser en profondeur" (en raison d'un bogue dans l'outil, il se peut que les mots ne s'affichent pas tous à l'écran). Un nouveau graphique et un nouveau tableau devraient apparaître, montrant les taux d'abandon pour 2019 pour chaque sous-unité d'organisation (par exemple, chaque établissement de santé, s'il se trouve immédiatement sous le district dans la hiérarchie d'organisation).
Questions : Pour le district que vous avez sélectionné, le taux d'abandon négatif est-il dû à une valeur provenant d'un seul établissement ou à des valeurs provenant de plusieurs établissements ? Le district que vous avez sélectionné semble-t-il avoir un problème systématique de surdéclaration du Penta 3 pour plusieurs mois et plusieurs sous-districts ? Comment l'expliquez-vous ?

-
Utilisez le tableau de bord "Valeurs atypiques" pour identifier les valeurs atypiques majeures-- Cliquez sur l'onglet du tableau de bord "Valeurs atypiques". Examinez la fenêtre du menu pour confirmer que la Désagrégation est défini sur District. Cliquez sur l'icône du menu pour masquer la fenêtre et libérer de l'espace sur l'écran. Cliquez sur le bouton Options puis cochez la case "Inclure le Z-score" et cliquez sur "Valeurs atypiques", "Score standard" et "Extrême". Si le tableau des "Résultats" ne contient pas de lignes ou n'a qu'une seule ligne, cliquez sur "Z-score modifié".

alt_text Cliquez sur l'icône de menu à la fin de la première ligne du tableau et sélectionnez "Visualiser". Examinez le graphique. Question : Pensez-vous que cette valeur atypique est due à une erreur dans les données ? Après avoir visualiser le graphique, cliquez sur "Fermer".
Cliquez à nouveau sur l'icône de menu à la fin de la première ligne du tableau et sélectionnez "Analyszer en profondeur". Un nouveau tableau de "Résultats" devrait apparaître avec une ligne pour chaque établissement du district sélectionné qui a une valeur atypique extrême sur 12 mois. Examinez la valeur atypique dans la première ligne de ce nouveau tableau. Répétez le processus de visualisation de la valeur atypique. Vous pouvez analyser davantage si vous le voulez. Question : pensez-vous que cette valeur atypique extrême est due à une erreur dans les données ?
-
Utilisez la fonction "Analyse-Valeurs atypiques" pour identifier les valeurs atypiques extrêmes d'éléments de données supplémentaires—
Cliquez sur l'onglet Analyse, puis sélectionnez "Valeurs atypiques et données manquantes". Sélectionnez un élément de données ou un indicateur de votre choix. Ensuite, définissez la Période sur 2019 et l'Unité d'organisation sur National avec Désagrégation par district. Cliquez sur Analyser puis utilisez l'outil pour identifier les valeurs atypiques extrêmes en suivant les mêmes étapes qu'avec le tableau de bord des valeurs atypiques.

alt_text
Exercice 2 : Discutez de la manière dont vous pouvez gérer les valeurs très suspectes{ #exercise-2-discuss-how-to-deal-with-very-suspicious-values }¶
-
Listez les mesures que vous allez prendre si vous identifiez une valeur très suspecte qui est si éloignée de la moyenne qu'elle affecte probablement et de manière significative une statistique nationale11.
-
Qui a l'autorité pour modifier les données de votre DHIS2 ?
-
Comment prévoyez-vous utiliser l'outil pour identifier les valeurs atypiques extrêmes- au niveau du district et au niveau national - pour chaque mois ou trimestre et pour chaque année.
Utiliser la fonction "Rapport annuel"¶
-
Générez le rapport annuel :
Allez dans le menu dans la partie supérieure de l'outil de QD et cliquez sur Rapport Annuel. Utilisez le menu déroulant pour sélectionner "[de base]" pour le Données - Groupe. Pour la Période, sélectionnez la dernière année civile, puis spécifiez le nombre d'années pour lesquelles vous avez au moins un ensemble de données qui a un taux de complétude supérieure à 50 %. L'idéal serait 2 ou 3 ans12. Pour l'Unité d'organisation, définissez la3 Désagrégation sur l'équivalent du district. Il n'est pas recommandé de définir la désagrégation sur l'équivalent de la région (par exemple, la province), car le Rapport annuel ne pourra pas identifier de nombreux problèmes majeurs liés à la qualité des données. Cliquez sur "Générer" pour afficher le rapport.

alt_text -
Examinez rapidement le RÉSUMÉ du rapport annuel :
Le rapport présente d'abord une section RÉSUMÉ, suivie d'un rapport plus détaillé contenant beaucoup plus d'informations. Parcourez rapidement le RÉSUMÉ et remarquez les sous-sections consacrées au Domaine 1 (Complétude), Domaine 2 (Cohérence interne), Domaine 3 (Comparaisons externes) et Domaine 4 (Cohérence des données sur la population).
-
Examinez le rapport détaillé dans la section 1.a : Complétude des rapports d'établissements :
Le rapport détaillé commence à environ ⅓ du rapport annuel.

alt_text Remarque: le tableau 1.a affiche un "Score global" pour chaque ensemble de données. Il s'agit de la complétude des rapports sur les ensembles de données au niveau national, en 2018. La colonne "Pourcentage" indique le pourcentage de districts dont la complétude était inférieure au seuil. Le tableau identifie les districts qui ont des problèmes manifestes de qualité des données.
Question : Quel est le seuil pour le taux de déclaration des CPN ? Combien et quel pourcentage de districts ont un taux de complétude inférieur à ce seuil ?
-
Saisissez quelque chose dans la case Interprétations :
Notez que la case réservée aux interprétations et aux notes sur les actions de suivi doit être remplie.
LE RAPPORT ANNUEL N'EST FINALISÉ QUE SI LES CASES RÉSERVÉS AUX INTERPRETATIONS ET AUX ACTIONS DE SUIVI SONT REMPLIES POUR LES SECTIONS CLÉS DU RAPPORT.
-
Examinez le graphique des rapports sur la complétude au fil du temps : Défilez vers le bas jusqu'au graphique "Rapports sur la complétude au fil du temps". Pour une analyse solide, un ensemble de données doit être complet à au moins 75 %. Si le taux de complétude d'un ensemble de données change de plus de 5 %, les données doivent être ajustées avant d'effectuer une analyse de la tendance de ces données d'une année à l'autre.
Questions : 1) Pour quels ensembles de données une analyse robuste des données de 2019 peut-elle être effectuée ? 2) Pour évaluer la tendance entre 2018 et 2019, les données de CPN doivent-elles être ajustées pour tenir compte d'un changement dans la complétude ?

alt_text -
Examinez le tableau 2a : Valeurs atypiques extrêmes :
Le tableau montre le Seuil pour une valeur atypique extrême - Une valeur mensuelle supérieure à 3 écarts types de la valeur mensuelle moyenne pour la période examinée. Le tableau donne un "Score global (%)" qui est le pourcentage de rapports attendus au cours de l'année (12 fois le nombre d'établissements censés produire un rapport) pour lesquels la valeur de l'indicateur était une valeur atypique extrême. "Nombre" désigne le nombre de districts et "Pourcentage" le pourcentage de districts qui, en 2019, ont signalé une valeur atypique extrême pour l'indicateur.

alt_text -
Examinez la section 2d : Cohérence des valeurs des indicateurs dans le temps :
Allez à la section 2.d. Cette section compare, pour les 5 indicateurs de base, la valeur totale rapportée en 2019 à la valeur totale annuelle moyenne des années précédentes. Pour https://who.dhis2.net/dq , nous avons des données complètes à au moins 50 % uniquement pour 2018 et 2019. Nous comparons donc la valeur de 2019 à celle de 2018. Lorsque les valeurs d'un indicateur sont constantes d'une année sur l'autre, la tendance est rassurante. Mais si les valeurs fluctuent de manière irrégulière d'une année à l'autre, cela peut être le signe de réels changements au niveau de la performance du programme (par exemple à la suite d'une rupture de stock). Cependant, l'incohérence d'une année à l'autre peut être également due à un défaut de qualité des données.
Examinez le diagramme de dispersion qui montre la cohérence des visites de CPN 1 au fil du temps :
Chaque point représente les données d'un district. La position du point sur l'axe vertical correspond aux 1 ères visites de CPN rapportées par le district en 2019. Vous remarquerez dans le petit graphique dans l'angle inférieur gauche, une augmentation à l'échelle nationale des 1 ères visites de CPN rapportées (principalement en raison d'une augmentation du taux de complétude des rapports). Par conséquent, nous ne nous attendons pas à ce que la valeur de 2019 soit égale à celle de 2018. Le "Score global" de 125 % indique que la valeur totale de la CPN 1 à l'échelle nationale en 2019 correspondait à 125 % de la valeur de l'année précédente. La différence entre la valeur de 2018 et la valeur de 2019 se reflète également au niveau de la pente de la ligne noire qui représente la relation à l'échelle nationale (par exemple, lorsque la ligne noire traverse 60 000 sur l'axe horizontal, elle est à environ 67 000 sur l'axe vertical). Les lignes grises montrent ± 15 % du ratio national. Les points situés hors des lignes grises ont une forme différente car ils ont des valeurs suspectes. Par exemple, le district C a rapporté 19 988 1 ères visites de CPN en 2018, or la valeur est passée à 32 522 en 2019. Cette augmentation est nettement supérieure à l'augmentation au niveau national. Cette valeur suspecte nécessite une enquête. Notez que le district C est inclus dans la case qui répertorie les districts avec des "Scores divergents".

Interprétez vos conclusions-
Demandez-vous s'il y a eu des changements infranationaux dans les opérations du programme (par exemple, des ruptures de stock, de nouvelles interventions) ou dans la complétude des rapports ou des changements dans les frontières administratives (par exemple, la division des districts) qui ont affecté les districts ayant des scores divergents.
Envisagez de modifier le seuil d'évaluation de la cohérence au fil du temps.
Pour certains indicateurs, vous souhaiterez peut-être modifier le seuil afin d'identifier un plus grand ou un plus petit nombre d'unités présentant des incohérences au fil du temps. Par exemple, dans le cadre d'un exercice facultatif, vous pouvez vous concentrer sur les districts présentant les incohérences les plus extrêmes au fil du temps. Cliquez sur "Plus" dans le menu en haut de l'outil de QD, puis sur "Administration", puis sur "Paramètres de qualité du numérateur", puis descendez jusqu'à "Paramètres de l'indicateur" et utilisez les flèches de contrôle pour augmenter le seuil de cohérence à ± 33 %.
Cliquez sur le bouton "Enregistrer les modifications". Revenez au rapport annuel (configuré comme précédemment - avec la période définie pour comparer au même nombre d'années et avec les désagrégations de district), défilez à nouveau vers le bas jusqu'à la section 2d (environ 60 % du rapport annuel). Notez le nouveau seuil de qualité dans le tableau de gauche. Les lignes grises du tableau sont désormais plus espacées et un plus grand nombre de points se situent entre les lignes grises.
Question: Combien de districts ont maintenant des scores divergents ?

Examinez le diagramme de dispersion montrant la cohérence du Penta 3 au fil du temps
Allez vers le bas de la page et trouvez le tableau et le graphique de cet indicateur. Vous remarquerez que les points sont plus dispersés que pour la CPN 1. Normalement, nous ne nous attendrions pas à ce que les valeurs du Penta 3 soient aussi imprévisibles. Cependant, comme le montre le graphique dans l'angle inférieur droit, la déclaration des données du PEV a augmenté de façon spectaculaire. Avec des données moins complètes à 70%, il ne faut pas s'attendre à une cohérence d'une année sur l'autre, même pour des indicateurs tels que les vaccinations et les consultations prénatales, qui devraient normalement être assez stables.

En résumé, plusieurs raisons expliquent pourquoi les données peuvent ne pas être cohérentes d'une année à l'autre. Toutefois, lorsque nous constatons une cohérence au fil du temps, il est rassurant de constater que les données sont de meilleure qualité.
-
Examinez la section 2.e : Cohérence entre indicateurs associés
Défilez jusqu'à la section 2.e. Les graphiques de cette section sont les mêmes que ceux qui apparaissent dans le tableau de bord "Cohérence-données". La seule différence est que la période concerne la dernière année civile (c'est-à-dire 2019) et non les 12 derniers mois ou toute autre période de 12 mois que vous avez sélectionnée dans le menu du tableau de bord. Le rapport annuel vous permet d'expliquer vos résultats et de résumer vos actions de suivi. Par exemple, que ferez-vous pour superviser et soutenir les districts qui ont des taux d'abandon de Penta négatifs ?
-
Utilisez l'Outil pour effectuer des comparaisons externes (section 3.a)
Le "domaine 3" d'une révision sommaire de la qualité des données implique la comparaison des estimations basées sur des données de routine avec des estimations obtenues d'autres sources. Les données de routine sont essentiellement utilisées pour estimer le taux de couverture des services de santé maternelle et infantile : soins prénatals, accouchements médicalisés, soins postnatals et vaccination. Ces "estimations de routine" de la couverture peuvent être comparées aux estimations obtenues via des enquêtes auprès d'échantillons représentatifs des ménages : enquêtes démographiques et de santé (EDS), enquête en grappes à indicateurs multiples (MICS), enquêtes sur la couverture vaccinale, etc.
Ces estimations d'enquête sont parfois considérées comme la "référence" pour évaluer la fiabilité des données de routine. Toutefois, il est important de garder à l'esprit que les écarts entre les estimations de routine et les estimations d'enquêtes peuvent résulter de plusieurs facteurs autres que des problèmes de fiabilité et de complétude des données de routine :
a. Autres raisons pour lesquelles l'estimation basée sur des données de routine peut ne pas être fiable : 1. Le dénominateur (c'est-à-dire l'objectif) ne peut être ni surestimé ni sous-estimé ; 2. Une personne peut vivre dans un district et avoir recours à des services de santé dans un autre district ; 3. Une personne peut obtenir des services de santé auprès de prestataires privés qui ne font pas de rapports. Par exemple, les soins prénatals et les services d'accouchement peuvent être fournis par des sages-femmes privées.
b. Raisons pour lesquelles les estimations d'enquêtes peuvent ne pas être fiables : 1. Erreur d'échantillonnage - échantillon trop petit pour une estimation précise. Même avec les plus grands échantillons, l'estimation au niveau des districts est rarement réaliste. 2. Échantillonnage non aléatoire - ce problème s'est posé lors des enquêtes menées avec l'ancienne méthode du PEV de l'OMS. 3. Erreur non liée à l'échantillonnage – par exemple le biais de rappel. Ce problème se pose souvent lorsque le registre à domicile n'est pas disponible et que le statut vaccinal est évalué en fonction des souvenirs du prestataire de soins.
Examinez la section 3a du rapport annuel-
Remarque : Avant que l'outil puisse générer des résultats pour la section 3a, plusieurs étapes doivent être complétées.
Ces étapes sont évoquées à l'annexe 1 :
- De nouveaux éléments de données DHIS2 doivent être configurés pour les estimations de l'enquête et les données d'estimation de l'enquête doivent être importées. Ces données sont généralement désagrégées par région.
- Les pages 'Dénominateurs' et 'Comparaisons externes' de l'outil doivent être configurées.
Défilez jusqu'à la section 3.a pour voir la comparaison entre des estimations de couverture basées sur des données de routine et des estimations d'enquête. Dans l'exemple, vous remarquerez que les résultats sont maintenant désagrégés par région et non par district. Les estimations "de routine" de la couverture sont chacune assez proches des estimations d'"enquête". Cette concordance sera rarement aussi bonne. Cependant, même dans cet exemple, la concordance n'est pas parfaite. Les estimations de routine sont toujours inférieures aux estimations de l'enquête. Le "score global" est de 92,2 %, ce qui signifie que l'estimation de routine au niveau national représente 92,2 % de l'estimation de l'enquête au niveau national. Pouvez-vous expliquer pourquoi les estimations de routine seraient inférieures ? L'une des raisons est que, comme nous l'avons vu, la complétude des rapports sur les données de CPN n'est que d'environ 92 %. Nous verrons lors de l'examen du domaine 4 si la surestimation du dénominateur peut être une autre raison.

alt_text Dans notre exemple, la concordance est faible pour la couverture du Penta 3. La raison est bien sûr le faible niveau de complétude de l'ensemble des données du PEV.

alt_text Comme le montre la figure ci-dessous, la correspondance est bien meilleure lorsque nous utilisons en guise de numérateur les données sur les doses de Penta 3 rapportées sur le formulaire du HMIS plutôt que celles rapportées sur le formulaire du PEV. Encore une fois, nous remarquons que l'estimation de routine tend à être légèrement inférieure à l'estimation de l'enquête.

alt_text -
Utilisez l'outil pour évaluer les dénominateurs (Section 4.a)–
Remarque : avant que l'outil ne génère des résultats pour la section 4.a, certaines étapes doivent être complétées. Ces étapes (2) sont décrites à l'annexe 1 :
-
Un nouvel indicateur ou élément de données doit être configuré pour l'estimation des naissances vivantes par l'ONU13.
-
La page des relations du dénominateur de l'outil doit être correctement configurée.
Le "domaine 4" d'une étude sommaire de la qualité des données évalue les dénominateurs utilisés par DHIS2. Nous discutons ici des résultats liés à la section 4a qui compare l'estimation officielle des naissances vivantes à l'estimation des naissances vivantes de l'ONU.

alt_text Ici, avec notre exemple, nous avons identifié une raison supplémentaire pour laquelle les estimations de la couverture basées sur les données de routine (et basées sur les estimations officielles des grossesses, des naissances vivantes ou de la population < 1 an) sont quelque peu inférieures aux estimations de l'enquête - si nous nous en tenons à l'estimation de l'ONU, l'estimation officielle des naissances vivantes peut être trop élevée. Si nous utilisons l'estimation de l'ONU comme dénominateur, l'estimation de la couverture de routine sera plus élevée.
-
Exercice 3 : Utiliser l'outil pour préparer un rapport annuel sur la qualité des données¶
-
Générer un rapport annuel sur l'examen de la qualité des données pour l'année 2019
a. Cliquez sur Rapport annuel. Définissez Données sur "de base" et Période sur 2019. Définissez Années précédentes par rapport au nombre d'années précédentes dont les ensembles de données principaux sont complets au moins à 50 %. Définissez Désagrégation sur l'équivalent du district. Cliquez sur Générer.
b. Examinez les sections suivantes du rapport détaillé. Pour chacune de ces sections, dans la case Interprétations, saisissez votre interprétation et résumez vos actions de suivi :
- 1.a (complétude des rapports)
- Examinez et interprétez le graphique affiché à la fin de la section de 1.d (cohérence de la complétude de l'ensemble de données au fil du temps)
- 2.a (valeurs atypiques extrêmes)
-
2.d (cohérence des valeurs d'indicateurs au fil du temps). Commentez au moins les deux indicateurs suivants :
I. 1 ères visites CPN
ii. 3èmes doses de Penta
-
2.e (cohérence entre indicateurs associés). Commentez au moins le taux d'abandon du Penta 1 au Penta 3
Annexe 1 : Comment configurer les dénominateurs, les relations entre dénominateurs, et les comparaisons de données externes{ #annex-1-how-to-configure-denominators-denominator-relations-and-external-data-comparisons }¶
Avant que l'outil ne puisse générer des résultats pour les sections 3.a (comparaisons de données externes) et 4.a (cohérence des estimations du dénominateur) du rapport annuel, il doit être correctement configuré. La configuration des numérateurs de l'outil est abordée dans un document distinct. Ce document explique comment configurer les dénominateurs, les relations du dénominateur et les comparaisons de données externes.
-
De nouveaux éléments de données DHIS2 doivent être configurés pour les estimations de l'enquête et les données d'estimation de l'enquête doivent être importées. Ces données sont généralement désagrégées par région. Ces éléments de données peuvent être assignés à un nouveau groupe d'éléments de données, portant un nom approprié comme "Données externes"
-
Un nouvel élément de données ou indicateur doit être configuré pour les estimations de naissances vivantes de l'ONU.14 Une approche consisterait à définir un nouvel indicateur qui calcule les naissances vivantes en multipliant l'estimation officielle de la population totale par l'estimation du taux brut de natalité par l'ONU (disponible à cette adresse https://data.worldbank.org/indicator), le tout divisé par 1 000. Cela suppose que l'estimation officielle de la population est fiable. Ce nouvel indicateur peut être assigné à un groupe d'indicateurs approprié (soit un groupe existant, soit un nouveau groupe dénommé "Estimations de la population". L'autre approche consisterait à créer un nouvel élément de données pour l'estimation des naissances vivantes de l'ONU, puis d'utiliser l'écran de saisie des données pour entrer la valeur pour chaque année. Une valeur à l'échelle nationale suffit pour chaque année - aucune désagrégation n'est requise. Ce nouvel élément de données peut être assigné au même nouveau groupe d'éléments de données que vous avez créé pour les estimations de l'enquête.
-
Configurez les dénominateurs utilisés par l'outil– Cliquez sur Plus, ensuite sur Administration, puis sur Dénominateurs.

alt_text Les dénominateurs ne sont pas configurés par défaut. Ceux que vous observez dans l'exemple ci-dessus ont dû être ajoutés un à un avec la fonction Ajouter. Une fenêtre apparaîtra pour la configuration du dénominateur (voir la figure à droite). Vous remarquerez qu'un groupe d'éléments de données spécial a été configuré pour les "Estimations de la population". Il inclut l'élément "Nombre de femmes enceintes attendu". Les données de cet élément de données ont été importées dans le cadre de la configuration standard des dénominateurs de DHIS2. Le "Niveau le plus bas disponible" a été défini sur "Région", parce que les estimations des enquêtes démographiques et de santé (EDS) fiables ne sont pas disponibles en deçà du niveau de la région. Même si vous configurez l'outil pour désagréger les résultats par district, les résultats de la comparaison des données externes ne seront désagrégés que par région.

alt_text Les dénominateurs suivants doivent y être ajoutés :
a) Grossesses attendues,
b) Naissances vivantes,
c) Population < 1, et
d) Le nouvel indicateur ou élément de données que vous avez créé pour l'estimation des naissances vivantes de l'ONU.
4**Configurez l'outil pour effectuer des comparaisons externes** - Cliquez sur "Plus" puis "Administration" puis "Comparaison de données externes".

alt_text Il n'y a pas de paramètres par défaut. Ceux présentés ci-dessus ont dû être ajoutés un par un en cliquant sur le bouton Ajouter. Une fenêtre apparaît pour configurer la comparaison (voir la figure de droite). Les estimations de couverture de l'EDS et les estimations démographiques de l'ONU ont été importées dans l'ensemble de données "Données externes" nouvellement configuré. Ces mêmes éléments de données ont également été assignés au groupe d'éléments de données "Données externes" nouvellement configuré. Vous pouvez voir dans l'exemple que ce groupe d'éléments de données a été sélectionné, et que "Couverture de la CPN 1 (EDS 2014)" peut être sélectionné dans le menu déroulant.

alt_text Le "Numérateur des données de routine" doit être sélectionné dans la liste des numérateurs qui ont déjà été configurés pour l'outil. Le niveau d'enquête a été défini sur "Région".

alt_text 5.Configurez les relations du dénominateur- Lorsque vous cliquez sur Plus-Administration -Relations du dénominateur, vous devriez constater que le tableau comporte une ligne par défaut intitulée "Population totale - recensement et estimation de l'ONU".

alt_text Pour configurer cette relation, cliquez sur Éditer. Éditez le Nom comme suit : "Naissances vivantes - chiffre officiel et estimation de l'ONU". Laissez le Type défini sur "Projection de la population de l'ONU". Cliquez sur les flèches vers le bas à gauche du Dénominateur A et du Dénominateur B pour faire votre choix dans la liste. La liste est limitée aux dénominateurs que vous avez configurés à l'étape 3 ci-dessus. Pour le dénominateur A, choisissez l'estimation officielle des naissances vivantes (ou le meilleur équivalent disponible). Pour le dénominateur B, choisissez l'estimation des naissances vivantes de l'ONU. Sauvegardez votre configuration.

alt_text 
alt_text
Remarques¶
1. Faites encore une révision sommaire. Par exemple, utilisez DHIS2 pour comparer la valeur suspecte avec la valeur des éléments de données associées (par exemple VPO 3, Penta 1) pour le même établissement et pour le même mois ;
2. Utilisez DHIS2 pour envoyer un message à la personne responsable des données ;
3. Si vous êtes au niveau du district, vous pouvez consulter le formulaire papier ;
4. Contactez le responsable de l'établissement sanitaire pour une vérification du formulaire papier ;
5. Si vous avez l'autorité, éditez la valeur.
-
Avec la période définie de cette façon, l'affichage devrait correspondre aux captures d'écran présentées dans ce guide. ↩
-
Le tableau de bord des données atypiques est généralement plus efficace dans l'identification des valeurs erronées. De plus, comme nous le verrons bientôt, il permet d'effectuer une "analyse en profondeur" pour identifier l'établissement de santé et le mois associés à chaque valeur suspecte. L'outil qui gère les valeurs atypiques devrait révéler que la hausse suspecte de la CPN 1 en janvier 2020 est une valeur atypique extrême. Nous pourrions analyser davantage et découvrir que cette valeur atypique extrême est une valeur erronée signalée par un établissement de santé du district F. Cette valeur atypique extrême est également responsable du point du district F qui tombe en dessous de la ligne bleu clair du graphique. Le point tombe en dessous de la ligne bleue car la valeur moyenne de mai 2019 à mars 2020 a augmenté à cause de valeur atypique extrême de janvier 2020. ↩
-
Pour plus d'informations sur la configuration de l'outil, voir la section "Comment configurer l'Outil de qualité des données de l'OMS". ↩
-
Les "doses de Penta-HepB-Hib 3 administrées < 1 an" sont rapportées avec l'ensemble de données du PEV tandis que les "doses de Penta 3 administrées" sont rapportées avec l'ensemble de données du HMIS. ↩
-
Le Z-score mesure la différence entre une valeur atypique et "l'écart type" (variation ou fluctuation) observé au niveau des valeurs mensuelles. Les valeurs atypiques extrêmes basées sur les Z-scores standard sont supérieures à 3 écarts-types par rapport à la valeur moyenne pour le même établissement de santé au cours des 12 mois précédents (c'est-à-dire Z > 3,0). ↩
-
La méthode du Z-score standard repose sur la moyenne et l'écart type des valeurs au cours des 12 derniers mois. Cette méthode pose problème, car la moyenne et l'écart type sont très affectés par les valeurs atypiques. Un autre inconvénient de la méthode du Z-score standard est son comportement étrange lorsque les valeurs n'existent que pour quelques mois - en effet, cette méthode ne permet pas de détecter de valeurs atypiques si des valeurs manquent pour plusieurs mois. La méthode du Z-score modifiée n'est pas confrontée aux mêmes problèmes. Elle utilise la médiane (la moitié des valeurs se trouve au-dessus de la médiane et l'autre moitié en dessous de la médiane) en lieu et place de la moyenne et l'écart absolu médian (différence médiane entre chaque valeur et la médiane de référence) en lieu et place de l'écart-type. Par conséquent, les Z-scores modifiés ne sont pas si affectés par une ou deux valeurs atypiques extrêmes. Les quelques valeurs extrêmes sont plus facilement détectables et ont des Z-scores modifiés plus élevés. L'outil considère une valeur atypique comme extrême lorsqu'elle a un Z-score modifié supérieur à 5. ↩
-
[Des instructions seront fournies sur la configuration de la messagerie DHIS2.] ↩
-
Gardez "Comparer les unités d'organisations" défini sur "Résultat général" pour évaluer un ratio comme CPN1/IPT1. Cela équivaut à définir les relations du numérateur sur le tableau de bord de l'outil de QD sur "Égales dans les unités d'organisation". Avec ce paramétrage, la pente de la ligne de référence montrera le ratio des indicateurs au niveau national et cette pente sera à peu près égale à celle des points représentant le ratio pour chaque district ou région. Par conséquent, "Égales dans les unités d'organisation" signifie que la pente au niveau national est égale à la pente moyenne au niveau infranational. ↩
-
C'est plus simple lorsque l'élément de données fait partie d'un groupe d'éléments de données ou lorsque l'indicateur fait partie d'un groupe d'indicateurs. Toutefois, vous pouvez également sélectionner un ou plusieurs éléments de données dans n'importe quel ensemble de données. ↩
-
Pour sélectionner un "Groupe d'unités d'organisation" (par exemple, pour sélectionner "Hôpitaux"), vous devez d'abord supprimer toutes les sélections par défaut pour "Niveau d'unité d'organisation". ↩
-
Note à destination de l'animateur – quelques étapes potentielles à suivre : ↩
-
Malheureusement, avec https://who.-demos.dhis2.org/dq, les rapports sur tous les ensembles de données sont inférieurs à 50 % avant 2017. Les données des années dont les rapports aussi incomplets ne doivent pas être utilisées dans l'évaluation de la cohérence d'une année à l'autre. ↩
-
L'annexe 1 explique pourquoi il est plus important de comparer les estimations des naissances vivantes que les estimations de la population totale. ↩
-
Note à destination des éditeurs : Dans la version actuelle de l'outil, la section 4a est intitulée "Cohérence avec les projections démographiques de l'ONU - Rapport entre les projections démographiques du Bureau des statistiques et les projections de l'ONU". Cette formulation est codée en dur dans l'outil et ne peut donc pas être reconfigurée. Elle suggère que l'outil 4a compare l'estimation officielle de la population totale à l'estimation de la population totale par l'ONU. Cela diffère de la version Excel de l'outil DQR qui compare l'estimation officielle des naissances vivantes à l'estimation des naissances vivantes de l'ONU. La comparaison des estimations de naissances vivantes est plus utile pour plusieurs raisons : a) les estimations des naissances vivantes sont plus susceptibles de différer en raison de la difficulté d'estimer le taux brut de natalité ; b) les estimations des naissances vivantes (et les estimations étroitement liées des grossesses et de la population < 1) sont les dénominateurs utilisés pour calculer la couverture des services à la mère et à l'enfant. Étant donné que cette couverture peut être proche de 100 %, l'estimation de ces dénominateurs doit être très précise. Cette question a été abordée avec les développeurs de l'outil basé sur DHIS2, qui prévoient de modifier en conséquence le titre de la section 4a. ↩