For the complete DHIS2 documentation index, see llms.txt.

Assessing CHIS¶

Cette section couvre les aspects importants de l'évaluation des CHIS. Compte tenu de la diversité des CHIS et de leurs multiples déterminants techniques, sociaux, organisationnels et culturels, il n'existe pas de méthode ou d'outil d'évaluation parfaitement adapté à toutes les situations. Ce chapitre se concentre donc sur la raison d'être d'une évaluation, sur diverses méthodes potentielles susceptibles d'améliorer la compréhension du CHIS et sur une liste détaillée de questions clés, inspirées des cinq principes de conception du présent document, qui devraient être prises en compte lors de la conception, du développement et de l'utilisation ultérieurs du CHIS. L'évaluation est abordée à deux niveaux : d'une part, au niveau de la macropolitique et, d'autre part, au niveau du développement du système opérationnel.

Why Do an Assessment?¶

Le processus d'évaluation du CHIS a de nombreux objectifs. Tout d'abord, une évaluation doit révéler les faiblesses et les forces du CHIS dans le but de mieux planifier son amélioration, de prioriser les ressources et de recueillir le soutien et l'accord des parties prenantes pour aller de l'avant. Compte tenu de la complexité du CHIS, il sera difficile de dresser une carte complète de tous les aspects du système et, bien sûr, le résultat de toute évaluation doit être considéré comme le produit d'informations subjectives et incomplètes.

L'évaluation peut se faire à plusieurs niveaux et au fil du temps. Dans ce chapitre, nous abordons deux niveaux auxquels il est recommandé d'évaluer le CHIS. Le premier est le niveau macro ou politique, qui donne un aperçu de l'infrastructure, des ressources, de l'environnement politique et des capacités au niveau du système. Le second est le niveau du système d'information, qui fournit des informations au niveau micro sur les questions de flux de données, de redondances, de besoins d'intégration, de technologies en jeu et d'autres questions similaires. Pris ensemble, ces deux niveaux d'évaluation fournissent des informations complémentaires qui aident à développer une perspective holistique de l'état du CHIS, des conditions contextuelles qui façonnent cet état, et qui aident à développer des lignes directrices sur ce qu'il faut faire pour renforcer le CHIS.

L'un des principaux objectifs de l'évaluation décrite n'est pas seulement le résultat final de l'évaluation, mais surtout le processus lui-même, qui doit être collaboratif, participatif et informatif. Cela permet de :

Informer les parties prenantes des aspects potentiellement peu familiers du CHIS. La réalisation d'une vaste évaluation avec la participation de multiples parties prenantes contribue à une meilleure compréhension du CHIS dans son ensemble, ses défis et ses points forts, ses routines et ses processus, ses outils, ses flux de données et ses besoins d'information.
Établir un consensus autour des priorités pour le renforcement du CHIS et des actions à entreprendre pour atteindre cet objectif. L'un des principaux résultats du processus d'évaluation est la recherche d'un consensus entre les parties prenantes sur les défis à relever en priorité et sur la manière de les aborder.
Mobiliser un soutien technique et financier conjoint pour un plan de renforcement du CHIS. Ce plan devrait comporter des détails sur la hiérarchisation des investissements à court terme (1 -- 2 ans), à moyen terme (3 -- 9 ans) et à long terme (10 ans et plus).

Nous allons maintenant examiner les méthodes d'évaluation aux niveaux micro et macro.

Assessment at the Macro Level: Policy and Health System Issues¶

Il existe plusieurs outils d'évaluation qui permettent une analyse plus quantitative des systèmes d'information sur la santé, tels que l'outil d'évaluation du réseau de métrologie sanitaire (Health Metrics Network Assessment Tool) et les outils liés au cadre PRISM. Inspiré par ces outils, un outil d'évaluation est inclus dans l'annexe de ces lignes directrices. Il a été développé pour se concentrer sur les aspects spécifiques du CHIS, mais sa méthode et ses grandes lignes sont similaires à celles de l'outil d'évaluation du HMN.

Pre-Assessment: Stakeholder Identification¶

Pour tirer le meilleur parti d'une évaluation, tant en termes de couverture de tous les aspects du CHIS que de recherche d'un consensus sur la voie à suivre, toutes les principales parties prenantes doivent être impliquées. La première étape de toute évaluation doit donc consister à identifier les différentes parties prenantes.

Stakeholders for this assessment will include, any person that has influence over CHIS outcomes, both positive and negative on a community health worker or program and the CHIS.

Il peut s'agir des acteurs du changement au sein de la communauté, tels que les chefs traditionnels, les enseignants, les commerçants ou les chefs religieux, mais aussi du personnel de l'établissement, des responsables de la santé au niveau du district, des chargés d'approvisionnement, etc.

Le tableau ci-dessous présente les parties prenantes potentielles aux différents niveaux du système de santé et peut servir d'exemple d'exercice d'identification des parties prenantes.

Hiérarchie/rôle	Parties prenantes
Communauté	Les ASC, les chefs, les maires, les chefs religieux, les associations de parents d'élèves ( APE), les comités de santé villageois.
Établissement	Chargé de l'information, Directeur de clinique, Gestionnaire de la chaîne d'approvisionnement, Clinicien
District	Membres de l'équipe sanitaire du district
Provinciale	Équipe de santé provinciale
Nationale	Les unités chargées des programmes de santé, telles que l'unité SIMR, le gestionnaire HMIS du ministère de la santé, les conseillers des programmes de lutte contre les maladies, les conseillers en ressources humaines, les conseillers financiers, les conseillers en S&E, d'autres ministères et organismes gouvernementaux.
Internationale	Agences donatrices, partenaires de l'implémentation

Figure 2.1: Potential Stakeholders at Various Levels of the Health System

Pour chaque partie prenante, tenez compte des éléments suivants et complétez le tableau en conséquence :
Les décisions et actions critiques qu'ils entreprennent.
Les informations qu'ils (pourraient) utiliser en provenance de la communauté pour prendre des décisions ou mener des actions.
Comment ils utiliseraient ces informations pour prendre une décision.
Où ils obtiennent ces informations, sous quelle forme et à quelle fréquence.

Les principaux rôles et responsabilités des différentes parties prenantes doivent également être mis en correspondance avec le cycle de l'information présenté au chapitre 1. Bien que l'identification des parties prenantes fasse partie de l'évaluation proprement dite, il convient de penser à tenir compte de l'étendue des parties prenantes lors de la réalisation de l'évaluation ultérieure. Par exemple, l'outil d'évaluation fourni bénéficierait de la contribution d'un grand nombre de parties prenantes et, dans l'idéal, des représentants des différents rôles et niveaux du système de santé, ainsi que des parties prenantes du secteur de la santé et d'autres secteurs, devraient y prendre part.

The CHIS Assessment Tool¶

Cet outil d'évaluation consiste en une série de questions, organisées sous différentes rubriques (Appropriation par le gouvernement, Engagement de la communauté, Structure des rapports, Procédures opérationnelles normalisées, Conception et développement du système, et Retour d'information). Pour chaque question, quatre réponses sont données (très bien, bien, présent mais pas bien, et pas bien du tout).

L'exercice de notation doit être effectué par les principales parties prenantes, qui doivent refléter la diversité du CHIS. Chaque question doit être discutée en séance plénière, afin que chacun puisse être informé des domaines dont il n'est peut-être pas pleinement informé. Il convient ensuite de se mettre d'accord sur la note à attribuer à chaque question.

Un exemple est présenté dans la figure 2.2 (avec une explication plus détaillée dans les annexes), à partir de la rubrique "Propriété des pouvoirs publics". Même si les différentes réponses ne correspondent pas exactement à la situation, il convient de sélectionner la réponse qui reflète le mieux la situation.

	Très bien	Bien	Présent mais pas bien	Pas bien du tout
Éléments	3	2	1	0
Existe-t-il un groupe de travail technique (GTT) du CHIS, dirigé par des hauts fonctionnaires du ministère et comprenant des représentants des principaux groupes de parties prenantes ?	Oui, il existe un groupe de travail sur le système d'information sur la santé communautaire (CHIS TWG), doté d'un leadership clair et d'une participation active de tous les acteurs clés, qui gère le développement, l'implémentation et la durabilité du système d'information sur la santé communautaire (CHIS).	Oui, il existe un GTT du CHIS avec un leadership clair et une participation active de la plupart des organisations des principales parties prenantes.	Oui, il existe un groupe de travail technique du CHIS, mais il ne dispose pas d'un leadership clair ou n'est pas en mesure de gérer l'ensemble du développement, de l'implémentation et la viabilité du CHIS.	Il n'y a pas de groupe de travail technique du CHIS ou il est inactif.

Figure 2.2: Example of Assessment Tool from the topic heading "Government Ownership

Les scores obtenus grâce à l'outil d'évaluation peuvent ensuite être utilisés pour planifier les activités de renforcement du CHIS :

Un score faible indique que ce domaine particulier du CHIS est faible. Un score plus élevé indique que ce domaine fonctionne de manière adéquate. Cela ne signifie pas nécessairement qu'il faut accorder la priorité à toutes les questions dont le score est faible ; cela dépendra du système envisagé, de la stratégie de mise à l'échelle et des ressources.
Les résultats peuvent servir de référence pour une évaluation ultérieure. Une réévaluation peut, par exemple, être effectuée chaque année pour suivre les progrès réalisés.
Les éléments de l'outil d'évaluation peuvent également être liés à des objectifs. Par exemple, un objectif peut être de passer de la note 1 à la note 2 dans un certain domaine.

Ces lignes directrices et l'outil lui-même ne fournissent pas une liste d'actions directes, une recette, pour améliorer les scores. L'outil est plutôt conçu comme une contribution à la conception, à la planification et à l'implémentation des activités de renforcement du CHIS, dont les résultats devront être interprétés en fonction du contexte.

Assessment at the Macro Level: An Example¶

Un bref exemple peut être utilisé pour montrer comment l'outil d'évaluation peut être utilisé pour évaluer le niveau macroéconomique et politique.

Un pays est en train d'examiner ses services de santé communautaire et, à cet égard, souhaite évaluer les forces et les faiblesses de l'ensemble du CHIS avant de planifier des interventions spécifiques. La première étape consiste à former un comité de pilotage qui supervisera l'évaluation et analysera les résultats. Le comité de pilotage procède à un exercice d'identification des parties prenantes afin de déterminer qui devrait participer à l'évaluation, et en privilégiant un groupe assez restreint pour des raisons logistiques, ils identifient les éléments suivants.

Un agent de santé communautaire et un représentant d'un comité de santé communautaire sont sélectionnés pour apporter le point de vue de la communauté elle-même. Ils sont choisis parce qu'ils ont l'expérience de la manière dont la collecte des données et le retour d'information fonctionnent entre les ASC et les établissements dont ils dépendent, et de comment les ASC interagissent avec la communauté dans son ensemble.

Un responsable de l'information d'un établissement est inclus car cette personne gère le flux de données entre les ASC et les systèmes d'information de gestion de la santé, et connaît les difficultés rencontrées par les établissements en matière de distribution des produits médicaux.

Chaque district dispose d'un chargé de programme de santé communautaire, et la participation de l'un d'entre eux est assurée pour obtenir la contribution du district. Outre la gestion des services de santé communautaire dans le district, cette personne assurera également la liaison entre les ASC et les autres responsables de programmes de santé basés au siège du district, ce qui est considéré comme une participation adéquate au niveau du district.

Au niveau national, le responsable du programme de santé communautaire, ainsi que le technicien informatique, se joignent au groupe. Enfin, un représentant d'une grande ONG internationale, qui soutient les ASC dans certains districts, est invité.

Conducting the Assessment¶

Le comité de pilotage, composé de membres du personnel du programme de santé communautaire, invite ensuite les parties prenantes identifiées à un atelier d'une journée dans la capitale. En raison de problèmes logistiques, les représentants de la communauté, de l'établissement et du district sont choisis dans le même district, bien que le groupe devrait idéalement réunir des représentants d'au moins deux districts. Cependant, l'ONG accepte d'inviter un ASC supplémentaire d'un autre district, car elle y pilote de nouveaux mécanismes relatifs aux comptes-rendus des ASC.

Le groupe examine l'outil question par question en séance plénière, étant donné qu'il n'y en a pas beaucoup. C'est aussi l'occasion pour ceux qui ont une bonne connaissance du problème en question d'en informer les autres membres de l'équipe.

Voici un exemple de réponse à l'une des questions. Le groupe discute de la question suivante : Les prestataires de soins traditionnels rendent-ils compte de leurs activités par l'intermédiaire du CHIS ? La grille de notation pour cette question est la suivante:

	Très bien	Bien	Présent mais pas bien	Pas bien du tout
Éléments	3	2	1	0
Les prestataires de soins traditionnels rendent-ils compte de leurs activités par l'intermédiaire du CHIS ?	Oui, tous les prestataires de soins traditionnels exerçant au niveau communautaire rapportent leurs activités au CHIS national.	La plupart des prestataires de soins traditionnels exerçant au niveau communautaire font état de leurs activités dans le cadre du CHIS national.	Certains prestataires de soins traditionnels exerçant au niveau communautaire font part de leurs activités au CHIS national.	Les prestataires de soins traditionnels ne font pas partie du CHIS.

Figure 2.3: Example of scoring scheme for traditional health providers.

En premier lieu, le responsable du programme de santé communautaire informe l'équipe que, non, il n'en est rien. Ils ont essayé d'incorporer les données des accoucheuses traditionnelles (AT) dans les rapports des ASC, mais en raison du manque de reconnaissance et de collaboration formelles, les AT ne voient pas l'intérêt de faire des rapports aux ASC ou aux établissements. C'est une question qu'ils envisageraient, mais pour l'instant, ils devraient donner un score de 0 à cette interrogation.

Cependant, les deux ASC présents peuvent attester qu'ils recueillent parfois des données auprès des AT. Ils connaissent eux-mêmes au moins une AT, qui est basé dans l'un des villages qu'ils approvisionnent. Ils entretiennent de bonnes relations et communiquent parfois avec l'AT pour confirmer une visite, puisqu'il n'y a pas de comité de santé communautaire dans ce village. Lorsqu'ils le font, ils peuvent informer qu'ils obtiennent des données pertinentes sur les activités de l'AT, et les inclure dans leur rapport si cela est approprié. Cependant, l'un des ASC dit que cela est inclus, et donc fait partie de son rapport, tandis que l'autre dit qu'elle l'ajoute au verso du papier, comme indiqué par l'AT.

L'équipe décide alors qu'une note de 1 est appropriée pour cette question, mais fait remarquer dans la feuille de notation que la façon dont ce rapport d'AT est effectué varie et n'est pas du tout standardisé.

Interprétation des résultats{ #interpreting-the-results }¶

Ils passent donc en revue les questions des outils d'évaluation. À la fin, ils disposent d'une liste de scores pour toutes les questions, ainsi que d'un certain nombre de remarques clarifiant certains points. La notation elle-même met en évidence les forces et les faiblesses du CHIS, mais le comité de pilotage est ensuite chargé d'analyser plus en détail les données et de décider des priorités. Par exemple, comme ils ne disposent pas de rapports électroniques de la part des ASC, ils se rendent compte qu'une amélioration du score sur les rappels automatiques lorsque les rapports sont lents est très éloignée. Ainsi, même si le score est fixé ici à 0, cela n'est pas considéré comme une faiblesse majeure à laquelle il faut remédier dans l'immédiat.

Un rapport contenant les conclusions et les interprétations des résultats est ensuite transmis à l'équipe qui a réalisé l'évaluation, afin d'obtenir un retour d'information. Ils décident d'utiliser un système de hiérarchisation à trois niveaux (priorité élevée, moyenne, faible) pour toutes les questions et le présentent lors de la prochaine réunion de direction de tous les programmes de santé, tout en le partageant avec les partenaires du secteur de la santé.

Assessment at the Micro Level: A Case Study¶

Nous illustrons cette méthode d'évaluation à l'aide d'une approche utilisée par HISP en Indonésie.

En 2014, le ministère indonésien de la santé, en collaboration avec ses parties prenantes (dont le Fonds mondial et l'Université d'Oslo), a lancé une initiative visant à renforcer le système d'information sanitaire du pays en mettant l'accent sur les établissements et les communautés, en réponse à des défis spécifiques. Le SIS indonésien est structuré en plusieurs systèmes verticaux, spécifiques à des programmes de santé, chacun disposant de ses propres plates-formes et travaillant en "silos". Il en résulte des problèmes communs, notamment un partage limité des données entre les programmes, ce qui entraîne une duplication des données collectées dans les établissements de santé et impose un lourd fardeau aux agents de santé, contraints de saisir des données similaires dans le cadre de plusieurs programmes. Pour remédier à ces problèmes, le ministère de la santé et ses partenaires ont procédé à une évaluation de son système d'information sanitaire actuel. Par conséquent, ils ont commencé à voir le potentiel des tableaux de bord de district comme référentiels centraux qui ne compromettaient pas de manière significative les structures sous-jacentes des données des programmes individuels. À partir de là, le ministère de la santé et ses parties prenantes se sont engagés dans une mission visant à implémenter un tableau de bord intégré qui hébergeait des informations provenant de plusieurs programmes de santé (par exemple, le VIH, la tuberculose, le paludisme, la santé maternelle et infantile, etc.) à l'aide du DHIS2. Le projet a implémenté le tableau de bord dans 10 districts sélectionnés situés dans 5 provinces. L'approche du tableau de bord intégré du district s'est concentrée sur la qualité et l'utilisation des données, ainsi que sur l'identification et l'inclusion d'ensembles de données supplémentaires dans le système. L'approche provinciale était moins complète et se concentrait uniquement sur les données aisément disponibles. Les 10 districts disposaient chacun d'un consultant SIS, mais les provinces n'avaient pas de ressources supplémentaires.

Tous les programmes de santé en Indonésie, tels que le paludisme, la tuberculose, le VIH, la nutrition, la santé maternelle et infantile, ont leur propre système d'information et leurs propres structures de rapport. L'objectif du projet "tableau de bord" était d'intégrer les données de tous les programmes de santé dans un seul entrepôt de données et de fournir ces données par le biais de tableaux de bord personnalisés pour chaque niveau (district, province et national). La principale difficulté de bon nombre de ces systèmes réside dans le fait que les données relatives aux établissements et aux communautés ne sont pas disponibles au niveau national, car seuls les agrégats des districts sont communiqués par les districts et les provinces. Certains programmes (comme le VIH et la tuberculose) disposent de systèmes nationaux basés sur le web avec des données par établissement disponibles dans les serveurs nationaux. Pour ces systèmes, les données sont extraites directement dans le DHIS2 au niveau national. Pour les autres systèmes, en revanche, les données doivent être identifiées et importées ou saisies au niveau du district ou, dans certains cas, de la province.

La première phase de l'implémentation des tableaux de bord de district a consisté en une évaluation orientée vers l'action d'une durée de 10 semaines dans 5 provinces et 10 districts. Cette phase initiale a consisté à évaluer sur place le contexte des systèmes d'information sanitaire existants et à adopter une approche participative de la formation, de la conception des tableaux de bord et de l'évaluation de la qualité des données à l'aide du système de tableaux de bord alimenté par des données locales. L'évaluation et la formation comprenaient une analyse de la situation afin d'établir les infrastructures existantes et de sensibiliser les responsables de programmes locaux à la valeur des tableaux de bord de district qui peuvent descendre jusqu'au niveau des établissements et des communautés. En outre, il fallait mettre en place un mécanisme permettant un partage efficace des données entre le tableau de bord DHIS2 implémenté et les systèmes d'information existants au niveau du district et de la province. Les sessions de formation, de démonstration et de retour d'information ont utilisé les données sur la tuberculose, le VIH et la population déjà incluses dans DHIS2 pour concevoir des tableaux de bord et évaluer la qualité des données. L'évaluation avait pour but d'identifier les domaines suivants :

Data Sources and Management: The identification of standard data collection tools and data sources for routinely reported data, as well as population surveys and other data sources. This also includes the handling and processing of data at the source point.
Data Import Procedures to Create Comprehensive Dashboards: Electronic data for 2016 was collected from all identified systems with the purpose of importing it into the DHIS2 in order to develop a comprehensive dashboard system and design procedures for importing data on a regular basis.
Data Flows: Data flow mechanisms from the community level to the national level. The intermediated processing or conversion of data from one administrative level to another.
Information Systems: Available information systems and their linkages both horizontally (across programs) and vertically (up the ministry hierarchy).
Indicators and Information Products: Identification of core set of indicators at different administrative levels and their linkages to the national strategic plans.
Data Dissemination Mechanisms: Identification of available information dissemination and use approaches to inform internal and external stakeholders.

Assessment Framework¶

L'équipe d'évaluation était composée de membres du ministère de la santé (Pusdatin), de l'UiO, de l'université Gajah Madah et de trois universités sélectionnées comme "centres d'excellence" dans le domaine informatique de la santé. Onze consultants (un pour chaque district et un au niveau national) ont également participé au processus d'évaluation. Avant le déploiement de 10 semaines, chaque district a procédé à une auto-évaluation à l'aide d'une version adaptée de l'outil d'évaluation du Health Metric Network (HMN).Cet exercice a favorisé la prise de conscience et l'engagement au niveau local en vue de l'évaluation plus orientée vers l'action qui a suivi. L'équipe d'évaluation s'est appuyée sur les résultats des questionnaires HMN de manière pratique en examinant les systèmes et les ressources ciblés par les questionnaires.

L'équipe d'évaluation a adopté une approche cyclique imbriquée qui consistait en l'exécution séquentielle de "cycles", en commençant par le bureau provincial du ministère de la santé qui se concentrait sur la cartographie de tous les systèmes provinciaux (y compris les deux districts pilotes), avant de se rendre dans le premier district où un ensemble similaire d'actions centrées sur le district a été réalisé. Les enseignements tirés de l'évaluation de la province ont servi à l'évaluation du premier district, qui a servi à son tour à l'évaluation du second district. Il était utile de comparer directement les perspectives au niveau de la province avec la manière dont les différents aspects du SIS étaient considérés au niveau du district. Par exemple, dans un cas, alors que la direction provinciale des médicaments d'une province soulignait l'utilité d'un système de suivi des ruptures de stock de médicaments utilisant 20 "médicaments traceurs", le premier district évalué a utilisé ce système de manière erronée ; il a utilisé une liste de médicaments différente et a indiqué le stock réel au lieu de la rupture de stock. Comme des personnes de la province ont participé aux évaluations des districts, et vice versa, ces malentendus ont été rectifiés directement. Le deuxième district de cette province a, quant à lui, utilisé le système de rupture de stock conformément aux instructions de l'administration provinciale.

Les enseignements tirés de chaque cycle d'activités d'évaluation répétitives ont été utilisés pour informer et améliorer le cycle suivant ; le prochain district dans la même province et ensuite d'autres provinces (voir figure 1 ci-dessous). Un cycle comprenait deux semaines dans chaque province, dont trois jours dans le bureau de la province, puis trois jours dans chacun des districts. Au cours de chaque cycle, de multiples outils/mécanismes ont été utilisés pour évaluer la situation existante à l'aide de discussions avec des groupes cibles (FGD), de visites sur le terrain, d'évaluations de rapports et d'outils, et d'analyses de données. L'équipe d'évaluation était composée du personnel des bureaux de santé (au niveau national, provincial et du district), du personnel des Puskesmas et Posyandu (au niveau de la communauté) et d'autres personnels sectoriels (hôpital, assurance maladie, bureau national des statistiques, gouvernement local, bureau d'information et de communication, bureau social et d'aide sociale, bureau d'état civil et des ONG). Des sessions de diffusion des données et de plaidoyer ont été organisées le dernier jour du cycle, encourageant le chef du gouvernement local (le maire), le parlement local et les chefs de province et de district à promouvoir les tableaux de bord implémentés et à fournir un retour d'information sur les leçons apprises.

Figure 2.4: One cycle of assessment mechanism in one province.

The Assessment Process¶

Focus Group Discussion¶

Afin de recueillir des résultats enrichis auprès des participants, des discussions approfondies ont été organisées sous la forme de groupes de discussion avec des informateurs clés issus de différents départements de santé de la province et du district (notamment les services hospitaliers, la surveillance et la gestion des catastrophes, parmi d'autres départements de programmes spécifiques - VIH, tuberculose, paludisme, etc.) Un processus structuré a été utilisé pour identifier les sources de données des programmes de santé existants, les outils de collecte de données et les flux de données du niveau inférieur au niveau national. L'équipe a également examiné les goulets d'étranglement existants, les disparités dans les informations sur les infrastructures (c'est-à-dire les informations sur les établissements de santé déclarants dans le cadre du programme de santé) et les doubles emplois dans la collecte des données entre les programmes de santé. Le processus initial du mapping des données était un mécanisme manuel dans lequel les informations fournies par les gestionnaires du programme étaient décrites sur des feuilles de papier (voir figure 2.5) pour faciliter la compréhension et la validation par les participants. À chaque cycle, le processus a été modifié et amélioré en employant un mécanisme électronique dans lequel tous les points de données ont été mappés à l'aide d'un logiciel (Freemind). Ce logiciel a fourni un mécanisme direct et efficace pour mapper les points de données à plusieurs niveaux d'administration (par exemple, province, district et établissements de santé). Les cartes créées à l'aide du logiciel ont été projetées sur l'écran, ce qui a permis aux participants de fournir un retour d'information immédiat et de procéder à des révisions, qui ont ensuite été reflétées sur la carte.

Figure 2.5: Manual to Electronic data mapping

Field Visit¶

Un autre mécanisme de l'évaluation a consisté à recueillir des informations supplémentaires et à valider les données collectées lors des discussions de groupe en effectuant des visites sur le terrain. L'équipe a passé une deuxième journée complète sur le terrain, visitant les bureaux provinciaux ou de district, les établissements de santé (hôpitaux et/ou centres de santé) et les centres communautaires. Dans les bureaux provinciaux et de district, les outils de collecte de données ont été rassemblés avec leurs formats de rapport. Les systèmes d'information et les infrastructures existants ont été identifiés et évalués sur la base des données collectées, des modules de rapport et des liens avec d'autres systèmes. Dans les établissements de santé, la collecte des données, les mécanismes de traitement et le flux d'informations vers le niveau du district ont été évalués. Au niveau communautaire, la collecte des données et l'utilisation des informations locales, ainsi que tout mécanisme de retour d'information existant vers et depuis les niveaux supérieurs ont été évalués.

Figure 2.6: Health facility assessment

Training and Participatory Prototyping and Assessment¶

Dans chaque province et district, une journée entière a été consacrée à la formation au DHIS2 et aux tableaux de bord, ainsi qu'à la participation à l'évaluation de la qualité des données et au prototypage des tableaux de bord. Le DHIS2 était déjà alimenté par les données du système national de lutte contre la tuberculose et le VIH, ainsi que par les données du KOMDAT, qui collectait des données sur les indicateurs clés par district. Les données démographiques étaient également incluses dans le système. Une formation a été dispensée pour permettre aux utilisateurs de concevoir leurs propres tableaux de bord et d'y inclure de nouveaux éléments de données et indicateurs. La fonctionnalité du tableau de bord a été très appréciée par les utilisateurs qui l'ont utilisée pour afficher, représenter graphiquement et évaluer leurs propres données. En particulier, la qualité des données sur la tuberculose s'est avérée douteuse. Les données relatives à la tuberculose sont communiquées au district par l'établissement, soit par voie électronique, soit sur papier, et compilées au district à l'aide d'un système hors ligne. Les données sont ensuite téléchargées dans le système en ligne (SITT). Dans de nombreux districts, ceci a créé un problème systémique où il y avait moins de données dans le système en ligne que dans le système hors ligne. En fait, il n'y a jamais eu plus de données dans le SITT en ligne que dans le système hors ligne, ce qui indique que de temps en temps, certaines données n'ont pas été téléchargées. Il est intéressant de constater que les premiers "résultats" de l'accessibilité de ces données nationales aux utilisateurs locaux sont l'identification des problèmes de qualité des données.

La participation des utilisateurs à la conception des tableaux de bord et à l'évaluation de la qualité des données s'est avérée être une partie importante de l'évaluation, ce qui a conduit à une plus grande appropriation et à un plus grand engagement dans le processus de l'implémentation.

Advocacy, Planning, and Data Dissemination¶

Une session avec les parties prenantes de plusieurs secteurs (en plus de la santé) a été organisée pour la diffusion de l'information et le plaidoyer dans tous les districts et provinces. Les participants à cette session comprenaient les chefs des administrations provinciales, de district et locales, ainsi que d'autres responsables de programmes de santé. L'équipe d'évaluation a présenté le tableau de bord mis en place en mettant l'accent sur les processus d'utilisation de l'information. Les principaux points de discussion ont porté sur l'inclusion de données provenant d'autres secteurs dans l'approche du tableau de bord. Les statistiques nationales ont des bureaux dans tous les districts et provinces et étaient particulièrement intéressées à participer au projet. La présentation a été suivie d'une discussion sur les projets futurs et d'un aperçu des actions probables.

Data Analysis and Reflections¶

Dans chaque cycle provincial, quelques jours ont été réservés à l'analyse et au mapping des données, à la configuration du système et à la discussion sur les défis observés en matière d'évaluation. L'équipe a évalué les données recueillies au cours du groupe de discussion, des visites sur le terrain et des observations dans le cadre d'une discussion. Ensuite, l'équipe d'évaluation a formulé des recommandations et des suggestions d'amélioration directement à l'ensemble du groupe. Par ailleurs, le mapping, le traitement et l'importation des données dans la plateforme DHIS2 ont été effectués pour permettre le développement des tableaux de bord du district et de la province.

Les résultats obtenus par cette approche d'évaluation ont été présentés et discutés en premier lieu dans l'équipe interne, puis au ministère de la santé. Le processus et les résultats de l'exercice d'évaluation ont conduit au lancement des activités d'amélioration du SIS suivantes.

Data Standardization¶

L'une des principales observations de l'équipe d'évaluation a été l'absence de normes en matière de communication des données dans les provinces évaluées. Les données communiquées dans le cadre d'un même programme avaient des formats différents d'une province à l'autre et parfois au sein d'une même province. Par exemple, un élément de données sur l'allaitement maternel exclusif a été collecté au sein du département de la nutrition. Dans la province de NTB, la ventilation mensuelle par âge allait de 0 à 5 mois. Cependant, le même élément de données dans les provinces de Java Timur et de Maluku combinait la dimension de l'âge de 0 à 5 mois tout en la désagrégeant par sexe (masculin et féminin). La même chose a été observée dans le système intégré d'enregistrement et de déclaration des Puskesmas (SP2TP) dans le formulaire LB1. Dans ce cas, la province de Maluku disposait d'une ventilation par sexe, tandis que les autres provinces déclarant le LB1 disposaient d'éléments de données ventilés par groupe d'âge. La plupart des programmes de santé utilisent encore des outils papier associés à des feuilles Excel. Les domaines des programmes vont du paludisme à la nutrition, en passant par la vaccination, la surveillance, les ressources humaines, etc. En outre, les formats Excel diffèrent d'un district à l'autre en fonction des décisions locales adoptées, ce qui limite l'agrégation aux niveaux supérieurs.

Fragmentation of HIS¶

L'évaluation a permis de constater que les données sanitaires en Indonésie étaient gérées par différents départements avec une communication horizontale minimale. Cette fragmentation a entraîné une duplication des données collectées et un partage limité des données entre les départements. L'existence de KOMDAT, le système national qui collecte des données pour environ 130 indicateurs de santé nationaux (basés sur des données agrégées par district), est un exemple des efforts déployés par le ministère de la santé pour intégrer les informations provenant des programmes de santé. Toutefois, la fragmentation du SIS et les problèmes de qualité des données persistent au sein des systèmes de santé. La figure 2.7 présente une partie de la structure du système observée dans les cinq provinces visitées.

Figure 2.7: Information System mapping.

Information Use and Demand¶

L'utilisation d'informations locales a été observée au niveau de la communauté et de l'établissement de santé. Les responsables de la santé ont utilisé la pratique standard d'identification des cas de suivi. Des graphiques et des tableaux ont été tracés au niveau du district et de la province pour diffuser l'information. Des bulletins et des rapports annuels ont été rédigés par les établissements de santé et transmis au niveau provincial selon un format standard. L'utilisation d'un tableau de bord semble avoir servi de catalyseur pour rassembler les parties prenantes des différents départements dans ce processus. Les gestionnaires étaient motivés par la possibilité de disposer d'informations complètes pour la prise de décision.

Figure 2.8: Information use by local community

Recommendations from the Assessment Exercise¶

Se baser sur la récente implémentation du DHIS2 pour impliquer davantage de parties prenantes et adopter une approche globale des données intersectorielles (par exemple, les données statistiques, les données d'état civil, les données hospitalières, les données relatives à l'assurance maladie).
Une approche provinciale au lieu, ou plutôt en plus, d'une approche de district pour permettre une implémentation rapide des tableaux de bord de district. Cependant, toutes les données ne sont pas disponibles par établissement et par communauté au niveau de la province et devront être collectées dans les districts.
Investir dans le renforcement des capacités à travers des formations internes et externes.
Encourager une plus grande intégration avec les autres parties prenantes en utilisant les tableaux de bord des districts.
Assurer une coordination plus fonctionnelle entre le département d'information sur la santé et les autres programmes de santé au niveau du district et aux niveaux administratifs supérieurs.
Création d'outils de collecte de données standard qui seront utilisés dans tout le pays.
Élaborer des approches plus solides pour prendre en compte d'autres sources de données avec des formats de données disparates.

Building Synergies from Macro and Micro Level Assessments¶

Les deux méthodes présentées plus haut dans ce chapitre doivent être considérées comme complémentaires. Dans le tableau ci-dessous, certains points forts et points faibles sont soulignés afin de faciliter l'évaluation de l'outil qui pourrait s'avérer le plus utile dans un contexte donné.

	Outil d'évaluation au niveau macro	Étude de cas au niveau micro
Forces	Peut être réalisé avec relativement peu de ressources, bien qu'une large participation soit encouragée ; intègre un mécanisme de notation qui peut être utilisé pour une évaluation périodique ; Donne une vue d'ensemble des aspects importants du CHIS.	Permet une meilleure compréhension du CHIS, comme les flux de données, les routines de travail ; Aide à comprendre les individus, leur raisonnement et leurs actions ; Adapté pour identifier les aspects contextuels ; Bon pour identifier les défis et les opportunités qui sont difficiles à quantifier.
Faiblesses	Le processus de notation est subjectif ; il n'approfondit aucun des aspects ; il est relativement plus statique et ne tient pas compte de la dynamique du processus ; un ensemble prédéfini de questions peut ne pas convenir à tous les contextes ; il peut ne pas être représentatif d'une multiplicité de points de vue et se limiter qu'à ceux qui répondent aux questions.	Exigeant en ressources ; difficile à mettre à l'échelle, certaines zones d'échantillonnage doivent être considérées comme représentatives de l'ensemble du district/de la province/du pays ; ne permet pas d'obtenir des informations détaillées sur les conditions au niveau macro qui déterminent le CHIS.

Figure 2.8: Macro and Micro-Level assessment pros and cons

Synergies between the Macro and Micro-Levels of Assessment¶

Dans le tableau ci-dessus, nous avons résumé certains des points forts et des points faibles des deux approches. Cependant, nous soutenons que l'évaluation du CHIS dans son ensemble permet d'obtenir des informations plus riches. Si l'évaluation macro nous permet de comprendre les aspects contextuels et politiques plus vastes qui façonnent le CHIS, elle est complétée par la compréhension des individus, de leurs actions et des divers processus qui constituent le CHIS. Le niveau macro définit la portée du changement au niveau micro, et vice versa. Par exemple, les procédures opérationnelles standard (POS) au niveau macro, telles que le renforcement des infrastructures, sont nécessaires pour initier une conception appropriée au niveau micro, telle que la nécessité de développer des solutions hybrides (hors ligne et en ligne) pour le système d'information sur la santé. En même temps, une compréhension des solutions hybrides possibles ou non au niveau micro est fondamentale pour développer les POS au niveau macro. D'une manière générale, le niveau macro est utile pour diagnostiquer et identifier les défis, tandis que la compréhension du niveau micro aide à comprendre les solutions possibles aux défis identifiés. Dans ces lignes directrices, nous préconisons donc l'utilisation conjointe des évaluations aux niveaux macro et micro, afin de pouvoir identifier les synergies et les actions correctives requises pour les améliorations futures du CHIS.