Jak používat a interpretovat nástroj WHO pro kvalitu dat¶

[Note to the facilitator: this section can best be presented using a live, online projection of the DQ TrainingLand instance of DHIS2 (https://who.-demos.dhis2.org/dq ). The document can be presented in its entirety, followed by the 3 exercises. The instructions for the 3 exercises should be printed together as a single document, a copy of which should be given to each participant. Guidance on configuration of the numerators for the Tool is provided in a separate document entitled “How to Configure the WHO Data Quality Tool.docx”. Presentation related to assessment of denominators and comparison with survey estimates is dealt with in a separate documents entitled “Quality Denominators.ppt”. ]

Contents¶

Obsah

• Spustit nástroj
• Použít ovládací panel úplnosti
• Použijte ovládací panel „Konzistence-čas“
• Použijte nástroj pro kontrolu kvality dat specifickou pro program
• Použití ovládacího panelu „Údaje o konzistenci“
• Použití ovládacího panelu „Odlehlé hodnoty“
• Použití funkce „Analysis-Consistency“
• Použijte funkci „Analysis-Outliers and Missing Data“
• Cvičení 1: Pomocí ovládacího panelu a analytických funkcí identifikujte podezřelé hodnoty ve vašem DHIS2
• Cvičení 2: Diskutujte, jak se vypořádat s velmi podezřelými hodnotami
• Použití funkce „Výroční zpráva“
• Cvičení 3: Použijte nástroj k přípravě výroční zprávy o kvalitě dat
• Annex 1: How to configure Denominators, Denominator relations and External data comparisons
• Poznámky
• „DPT-HepB-Hib 3 dávky podané < 1 rok“ je hlášeno s datovým souborem EPI, zatímco „Podané dávky Penta 3 jsou hlášeny s datovým souborem HMIS.

Spusťte Nástroj¶

1. Log into the DHIS2 instance https://who.-demos.dhis2.org/dq
   Uživatelské jméno: demo Heslo: District1#

2. Do řádku vyhledávacích aplikací v pravém horním rohu domovské stránky DHIS2 zadejte "WHO". Klikněte na WHO Data Quality Tool.

   

3. Rychle zkontrolujte hlavní nabídku nástroje DQ: Po spuštění nástroje DQ se v horní části stránky zobrazí 5 karet. Ty se používají k výběru mezi několika různými funkcemi. Všimněte si, že je zvýrazněno „Dashboard“ a ve výchozím nastavení je vybrána funkce Ovládací Panel.

   

4. Quickly review the Dashboard menu: The Dashboard has its own set of 4 tabs. The Completeness tab is selected by default.

Použijte ovládací panel Úplnost¶

1. Zkontrolujte ovládací panel Úplnost: Přejděte dolů a zkontrolujte stránku Úplnost ovládacího panelu kvality dat. Stránka zobrazuje úplnost pro každý z 5 „základních datových souborů“.

Note: When you review the completeness with your DHIS2 instance, if you find that completeness of one or more dataset is 0%, consider the possibility that this is because the data was imported. DHIS2 cannot be used to monitor the completeness of imported data unless you also import the completeness meta-data. For the training instance of DHIS2, the immunization dataset is quite incomplete. It is best to review the quality of the ANC data which are more complete.

a. Review the graphs on the left side of the page: The graphs on the left show, for each dataset, the completeness and timeliness by month for each of the last 12 months.

b. Review the graphs on the right side of the page: The graphs on the right show, for each dataset, the completeness by Region for the last month of the period being analyzed. Note: with this instance of DHIS2, the country is divided into 4 regions and each region is divided into multiple districts. Completeness for the most recent month is actually a measure of timeliness. It is often more revealing to show completeness for the month before last. Click on the menu icon.

c. Change the “Organisation unit” that is being analyzed: By default, the DQ Tool analyzes all data nationwide, disaggregated by Region. The DQ Tool can also be used at district level with data disaggregated by individual health facility. In the Organisaton unit section of the menu, click on Other and select “District D” of Region A. The graphs on the left side of the completeness page now show the 12 month trend in the reporting completeness of District D. By default, the graphs on the right side of the completeness page show results disaggregated for one level below – facility. Question: Which individual facilities have not yet reported ANC data for last month? For 3 months ago? For 6 months ago? After you have experimented with changing the organization unit and the month, reset it national with disaggregation by District and period = April of this year¹.

Použijte ovládací panel „Konzistence času“¶

1. Zkontrolujte panel konzistence času: Klikněte na kartu „Konzistence času“. Přejděte dolů a zkontrolujte stránku. Pohybem kurzoru na každém grafu zobrazíte rozbalovací podrobnosti.

a. Prohlédněte si grafy na levé straně stránky: Grafy vlevo ukazují pro každý základní čitatel trend v hodnotě čitatele za období před 1 až 12 měsíci (ve výše uvedeném grafu tmavě modrá), období 13 až 24 měsíců dříve (světle modrá v grafu výše) a období 25 až 36 měsíců dříve (oranžová v grafu výše). Všimněte si prudkého růstu hodnoty ANC 1 v květnu 2018 a znovu v lednu 2019. Když dojde k tak dramatickému nárůstu na národní úrovni, že je to jistě podezřelé.

b. Prohlédněte si grafy na pravé straně stránky: Každý graf na pravé straně je příkladem „bodového grafu“. Když je nástroj nastaven na členění podle okresu, každá tečka představuje hodnotu pro jeden okres. V tomto grafu představuje poloha tečky na svislé ose hodnotu čitatele pro vybraný měsíc (nezapomeňte, že jsme znovu nastavili nabídku tak, aby zobrazovala výsledky za období = duben 2020). Poloha tečky na vodorovné ose je průměrná hodnota ve stejném okrese za 11 předchozích měsíců. Body, které se objevují nad spodní šedou čarou nebo nad horní šedou čarou, jsou podezřelé (např. V níže uvedeném příkladu byl počet návštěv ANC 1 ^st v okrese F v dubnu 2020 1 425 ve srovnání s průměrem 4 596 / měsíc od Květen 2019 až březen 2020.

Proto může být „Ovládací panel doby úplnosti“ užitečný k identifikaci některých podezřelých hodnot. Jiné komponenty nástroje však lépe identifikují podezřelé hodnoty. Tato stránka nástroje se tedy nepoužívá tak často jako ostatní ².

Použijte tento nástroj k programové kontrole kvality dat¶

1. Zkontrolujte seznam „základních“ datových prvků / indikátorů: V nabídce nástroje jsou data nyní nastavena na „základní“. Výsledkem je, že nástroj představuje zjištění týkající se datových prvků / indikátorů, které byly zahrnuty do skupiny „Core“ ³. Přejděte dolů na stránku „Čas úplnosti“ a seznam zkontrolujte. Všimněte si, že jsou k dispozici pouze dva indikátory imunizace ⁴.

2. Change Data to “Immunization”– On the menu (click on the icon if the menu is not open) change Data from “Core” to “Immunization”. Notice what happens to the list of data elements/indicators featured. There are now 10 immunization indicators featured on the “Completeness-time” page. In this way, the Tool can be used for a program-specific review of data quality – to review the full range of program-specific indicators. Before you continue to the next step, use the menu to change Data back to “Core”.

Použijte ovládací panel „Konzistence dat“¶

1. Zkontrolujte ovládací panel konzistence dat: Klikněte na kartu „Data konzistence“. Tato stránka ukazuje, zda existuje věrohodný vztah mezi čitateli, kteří spolu souvisejí. Jedná se o „vztahy čitatele“, které se konfigurují pomocí vztahů Více-správa-čitatel. Přejděte dolů a zkontrolujte stránku. Pohybem kurzoru na každém grafu zobrazíte rozbalovací podrobnosti.

   a. Review any scatterplots: The graph comparing ANC 1 to ANC 4 is a scatterplot with each dot representing the total values, over the last 12 months, for one district. Districts with values that fall outside of the grey threshold lines are represented with a diamond shape. As one example, for District F (represented by the enlarged diamond), over the last 12 months, ANC 4 was only 2,641 while ANC 1 was 51,976. The discrepancy is suspicious and should be investigated.

   

   b. Review any graphs assessing dropout rates: The graph comparing DPT1 to DPT3 assesses for any “negative dropout rate”. The graph shows that there are 5 districts which, over the 12 months up to and including April 2020, had a negative DPT 1 to DPT 3 dropout rate. In other words, these 5 districts reported a higher value of DPT 3 than DPT 1. A negative DPT dropout rate for a district for an entire year is usually a sign of poor data quality. This should be investigated.

   

Použijte ovládací panel „Odlehlé hodnoty“¶

1. Use the “Outliers” dashboard to identify suspicious district-level values: Click on the tab for “Outliers”. If necessary, use the menu to set Disaggregation to District. To free up space on the page, click on the menu icon to make the menu disappear. The page shows a “Result” table with a large number of rows. Each row has one or more values highlighted in red. How are the values highlighted in red different from the other values in the same row? The Tool finds the values highlighted in red to be suspicious because they are either significantly higher or significantly lower than the other values in the row. The rows are sorted in order of “weight”. The “weight” can be thought of as the difference between the suspicious value and the average of other values in the row. There are so many rows that the table will not fit on a single page. You can view the subsequent pages by clicking on the controls at the bottom of the page.

   

   a. Investigate outliers with a weight that exceeds 5% of a district’s annual total. With so many outliers, how can you decide which ones are most important? One approach is to focus on the rows at the top which have the largest weight. As a rule of thumb, all values with a weight that is more than 5% of the district’s expected annual total should be carefully investigated because they can significantly distort the district statistic. Consider, as examples, the 1^st and 2^nd rows in the above table showing extreme outliers in the values of ANC 1. The expected annual number of pregnancies in districts F is 20,000 while the expected number of pregnancies in district E is 110,000. In both cases the extreme outliers must be investigated because the outlier weights greatly exceed 5% of the district’s expected annual pregnancies.

   b. Investigate outliers with an extreme Z-score. There is another way to identify the outliers which are most suspicious by using their “Z-score”⁵. To use this method, click on the Options button to open the Options window. To see the Z-score for each row, click on the box “Include Z-score”. Review the Standard Z-score values in the Result table. Notice that the values range from less than 2 to more than 3. Next, click on the following buttons: 1) Outliers; 2) Standard Score; and 3) Extreme. If the Result table has no rows at all or only 1 or 2 rows, click on “Modified Z-Score”⁶ to identify more outliers.

   

   c. Inspect each row– Questions: Review the Standard Z-scores. Notice how the Result table reduces to only a few rows. Notice that the Z-score for each row is greater than 3.0. Do you think these suspicious value might be due to an error? How would you investigate to determine whether a highlighted value is due to an error? Click on the menu icon at the end of the first row and select “Visualize” from the drop-down menu.

   

   d. “Drill down” to investigate the source of the suspicious value – Click on the Close button to close the graph, click again on the menu icon and select “Drill down” from the drop-down menu. If necessary, again use the Options feature to filter the table to Outliers, Standard Score and Extreme. Do you think these suspicious value might be due to an error? Very large extreme outliers such as the one in the first row are very likely to be due to errors. Extreme outliers which are much less than the average monthly value, such as the one seen in the second row, may be due to missing data if they are seen at district or higher level. A small but extreme outlier seen at facility level is also likely to be due to an error.

   

   If there is another level of the organizational hierarchy below this level, you can drill down further. If, however, this is the lowest level in the hierarchy then you get a message such as the following:

   

   e. Consider sending a message⁷ to the person responsible. Click again on the menu icon and select “Contact” from the drop-down menu. A window should appear showing the Contact person for notifying of the extreme outlier. Click on “Write message”. Use the drop-down menus to fill in the information below Recipient, write a message and click on “Send message”. A message will then be sent via the DHIS2 internal messaging service.

   

   

   As we have seen, the dashboard of the DQ Tool is easy to use. A limitation of the dashboard, however, is that it can only be used to review those data elements/indicators for which the dashboard has been configured (see “How to configure the WHO Data Quality Tool”). Next we will learn how the Analysis function of the DQ Tool can be used to review the quality of any data element or indicator for which DHIS2 has data.

Použijte funkci „Analýza-konzistence“¶

1. Zkontrolujte analýzu - funkce „Konzistence“: Kromě ovládacího panelu poskytuje nástroj pohodlný způsob přizpůsobení kontroly kvality dat.

2. Klikněte na kartu Analýza v horní části stránky a poté vyberte možnost Konzistence.

Zobrazí se okno, které vám umožní nakonfigurovat přizpůsobené hodnocení konzistence v čase nebo konzistence mezi souvisejícími čitateli. Ve výchozím nastavení je vybrána konzistence „Mezi indikátory“ (mezi souvisejícími čitateli) a je vybrána možnost Porovnat organizační jednotky s „Celkový výsledek“. S tímto nastavením nelze vybrat A = B, A> B a Dropout ⁸. Ponechte „Typ analýzy konzistence“ nastavený na „Mezi indikátory“, ale klikněte na „Očekávaný výsledek“ a vyberte „Vyřazení“ (viz obrázek).

• Kliknutím na Data vyberete čitatele. Nakonfigurujte okno podle obrázku. (Všimněte si, že pro oba čitatele je vybrán indikátor. Je to proto, že pro tuto instanci DHIS2 jsou data pro DPT 1 rozdělena na dva samostatné datové prvky: DPT1 z pevných webů a DPT1 z dosahu. Chcete-li současně zkontrolovat data pro oba z těchto datových prvků byl nakonfigurován indikátor, který je součtem nebo dvěma datovými prvky. Podobně byl nakonfigurován indikátor pro součet DPT3 z pevných míst a DPT3 z dosahu.

• Kliknutím na Období můžete upravit období podle obrázku - nastaveno na poslední rok.

• Klikněte na organizační jednotku a nastavte disagregaci na District.

Klikněte na modré tlačítko Analyzovat v pravém dolním rohu stránky a zobrazí se výsledky. Všimněte si následujícího:

1. Graf na levé straně stránky je podobný tomu, co jsme viděli na ovládacím panelu dat konzistence. Existuje 6 okresů, které měly zápornou míru předčasného ukončení DPT 1 až DPT 3 v roce 2017. Podrobnosti najdete přesunutím kurzoru přes červené pruhy.

2. Tabulka v pravé části stránky obsahuje řádek pro celou zemi, za kterým následuje jeden řádek pro každý okres. Okresy jsou řazeny podle míry jejich předčasného ukončení. V horní části tohoto seznamu je 6 okresů se zápornou mírou předčasného odchodu. Řádky pokračují na dalších dvou stránkách, ale je méně důležité zobrazit tyto další stránky, protože míra předčasného ukončení je pozitivní.

   

3. Pokud kliknete na libovolný řádek, barva řádku se změní na bledě žlutou a ve spodní části stránky se zobrazí tabulka jednoho řádku a další graf. Graf zobrazuje výsledky podle měsíce. V tomto příkladu byla DPT 3 vyšší než DPT1 během 7 z 12 měsíců loňského roku. Negativní míra předčasného odchodu tedy není jen výsledkem jediného odlehlého bodu - přinejmenším pro rok 2019 u okresu G došlo k opakovanému problému.

   

4. Kliknutím na ikonu nabídky na konci tohoto jediného řádku můžete provést „rozbalení“ a zobrazit výsledky rozložené na níže uvedenou úroveň. Graf ukazuje, že míra záporného předčasného ukončení není pouze výsledkem údajů hlášených jediným zdravotnickým zařízením - 11 z 18 zdravotnických zařízení v okrese G vykázalo v roce 2018 vyšší DPT 3 než DPT 1. Závěr: Zdá se, že okres G měl problém se systematickým nadměrným vykazováním DPT 3. Problém ovlivňoval hlášení více zdravotnických zařízení a několik měsíců. Může to být způsobeno tendencí zdravotnických zařízení v okrese G nesprávně klasifikovat první dávky DPT jako třetí dávky DPT.

1. Použijte funkci „Analýza - Konzistence“ k identifikaci všech hodnot zařízení, které vyžadují vyšetřování

2. Nastavte Typ analýzy, jak je znázorněno na obrázku: Typ analýzy konzistence = „Přesčas“; Porovnat organizační jednotky s = „Očekávaný výsledek“; Očekávaný trend = „Konstantní“; Kritéria = 0%.

• Klikněte na Data a vyberte jeden datový prvek nebo indikátor. Například ve skupině datových prvků „HMIS“ vyberte „Penta 3 podané dávky (HMIS)“

• Kliknutím na Období můžete upravit období, jak je znázorněno na obrázku. S těmito nastaveními bude hodnota za únor 2020 porovnána s hodnotami za předchozích 12 měsíců.

• Klikněte na Organizační jednotku, vyberte konkrétní okres a nastavte členění na Zařízení.

S tímto nastavením budou hodnoty Penta 3 za únor 2020 pro všechna zdravotnická zařízení v okrese E porovnány s průměrnými hodnotami vykázanými stejnými zařízeními během předchozích 12 měsíců.

• Klikněte na „Analyzovat a počkejte, až se graf zobrazí.

Jak interpretujeme tento graf?

• Každá tečka představuje údaje hlášené jedním zdravotnickým zařízením ve vybraném okrese (okres E);
• Graf porovnává hodnotu vykázanou v únoru 2020 s průměrnou hodnotou vykázanou stejným zdravotnickým zařízením během předchozích 12 měsíců;
• Čára představuje rovnost. Téměř žádná z teček nespadá přesně na čáru. Vzdálenost každého bodu od přímky je dána váhou. Drtivá většina teček leží tak blízko čáry, že jejich váha je malá a můžeme je ignorovat.
• Každý měsíc okres hlásí na formuláři HMIS celkem 6 536 dávek Penta 3 ^rd . Toto číslo můžeme použít k určení prahové hodnoty pro vyšetřování odlehlých hodnot. Mohli bychom například rozhodnout, že musíme vyšetřit jakýkoli odlehlý bod, který se odchyluje od linie o více než 5% z okresního úhrnu = 325.
• Pouze horní dvě tečky mají váhu větší než 325. Dokážete tyto dvě tečky v grafu spatřit? :
  • Zařízení 567 vykázalo 961, když dříve vykazovalo průměr 146 / měsíc. Tedy tato podezřelá hodnota má váhu 803;
  • Zařízení 222 nevykázalo vůbec žádné údaje, když dříve vykazovalo průměrně 349 / měsíc. Tudíž této chybějící hodnotě je přidělena váha 349;
• Tyto dvě hodnoty musí být vyšetřeny

Jako první krok našeho vyšetřování můžeme kliknout na každý řádek. Vybraný řádek zezelená a ve spodní části obrazovky DHIS2 se zobrazí graf.

The chart shows us how different the February 2020 value for Facility 567 is from the values reported previously. This is probably due to erroneous data. How could we use DHIS2 to investigate further? What more could you do to investigate this value? ` Here is what we find when we click on the row for Facility 222.

Všimněte si nejen toho, že hodnota v únoru 2020 chybí, ale v květnu 2019 existuje podezřele vysoká hodnota. To ukazuje, jak tato analýza může nejen identifikovat extrémní odlehlé hodnoty za měsíc, který jsme vybrali pro kontrolu (únor 2020), ale může někdy identifikovat odlehlé hodnoty z předchozích měsíců (pokud je odlehlá hodnota tak velká, že zvyšuje průměr za 12 měsíců o velké množství).

Stručně řečeno, s tímto typem analýzy může okres zkontrolovat nejnovější hodnoty ze všech zdravotnických zařízení a identifikovat malou podmnožinu hodnot, které vyžadují intenzivní vyšetřování. Analýza musí být prováděna po jednom datovém prvku.

Použijte funkci „Analýza - odlehlé hodnoty a chybějící data“¶

1. Zkontrolujte funkci Odlehlé hodnoty a chybějící data: Klikněte na kartu Analýza v horní části stránky a vyberte možnost „Odlehlé hodnoty a chybějící data“. Funkce Analysis-Outliers funguje přesně stejným způsobem jako ovládací panel Outliers. Výhodou, kterou má oproti palubní desce, je, že je mnohem flexibilnější. Můžete jej nakonfigurovat tak, aby posoudil jakýkoli datový prvek nebo indikátor ⁹ - nejen datové prvky / indikátory, pro které byl nakonfigurován ovládací panel nástroje DQ. Ve skutečnosti jej můžete nakonfigurovat tak, aby simultánně vyhodnotil jakoukoli kombinaci požadovaných datových prvků a indikátorů. Mohli byste se dokonce rozhodnout simultánně posoudit všechny datové prvky nebo indikátory v datové sadě, skupině datových prvků nebo skupině indikátorů.

   

Můžete jej také použít k vyhodnocení údajů za jakékoli období.

... and for any grouping of health facilities.¹⁰

Cvičení 1: Použijte ovládací panel a analytické funkce k identifikaci podezřelých hodnot ve vašem DHIS2¶

1. Zkontrolujte ovládací panel „Konzistence času“ - Klikněte na kartu panelu „Konzistence času“. Zkontrolujte levý a pravý graf prvního datového prvku / indikátoru (ANC 1).

   a. Nastavte Data na [Základní], období do dubna tohoto roku a Disagregace na Okres.

   b. Zkontrolujte graf vlevo.

   Má datový prvek / indikátor konzistentní hodnotu z roku na rok a z měsíce na měsíc. Pokud ne, jak vysvětlíte dramatickou nesrovnalost?

   c. Rychle přejděte na ovládací panel Úplnost a zkontrolujte trend v Úplnosti datové sady ANC za posledních 12 měsíců (graf na levé straně stránky).

   Do jaké míry je nekonzistence v hodnotě datového prvku / indikátoru způsobena změnou v úplnosti hlášení?

   d. Zpět na konzistenci

   Časový panel a kontrola grafu vpravo pro ANC 1. Tento graf je bodový graf, přičemž každá tečka představuje jeden okres. Poloha tečky na svislé ose ukazuje hodnotu ANC 1 pro jeden okres za duben letošního roku. Poloha tečky na vodorovné ose ukazuje průměrnou hodnotu ANC 1 pro tento okres během 11 měsíců před dubnem (tj. Květen 2019 až březen 2020). Chcete-li zobrazit podezřelé hodnoty, přesuňte kurzor na tečky, které leží nad nebo pod dvěma šedými čarami.

   Otázka: Vyjmenujte okresy, které mají hodnoty za minulý měsíc, které nejvíce nesouhlasí s jejich průměrnou hodnotou za předchozích 11 měsíců. Máte nějakou teorii, proč byla data z těchto okresů časem nekonzistentní? Může to být kvůli neúplnému hlášení za minulý měsíc? Může to být kvůli skutečným změnám v poskytování služeb minulý měsíc? Všimněte si, že existuje několik důvodů pro nekonzistenci v čase. Proto nekonzistence v čase nemusí nutně znamenat problém s kvalitou dat.

2. Zkontrolujte „Consistency-data“ - Klikněte na kartu v hlavním panelu „Consistency-data“. Každý graf na tomto ovládacím panelu hodnotí vztah mezi dvojicí souvisejících datových prvků / indikátorů.

   a. Prohlédněte si první graf porovnávající ANC 1 s ANC 4:

   Tento graf je také bodovým grafem, přičemž každá tečka představuje hodnoty pro ANC 1 a ANC 4 pro jeden okres za 12 měsíců do dubna tohoto roku včetně. Okresy s hodnotami, které spadají mimo šedé prahové čáry, jsou reprezentovány kosočtverečným tvarem. Přesuňte kurzor nad tyto tečky a zkontrolujte podezřelé hodnoty souvisejících datových prvků / indikátorů.

   Otázky: Vidíte, proč nástroj označil tyto související hodnoty jako podezřelé? Seznam okresů má podezřelé hodnoty. Máte nějakou teorii, proč mají tyto konkrétní okresy podezřelé hodnoty? Proč by neúplné hlášení NEVYSVĚTLOVALI podezřelé hodnoty?

   b. Zkontrolujte graf hodnotící míru předčasného ukončení DPT:

   Otázky: Které okresy mají zápornou míru nedokončení DPT 1 až DPT 3? Ve kterém okrese je míra předčasného odchodu nejvíce negativní? Proč si myslíte, že tento konkrétní okres má nejnepříznivější míru předčasného ukončení DPT? Může být míra záporného předčasného odchodu způsobena jedinou velkou chybnou hodnotou pro jedno zdravotnické zařízení na jeden měsíc? Nebo je míra předčasného ukončení kvůli více hodnotám z více zdravotnických zařízení a několika měsíců? S ovládacím panelem „Consistency-data“ nemůžeme na tuto otázku skutečně odpovědět.

   C. Použijte Analysis-Consistency k vyhodnocení míry předčasného ukončení DPT: Klikněte na kartu Analysis a v rozevírací nabídce vyberte možnost „Konzistence“. V části Typ analýzy klikněte na jednu z následujících možností: „Mezi indikátory“, „Očekávaný výsledek“ a Vyřazení “.

   

   Otevřete okno Data a nakonfigurujte jej podle obrázku vpravo. Poznámka: U vašeho DHIS2 mohou být DPT 1 < 1 rok (nebo Penta 1 < 1 rok) a DPT 3 < 1 rok (nebo Penta 3 < 1 rok) spíše datové prvky než indikátory.

   

   Open the Period window and set it to year = 2019.

   Open the Organisation unit window and set it to National (or the equivalent ) with disaggregation to District. Click the Analyze button.

   i. Review the chart and the table (note: the top row of the table will not be shaded yellow until you complete the next step). Move the cursor over the vertical red bars in the chart to view the details. Compare the names of the districts with vertical red bars to the names of the districts in the table with Dropout rate shaded in red.

   Questions: Which district has the most negative dropout rate? Find it in the chart and find it in the table. For that district, during 2019, what was the value of DPT 1 and what was the value of DPT 3 (see table)?

   

   ii. Click on the row of the table for the district with the most negative dropout rate. A new table and chart should appear at the bottom of the page.

   Question: Is the negative dropout rate due to a value for a single month or is it due to values for multiple months?

   

   iii. Click on the menu icon at the right end of the small table and select “Drill down” (due to a bug in the Tool, the words may not all show on the screen). A new chart and table should appear showing the dropout rates for 2019 for each org sub-unit (for example, each health facility if they are immediately beneath district in the organizational hierarchy).

   Questions: For the district which you have selected, is the negative dropout rate due to a value from a single facility or is it due to values from multiple facilities? Does it appear that the district you have selected has a systematic problem with over-reporting of DPT 3 – for multiple months and multiple sub-districts? How do you explain this?

   

3. K určení důležitých odlehlých hodnot použijte ovládací panel „Odlehlé hodnoty“ - Klikněte na kartu pro ovládací panel „Odlehlé hodnoty“. V okně nabídky zkontrolujte, zda je položka Rozdělení nastavena na Okres. Kliknutím na ikonu nabídky skryjete okno nabídky a uvolníte místo na obrazovce. Klikněte na tlačítko Možnosti, zaškrtněte políčko „Zahrnout Z-skóre“ a klikněte na „Odlehlé hodnoty“, „Standardní skóre“ a „Extrémní“. Pokud tabulka „Výsledek“ nemá žádné řádky nebo pouze 1 řádek, klikněte na „Upravené Z-skóre“.

   

   Klikněte na ikonu nabídky na konci prvního řádku tabulky a vyberte „Vizualizovat“. Zkontrolujte graf. Otázka: Myslíte si, že tato extrémní odlehlá hodnota je způsobena chybou v datech? Po dokončení prohlížení grafu klikněte na „Zavřít“.

   Znovu klikněte na ikonu nabídky na konci prvního řádku tabulky a vyberte možnost „Přejít dolů“. Měla by se objevit nová tabulka „Výsledek“ s 1 řádkem pro každé zařízení ve vybraném okrese, které má extrémní extrémní hodnotu během 12měsíčního období. Zvažte odlehlou hodnotu v prvním řádku této nové tabulky. Opakujte proces vizualizace odlehlé hodnoty. Pokud chcete, zkuste to rozbalit dále. Otázka: Myslíte si, že tato extrémní odlehlá hodnota je způsobena chybou v datech?

4. Použijte Analysis-Outliers k identifikaci extrémních odlehlých hodnot dalších datových prvků—

   Klikněte na kartu Analýza a poté vyberte možnost „Odlehlé hodnoty a chybějící data“. Vyberte datový prvek nebo indikátor podle vašeho výběru. Poté nastavte Období na 2019 a nastavte Organizační jednotku na národní s Disagregací podle okresů. Klikněte na Analyzovat a poté použijte nástroj k identifikaci extrémních odlehlých hodnot pomocí stejných kroků jako u ovládacího panelu Odlehlé hodnoty.

   

Cvičení 2: Diskutujte o tom, jak zacházet s velmi podezřelými hodnotami¶

1. Vyjmenujte opatření, která byste přijali, pokud jste identifikovali hodnotu, která byla velmi podezřelá a tak velká, že má pravděpodobně významný vliv na celostátní statistiku. ¹¹

2. Kdo má oprávnění upravovat data vašeho DHIS2?

3. Jak plánujete použít nástroj k identifikaci extrémních odlehlých hodnot - na úrovni okresů i na celostátní úrovni - každý měsíc nebo čtvrtletí i každý rok.

Použijte funkci „Výroční zpráva“¶

1. Generování výroční zprávy:

   Přejděte do nabídky v horní části nástroje DQ a klikněte na výroční zprávu. Pomocí rozevírací nabídky vyberte v části Data - skupina „[Jádro]“ - Skupina . V části Období vyberte poslední kalendářní rok a poté zadejte počet let, za který máte alespoň jednu sadu dat s úplností větší než 50%. V ideálním případě by to byly 2 nebo 3 roky ¹². Pod organizační jednotka nastavte rozčlenění na ekvivalent okresu. Nedoporučuje se, abyste nechali rozčlenění nastavené na ekvivalent Regionu (např. Kraj), protože výroční zpráva pak nedokáže identifikovat mnoho důležitých problémů s kvalitou dat. Přehled zobrazíte kliknutím na „Generovat“.

   

2. Quickly review the SUMMARY of the Annual Report:

   Zpráva začíná souhrnnou částí, po které následuje podrobnější zpráva, která obsahuje mnohem více informací. <span style="text-decoration:underline;"> Rychle </span> procházejte SOUHRNEM a všimněte si podsekcí věnovaných doméně 1 (úplnost), doméně 2 (interní konzistence), doméně 3 (externí srovnání) a doméně 4 (konzistence údajů o populaci).
   

3. Review the detailed report on 1a: Completeness of facility reporting:

   The detailed report begins about ⅓^rd of the way through the Annual Report.

   

   Note that table 1a shows an “Overall score” for each of the core datasets. This is the nationwide completeness of reporting for the dataset, during 2018. The column labeled “Percent” shows the percent of districts which had completeness below the threshold. The table identifies the specific districts with apparent problems with data quality.

   Question: What is the threshold for ANC Reporting rate? How many and what percentage of districts had a completeness below this threshold?

4. Napište něco do pole pro interpretaci:

   Všimněte si políčka, kde by měly být psány interpretace a poznámky o následných akcích.

   VÝROČNÍ ZPRÁVA NENÍ DOKONČENA, dokud nebudou vyplněny rámečky pro interpretace a následná opatření v klíčových částech zprávy.

5. Prohlédněte si graf úplnosti hlášení v průběhu času: Přejděte dolů na graf zobrazující „Kompletní hlášení v čase“. Pro robustní analýzu by datová sada měla být alespoň ze 75% kompletní. Pokud se úplnost datové sady změní o více než 5%, měla by být data před analýzou meziročního trendu upravena.

   Dotazy: 1) Pro které datové sady lze provést důkladnou analýzu dat z roku 2019? 2) Měly by být údaje ANC upraveny pro změnu úplnosti, aby bylo možné posoudit trend od roku 2018 do roku 2019?

   

6. Přehledová tabulka 2a: Extrémní odlehlé hodnoty:

   V tabulce je uvedena Prahová hodnota pro extrémní odlehlou hodnotu - Měsíční hodnota, která je více než 3 SD (standardní odchylky) od průměrné měsíční hodnoty pro období, které je předmětem přezkumu. Tabulka uvádí „Celkové skóre (%)“. Jedná se o procento zpráv očekávaných v průběhu roku (12násobek počtu zařízení, která se mají hlásit), u nichž byla hodnota indikátoru extrémní odlehlostí. „Počet“ je počet okresů a „Procent“ je % okresů, které v průběhu roku 2019 vykázaly extrémní odlehlou hodnotu indikátoru.

   

7. Recenze 2d: Konzistence hodnot indikátorů v čase:

   Přejděte dolů do sekce 2d. Tato část porovnává u 5 hlavních indikátorů celkovou hodnotu vykázanou v roce 2019 s průměrnou roční celkovou hodnotou za předchozí roky. Pro https://who.dhis2.net/dq máme data, která jsou alespoň na 50% úplná pouze pro roky 2018 a 2019. Porovnáváme tedy Hodnota roku 2019 na hodnotu roku 2018. Pokud jsou hodnoty indikátoru z roku na rok konzistentní, je to uklidňující. Pokud hodnoty z roku na rok nepravidelně skáčou nahoru a dolů, může to být známka skutečných změn ve výkonu programu (např. V důsledku vyprodání zásob). Nekonzistence z roku na rok však může být známkou problému s kvalitou dat.

   Zkontrolujte bodový graf zobrazující konzistenci v průběhu času návštěv ANC 1:

   Každá tečka představuje data z jednoho okresu. Poloha tečky na svislé ose je počet 1 ^první návštěvy ANC hlášených okresem v roce 2019. Všimněte si z malého grafu v levém dolním rohu, že došlo k celostátnímu nárůstu hlášení ANC 1 ^první návštěvy (většinou kvůli zvýšení úplnosti hlášení). Proto neočekáváme, že by se hodnota roku 2019 rovnala hodnotě roku 2018. „Celkové skóre“ 125% naznačuje, že celonárodní celková hodnota ANC 1 byla 125% hodnoty za předchozí rok. Rozdíl mezi hodnotou pro rok 2018 a hodnotou pro rok 2019 se také odráží ve sklonu černé čáry, která představuje národní vztah (např. Když černá čára překročí 60 000 na vodorovné ose, je to zhruba 67 000 na svislé ose). Šedé čáry ukazují ± 15% z národního poměru. Tečky, které spadají mimo šedé čáry, mají jiný tvar, protože mají podezřelé hodnoty. Například okres C zaznamenal v roce 2018 19 988 ANC 1 ^prvních návštěv, ale hodnota se zvýšila na 32 522 v roce 2019. Tento nárůst je podstatně více než celostátní nárůst. Tuto podezřelou hodnotu je třeba vyšetřit. Všimněte si, že okres C je zahrnut do pole se seznamem okresů s „odlišnými skóre“.

   

   Interpret your findings-

   Ask yourself whether there have been any sub-national changes in program operations (e.g. stock outs, new interventions) or reporting completeness or changes to administrative boundaries (i.e. splitting of districts) which affected the districts with divergent scores.

   Consider changing the threshold for assessment of consistency over time

   For some indicators, you may wish to change the threshold to identify a larger or smaller number of units with inconsistencies over time. For example, as an optional exercise, perhaps you want to focus only on the districts with the most extreme inconsistency over time. Click on “More” in the menu at the top of the DQ Tool, then “Administration” then “Numerator quality parameters” then scroll down to “Indicator parameters” and use the control arrows to raise the consistency threshold to ± 33%.

   Click on the “Save changes” button. Return to the Annual Report (set up as previously – with Period set to compare to the same number of years and with district dis-aggregations), again scroll down to section 2d (about 60% of the way through the Annual Report). Note the new Quality threshold in the table on the left. Note how the grey lines of the chart are now spread further apart and more of the dots now fall between the grey lines.

   Question: How many districts now have divergent scores?

   

   Review the scatterplot showing consistency over time of DPT 3

   Scroll down and find the table and chart for this indicator. Note how the dots are more scattered than for ANC 1. Ordinarily, we would not expect for DPT 3 values to be so unpredictable. However, as shown by the graph in the lower right corner, reporting of EPI data has risen dramatically. With data that are less 70% complete we should not expect consistency from year to year even in indicators such at immunizations and ANC visits which normally should be quite stable.

   

   In summary, there are many reasons that data may not be consistent from year to year. However, when we find consistency-over-time, it is reassuring that the data are of better quality.

8. Přezkum 2e: Konzistence mezi souvisejícími indikátory

   Přejděte dolů do sekce 2e. Grafy v této části jsou stejné jako grafy, které se zobrazují na ovládacím panelu „Data konzistence“. Jediným rozdílem je, že období je spíše poslední kalendářní rok (tj. 2019) než posledních 12 měsíců nebo kterékoli jiné 12měsíční období, které jste vybrali z nabídky ovládacím panelu. Výroční zpráva vám poskytuje příležitost vysvětlit vaše zjištění a shrnout vaše následná opatření. Například, co budete dělat, abyste dohlíželi a podporovali okresy, které mají záporné míry předčasného ukončení DPT?

9. Pomocí Nástroje proveďte externí srovnání (Sekce 3a)

   „Doména 3“ kontroly kvality dat zahrnuje srovnání odhadů založených na rutinních datech s odhady získanými z jiných zdrojů. K odhadu pokrytí zdravotními službami matek a kojenců se používají zejména rutinní údaje: prenatální péče, ústavní porod, postnatální péče a imunizace. Tyto „běžné odhady“ pokrytí lze srovnávat s odhady získanými z průzkumů reprezentativních vzorků domácností: Demografické a zdravotní průzkumy (DHS), Průzkum klastrových indikátorů (MICS), průzkumy imunizačního pokrytí a další.

   Takové odhady průzkumu jsou někdy považovány za „zlatý standard“ pro hodnocení spolehlivosti rutinních údajů. Je však důležité mít na paměti, že nesrovnalosti mezi rutinními odhady a odhady průzkumu mohou být způsobeny několika faktory kromě problémů se spolehlivostí a úplností rutinních dat:

   a. Další důvody, proč nemusí být odhad založený na rutinních datech spolehlivý: 1. Jmenovatel (tj. Cíl) nemusí být nadhodnocen nebo podhodnocen; 2. Osoby mohou žít v jednom okrese a získat zdravotní služby v jiném okrese; 3. Osoba může získat zdravotní služby od soukromých poskytovatelů, kteří podávají zprávy. Například předporodní péči a porodní služby mohou poskytovat soukromé porodní asistentky.

   b. Důvody, že odhady průzkumu nemusí být spolehlivé : 1. Chyba vzorkování - příliš malý vzorek pro přesný odhad. I při největším počtu vzorků je zřídka praktické odhadovat na úrovni okresů. 2. Ne-náhodné vzorkování - to byl problém s průzkumy prováděnými se starou metodikou průzkumu EPI podle WHO 3. Chyba bez vzorkování - např. zkreslení odvoláním. Jedná se o speciální problém, kdy není k dispozici domácí záznam a stav imunizace se hodnotí na základě odvolání poskytovatele péče.

   Přezkoumat část 3a výroční zprávy–

   Poznámka: Dříve než nástroj může generovat nálezy pro sekci 3a, je třeba provést několik kroků.

   Ty jsou popsány v příloze 1:

   1. Nové datové prvky DHIS2 musí být nakonfigurovány pro odhady průzkumu a data odhadu průzkumu musí být importována. Tato data jsou obvykle rozdělena podle oblastí.
   2. Je třeba nakonfigurovat stránky Jmenovatelé a Externí srovnání nástroje.

   Přejděte dolů do části 3a a podívejte se, jak se některé odhady pokrytí založené na rutinních datech porovnávají s odhady průzkumu. V příkladu si všimněte, že nálezy jsou nyní rozděleny podle krajů, nikoli podle okresů. Všimněte si, že „běžné“ odhady pokrytí se přiměřeně blíží odhadům „průzkumu“. Shoda bude zřídka tak dobrá. Ani v tomto příkladu však shoda není dokonalá. Rutinní odhady jsou trvale menší než odhady průzkumu. „Celkové skóre“ je 92,2%, což znamená, že běžný odhad na národní úrovni je 92,2% z odhadu průzkumu na národní úrovni. Napadají vás nějaké důvody, proč by běžné odhady byly nižší? Jedním z důvodů je, že, jak jsme viděli, úplnost hlášení údajů ANC je pouze asi 92%. Uvidíme, až prozkoumáme doménu 4, zda nadměrné odhady jmenovatele mohou být dalším důvodem.

   

   V našem příkladu je shoda špatná pro pokrytí DPT 3. Důvodem je samozřejmě nízká úplnost souboru dat EPI.

   

   Jak ukazuje obrázek níže, shoda je podstatně lepší, pokud jako čitatel použijeme údaje o dávkách Penta 3 ^rd , které jsou uvedeny ve formuláři HMIS, spíše než údaje o DPT 3, které jsou uvedeny ve formuláři EPI. Opět zaznamenáváme určitou tendenci k tomu, aby byl rutinní odhad mírně nižší než odhad průzkumu.

   

10. Použijte nástroj k posouzení jmenovatelů (část 4a) -

    Poznámka: Než může nástroj generovat nálezy pro sekci 4a, je třeba provést několik kroků. Oba tyto kroky jsou popsány v příloze 1:

    1. A new indicator or data element must be configured for the UN estimate of live births¹³.

    2. The denominator relations page of the Tool must be properly configured.

    “Domain 4” of a data quality desk review assesses the denominators used by DHIS2. Here we discuss findings related to section 4a which compares the official estimate of the live births to the U.N. estimate of live births.

    

    Here, with our example, we have identified one more reason why the estimates of coverage based on routine data (and based on the official estimates of pregnancies, live births or population < 1 year) are somewhat lower than the survey estimates – if we believe the U.N. estimate, the official estimate of live births may be too high. If we used the U.N. estimate as the denominator, then the routine coverage estimate would be higher.

Cvičení 3: Pomocí nástroje připravte výroční zprávu o kvalitě dat¶

1. Vytvoření výroční zprávy o kontrole kvality dat za rok 2019

   A. Klikněte na Výroční zprávu. Nastavte data na jádro. Nastavte období na rok 2019. Nastavte předchozí roky pro odkaz na tolik předchozích let, protože máte základní datový soubor, který je alespoň z 50% kompletní. Nastavte rozčlenění na ekvivalent okresu. Klikněte na Generovat.

   b. Projděte si následující části podrobné zprávy. Pro každou z těchto částí zadejte do pole Interpretace svoji interpretaci a shrňte své následné akce:

   1. 1a (úplnost hlášení)
   2. Zkontrolujte a interpretujte graf zobrazený ve spodní části 1d (konzistence úplnosti datové sady v čase
   3. 2a (extrémní odlehlé hodnoty)
   4. 2d (konzistence hodnot indikátorů v čase). Komentujte alespoň následující dva indikátory:

   i. ANC 1. ^první návštěvy

   ii. DPT 3^. dávky

   1. 2e (soulad mezi souvisejícími indikátory). Komentujte alespoň míru předčasného ukončení DPT 1 až DPT 3

Příloha 1: Jak konfigurovat jmenovatele, vztahy jmenovatelů a srovnání externích dat¶

Než může nástroj generovat zjištění pro oddíl 3a (srovnání externích dat) a 4a (konzistence odhadů jmenovatele) výroční zprávy, musí být nástroj správně nakonfigurován. Konfigurace čitatelů nástrojů je popsána v samostatném dokumentu. Tato příloha vysvětluje, jak konfigurovat jmenovatele, vztahy jmenovatelů a srovnání externích dat.

1. Nové datové prvky DHIS2 musí být nakonfigurovány pro odhady průzkumu a data odhadu průzkumu musí být importována. Tato data jsou obvykle rozdělena podle oblastí. Tyto datové prvky lze přiřadit k nové skupině datových prvků s příslušným názvem, například „Externí data“

2. Pro odhad OSN živě narozených dětí musí být nakonfigurován nový datový prvek nebo indikátor. ¹⁴ Jedním přístupem by bylo definovat nový indikátor, který počítá živě narozené děti vynásobením oficiálního odhadu celkové populace krát Odhad hrubé míry porodnosti OSN (dostupný z https://data.worldbank.org/indicator ) děleno 1000. To předpokládá, že oficiální odhad celkové populace je spolehlivý. Tento nový indikátor lze přiřadit k příslušné skupině indikátorů (buď existující skupině, nebo nové skupině, například „Odhady populace“. Jiným přístupem by bylo vytvoření nového datového prvku, pak pro odhad OSN u živě narozených dětí, pak použít Vstupní Data obrazovky pro zadání hodnoty pro každý rok. Pro každý rok je potřeba pouze jedna celostátní hodnota - není nutné žádné členění. Tento nový datový prvek lze přiřadit ke stejné nové skupině datových prvků, kterou jste vytvořili pro odhady průzkumu.

3. Konfigurujte jmenovatele používané nástrojem - Klikněte na Další, poté na Správa a poté na Denominátory.

   

   Ve výchozím nastavení nejsou nastaveni žádní jmenovatelé. Ty, které vidíte ve výše uvedeném příkladu, bylo nutné přidat jednotlivě kliknutím na tlačítko Přidat. Zobrazí se okno pro konfiguraci jmenovatele (viz obrázek vpravo). Všimněte si, že pro „odhady populace“ byla nakonfigurována speciální skupina datových prvků. To zahrnuje datový prvek „Očekávané těhotné ženy“. Data pro tento datový prvek byla importována jako součást standardní konfigurace jmenovatelů DHIS2. Všimněte si, že „Nejnižší dostupná úroveň“ byla nastavena na „Region“. Důvodem je, že spolehlivé odhady průzkumu DHS nejsou k dispozici pod úrovní regionu. I když nakonfigurujete další výstupy nástroje k rozčlenění nálezů podle okresů, nálezy externího srovnání budou rozčleněny pouze podle regionů.

   

   Nezapomeňte k tomu přidat následující jmenovatele:

   a) očekávaná těhotenství,

   b) živě narozené děti;

   c) populace < 1; a

   d) nový indikátor nebo datový prvek, který jste vytvořili pro odhad OSN u živě narozených dětí.

   4.Configure the Tool to make external comparisons – Click on “More” then “Administration” then “External data comparison”.

   

   There are no default settings. The ones shown above had to be added one at a time by clicking on the Add button. A window will appear for configuring the comparison (see figure to the right). The DHS coverage estimates and the UN population estimates have been imported as part of the newly configured “External data” data set. These same data elements have also been assigned to a newly configured “External data” data element group. You see in the exmaple that this data element group has been selected, then “ANC 1 coverage (DHS 2014)” can be selected from the drop-down menu.

   

   The “Routine data numerator” must be selected from the list of numerators that have already been configured for the Tool. The “Routine data denominator” must be selected from the list of denominators already configured for the tool. Notice that the Survey level has been set to “Region”.

   

   5.Configure Denominator relations– When you click on More-Administration –Denominator relations, you should find that the table has one default row labeled “Total population – census to UN projection.

   

   To configure this relation, click on Edit. Edit the Name to read “Live births – official to UN estimate”. Leave Type set to “UN population projection”. Click on the down arrows to the left of Denominator A and Denominator B to select from the list. The list is limited to the denominators which you configured in step 3 above. For Denominator A, choose the official estimate of live births (or the best available equivalent). For Denominator B, choose the UN estimate of live births. Save your configuration.

   

   

Poznámky¶

1. Proveďte další dokumentární kontrolu. Například pomocí DHIS2 porovnejte podezřelou hodnotu s hodnotou pro související datové prvky (např. OPV 3, DPT 1) pro stejné zařízení a stejný měsíc;
2. Pomocí DHIS2 odešlete zprávu osobě odpovědné za data’
3. Pokud jste na úrovni okresu, můžete si prohlédnout papírový formulář;
4. Zavolejte odpovědné osobě do zdravotnického zařízení a požádejte ji o kontrolu papírového formuláře;
5. Pokud máte oprávnění, upravte hodnotu.