Valutazione Esterna di Qualità
-Outliers-


Analisi Statistica e trattamento dei dati
Aberranti

outlier

Con il Ciclo 2001 del programma DicoCARE VEQ (all’epoca denominato IMMUNOsurvey), è stata introdotta una significativa innovazione nelle procedure di analisi statistica dei risultati, ovvero l’abolizione del criterio di valore "aberrante". A seguito di ciò, ogni valore estremo e/o discordante che dopo verifica con il Laboratorio non sia imputabile ad un errore grossolano (v.oltre) resta parte integrante delle elaborazioni statistiche.

Questa scelta trova conforto nelle molteplici testimonianze delle limitazioni dei correnti approcci, in larga misura empirici, volti a correggere potenziali interferenze a causa di valori estremi nelle elaborazioni statistiche (1-2).

Causa di risultati Aberranti, o Outliers, possono essere sia errori grossolani (es. sbagli di trascrizione, unità, conversione, scambio campione, ricostituzione, ecc) che valori estremi, o veri dati discordanti (2 ).
Benché in ambito scientifico vi siano posizioni contrastanti sulle modalità di intervento e trattamento dei valori Outliers, esiste tuttavia un largo consenso in merito alla necessità di preservare l’integrità dei dati (2).
Infatti, alcuni tra i più diffusi approcci di esclusione degli Outliers non solo talvolta risultano inefficaci, ma possono anche causare serie distorsioni (3).

Un Outlier è una osservazione situata a una distanza abnorme da altri valori in un campione casuale di una popolazione (4): in effetti, questa definizione lascia all’analista (o al processo di consenso) la libertà di decidere cosa può essere considerato anormale (4).
Ovviamente gli Outliers sono dei brutti dati, ma dovrebbero essere studiati con attenzione: spesso, infatti, contengono preziose informazioni sul processo in esame, sulla raccolta dei dati, o sul processo di registrazione (4).
Prima di considerare la possibile eliminazione di questi Outlier dai dati, si dovrebbe quindi cercare di capire il motivo della loro comparsa e se esiste la probabilità che valori simili possano continuare a presentarsi (4).
Non è quindi una soluzione ignorare risultati insoliti né eliminarli come aberranti: ad esempio, l’identificazione di un Outlier è un elemento chiave nel controllo di qualità (5).

Non a caso, nella Guida alle Ispezioni di Laboratori di Controllo di Qualità Farmaceutico, la U.S. Food and Drug Administration (FDA, USA) ha imposto specifiche restrizioni all’uso dei test per Outliers e ha proibito di eliminare risultati del controllo di qualità sulla base di test per Outliers (6).
A volte gli Outliers sono i più interessanti tra i dati; basti pensare ai pazienti oncologici con maggiore sopravvivenza rispetto al loro gruppo di controllo: questi soggetti, infatti, dovrebbero essere studiati con maggiore attenzione, piuttosto che rimossi come Outliers (7).
Le stesse misure indicanti l'esistenza del “buco nell'ozono” furono inizialmente considerate aberranti e come tali automaticamente scartate; di conseguenza, questo comportamento ha ritardato di molti anni la scoperta del fenomeno (8).
Per minimizzare gli effetti di risultati estremi è opportuno utilizzare misure statistiche robuste che hanno il vantaggio di consentire l’utilizzo di tutti i dati (9).

 

Outliers

Fig 1. Es.risultato Outlier

Nell’esempio in Fig.1 si osserva come un Outlier può causare una forte distorsione della Media e del Limite di confidenza al 95% della Media, ma non della Mediana. Infatti, la Mediana (50° percentile o Q2, secondo quartile: sotto tale punto c’è metà dei dati) è detta robusta (cioè solitamente non varia di molto in presenza di Outliers) ed è la misura statistica riassuntiva preferibile alla Media per definire la posizione “centrale” di una distribuzione asimmetrica (10 ,11 ,12 ,13).

outliers

Fig 2. Misure statistiche robuste

Oltre alla Mediana, i metodi statistici robusti più diffusi (Fig. 2) includono il Range Interquartile (IQR = Q3-Q1) (14), ottenuto dalla misura della distanza tra il 75° percentile (Q3, terzo quartile: sotto tale punto ci sono i ¾ dei dati) e il 25° percentile (Q1, primo quartile: sotto tale punto c’è ¼ dei dati). L’IQR non è influenzato da valori estremi, poiché corrisponde essenzialmente all’intervallo di valori compresi nel 50% centrale dei dati (15). La Deviazione Stan-dard (SD) robusta (detta anche IQR normalizzato) è una misura della dispersione e variabilità dei risultati ed equivale all’IQR moltiplicato per il fattore 0,7413 (o equivalentemente diviso per il fattore 1,3490) che lo rende comparabile alla SD (16). Analogamente alla Media e alla SD, la Mediana e la SD robusta sono misure, rispettivamente, della posizione centrale e della dispersione dei dati (17). Il CV robusto è un coefficiente di variazione che consente di confrontare la variabilità tra differenti campioni e test. Il CV robusto equivale alla SD robusta diviso la Mediana, in percentuale (18).

Conclusioni

In conclusione, gli Outliers non devono mai essere ignorati, ma necessitano sempre identificazione e discussione (19).
Se manca una spiegazione il dato deve sempre far parte integrante della statistica; per contro, è possibile valutare l’eliminazione di un dato solo se si trova ragione del comportamento anomalo (20)
Oltre alle considerazioni discusse, la decisione di abolire il criterio di Aberrante nel Programma DicoCARE VEQ è scaturita anche dopo attenta revisione dei dati processati nel Ciclo 2000.
Infatti, da allora è stata estesa la partecipazione ad ogni metodo/sistema, in precedenza limitata ad utilizzatori del metodi DPC Immulite, Immulite 2000 e AlaSTAT (1), mantenendo il principio delle ±3 SD diffusamente adottato nei Programmi di VEQ come criterio di esclusione di Outliers (21).
Tuttavia, a seguito di questo approccio e soprattutto per gruppi di scarsa numerosità di Partecipanti, è stato riscontrato un fenomeno particolarmente critico. Infatti, quando un metodo/sistema utilizzato da un gruppo omogeneo di Partecipanti mostra un consistente Bias rispetto alla media di tutti i Partecipanti (per diverse caratteristiche anticorpali, calibrazione o effetto matrice nei confronti del campione) e ancor di più quando il gruppo è rappresentato con scarsa numerosità, è possibile che numerosi o tutti i risultati dello stesso gruppo siano esclusi automaticamente sulla base dei criteri prefissati per Outliers.
Per questo motivo, a seguito dell’introduzione nel Programma DicoCARE VEQ della filosofia secondo la quale il presunto Outlier è un errore grossolano o, viceversa, è un dato importante per la statistica, con il trattamento dei risultati del I° Invio del Ciclo 2001 è stata intensificata l’azione di verifica con il Laboratorio dei dati estremi e/o apparentemente non allineati.
Benché questo nuovo flusso di elaborazione dei dati possa essere causa di rallentamento nell’invio dei Rapporti, tale approccio ha consentito una migliore e più proficua informazione sul Programma, grazie ad un più diretto contatto con i Partecipanti.
Tra le conseguenze solo apparentemente critiche, la mancata "pulizia statistica" dei dati dopo l’abolizione del criterio di risultato Aberrante o Outlier ha comportato risultati meno artificiosamente uniformati, insieme ad una maggiore imprecisione osservabile sia inter-metodi (tra tutti i Partecipanti) che intra-metodo (nell’ambito di gruppi omogenei di metodo/sistema).
Tuttavia, l’innovazione di questo approccio, certamente controcorrente ma rispettoso dell’integrità dei dati, rappresenta in modo realistico e più veritiero le effettive prestazioni analitiche nel confronto "su strada" dei risultati ottenuti nei laboratori italiani.