Studi Scientifici
Linee Guida per la Valutazione
Quante volte leggiamo articoli del settore sportivo o della nutrizione in cui gli autori citano continuamente studi scientifici contenuti su PubMed o su riviste specialistiche? Ma siamo in grado di valutare bene la qualità di questi studi?
Chi lavora nell’ambito scientifico dovrebbe approcciarsi su tre livelli distinti:
- In primo luogo, decidere di ottenere le informazioni da fonti attendibili come riviste scientifiche e poi decidere che qualsiasi altra affermazione dovrebbe avere un sostegno simile.
- In secondo luogo, spingendosi oltre l’impiallacciatura della legittimità scientifica, dovrebbe decidere di esaminare le affermazioni per se stesso. Ciò implica non solo ottenere le informazioni da fonti basate su articoli di riviste scientifiche, per esempio, ma anche esaminare lui stesso lo studio per determinare se si tratta di uno studio “buono”.
- Infine, dopo aver navigato per un po’ di tempo sulle fonti scientifiche, un professionista attento è in grado di valutare la base di reclami su metodologie e procedure che si aspetterebbe che le prove offerte avessero se fossero davvero credibili.
Ecco alcune domande fondamentali che dovremmo porci quando cerchiamo di determinare la validità di uno studio scientifico. Tuttavia, trovarsi a mettere in discussione ogni singola procedura, metodo e scelta etica in uno studio, potrebbe essere una bandiera rossa di per sé. Un buon punto di partenza è quello che viene chiamato l’ipotesi nulla. Un’ipotesi nulla è un’ipotesi probabilmente falsa o che non ha nessun effetto. Spesso, durante gli esperimenti, gli scienziati studiano un ramo diverso dell’idea per vedere se funziona.
- Lo studio è stato abbastanza ampio da superare il test statistico?
- È stato progettato bene?
- È durato abbastanza a lungo?
- Ci sono state altre possibili spiegazioni per le conclusioni dello studio o ragioni per dubitare dei risultati?
- Le conclusioni si adattano ad altre prove scientifiche? Se no, perché?
- Hai l’immagine completa?
- I risultati sono stati controllati da altri esperti?
- Quali sono le implicazioni della ricerca? Eventuali problemi o applicazioni potenziali?
Lo studio è abbastanza ampio da superare un test statistico?
I numeri sono molto importanti in questo senso. Ad esempio, il numero di pazienti che uno studio include in uno studio clinico dice molto sul “potere” di quel trial, o relativa generalizzabilità (lo studio include abbastanza pazienti per distinguere tra trattamenti? Ecc.). Adottando un approccio più basilare, se dovessi leggere in uno studio che “la maggior parte dei cittadini statunitensi oggi rifiuta la teoria dell’evoluzione“, dovresti scoprire quante persone c’erano nello studio. Le statistiche rivelano che se si dispone di meno di circa 1024 persone per uno studio nazionale, il margine o l’errore aumenta in modo esponenziale oltre il tre percento. In uno studio che riporta una suddivisione 49/51, ciò potrebbe rendere la richiesta senza valore.
L’altro lato di questa domanda è determinare se i risultati di uno studio sono statisticamente significativi, il che significa che c’è solo una possibilità accettabilmente piccola che i risultati siano dovuti solo alla casualità. Il valore tipicamente utilizzato nella ricerca scientifica è p = 0,05. Questo “valore-p” significa che la probabilità che i risultati dello studio siano dovuti solo al caso è solo 1 su 20, o 5% (Se questo sembra essere basso, va notato che molti campi scientifici hanno molto più rigoroso Gli scienziati usano i valori p di p = 0.001 per convalidare i loro risultati, tuttavia, anche con gli standard meno rigorosi, la maggior parte dei lavori scientifici sono fatti per essere replicati, eliminando ulteriormente gli eventi casuali.) Quando si valuta uno studio, prestare molta attenzione a questo valore come regola generale, qualsiasi correlazione con un valore p maggiore di 0,05 (p> 0.
Lo studio è stato progettato bene? È possibile che i pregiudizi non intenzionali abbiano influenzato i risultati?
Questo è difficile da determinare se non si ha familiarità con un campo particolare, ma si può porre domande che dovrebbero aiutare a identificare gli studi negativi e quelli buoni.
- C’è stato un progetto sistematico per lo studio che è rimasto lo stesso dappertutto?
- Quali erano le ipotesi specifiche dello studio e in che modo ha condotto il test di studio?
- Se si trattasse di una sperimentazione clinica, chi erano i pazienti e come sono stati selezionati?
- Più in generale, c’era un gruppo di controllo?
- La popolazione campione è stata selezionata dallo studio come rappresentante della popolazione generale?
- Lo studio era il più “cieco” possibile, nel senso che nessuno coinvolto nello studio sapeva quale condizione era e chi era coinvolto con esso?
- Ci sono stati conflitti d’interesse che avrebbero dovuto essere divulgati dai ricercatori?
Il finanziamento di una società non significa automaticamente che i risultati di uno studio sono falsi, ma è qualcosa che può assolutamente influenzare la ricerca.
Lo studio è durato abbastanza a lungo?
Questa domanda potrebbe non essere applicabile ad alcune scienze, ma è particolarmente importante in medicina. Ad esempio, se uno studio afferma che un nuovo trattamento metterà in stato di remissione alcuni malati di cancro, lo studio dovrebbe anche seguire quei pazienti per un certo periodo di tempo per vedere se sono rimasti in remissione. Se tutti i partecipanti sono morti due settimane dopo lo studio, potresti trarre conclusioni orribilmente distorte.
Ci sono altre possibili spiegazioni per i risultati o ragioni per dubitare delle conclusioni?
- Ricordando che la correlazione non prova la causalità, in che modo lo studio inquadra i risultati?
- Qualche associazione è statisticamente forte?
- Se viene suggerito un nesso causale, la causa effettivamente precede l’effetto?
- Le associazioni che si trovano sono coerenti quando vengono utilizzati altri metodi?
- Lo studio ha cercato altre possibili spiegazioni, chiamate variabili confondenti, che potrebbero spiegare i risultati?
Le conclusioni si adattano ad altre prove scientifiche?
I risultati di uno studio sono coerenti con altri risultati in questo campo? Se no, perché no? Lo studio è stato replicato e confermato?
Praticamente nessuno studio dimostra nulla. La coerenza e la preponderanza delle prove sono ciò che ci indica la direzione della verità. Naturalmente, le affermazioni della meccanica quantistica e di altre nozioni apparentemente impossibili sono inizialmente bizzarre, ma sono poi supportate da altre ricerche. Confrontalo con una pseudoscienza come quella dell’”energia libera”. Le montagne di prove e la termodinamica nel suo complesso smentiranno uno studio che afferma di aver violato il codice di energia libera. Uno studio che va contro tale opposizione non è necessariamente sbagliato, ma è meglio offrire alcune prove straordinarie per dimostrare che non lo è.
Ho l’immagine completa?
- In che modo questa ricerca interviene nel suo insieme?
- Lo studio tralascia qualche aspetto importante della scienza che lo dimostrerebbe sbagliato?
- Lo studio è pertinente anche in base ad altri risultati?
Come la domanda precedente, è importante capire in che modo un risultato si inserisce in altre ricerche che sono state fatte. È in opposizione? In che direzione si muove quel campo? Ottenere l’intera immagine è fondamentale se vuoi capire l’importanza di uno studio.
I risultati sono stati controllati da altri esperti?
Questa è una delle domande più importanti che da porre quando guardi uno studio.
- Ci sono esperti che non sono d’accordo con le affermazioni in uno studio?
- Perché o perché no?
- I ricercatori parlano in un’area della propria esperienza o si sono avventurati al di fuori di essa?
- Il ricercatore ha un buon curriculum quando si tratta di risultati in attesa di controllo?
- Lo studio è stato sottoposto a revisione paritetica?
- La rivista che ha pubblicato lo studio è stimabile? Uno studio che esce da un’oscura rivista senza revisione tra pari, vale a dire nessun esperto per controllare il lavoro dei ricercatori, non è necessariamente sbagliato, ma dovrebbe essere altamente sospetto.
Conclusioni
Quando si esaminano gli studi scientifici è necessario porre domande ancora più basilari rispetto al fatto che lo studio sia stato progettato sistematicamente o meno. Fare domande di buon senso, come chiedere se i dati giustificano davvero le conclusioni. Se i ricercatori hanno lavorato oltre le prove, è giustificato? Il ricercatore ammette francamente difetti o limiti dello studio? Il ricercatore riconosce che i risultati possono essere provvisori e offrire importanti avvertimenti?
Se si riesce a mettere le mani su una copia dello studio originale, e non su un comunicato stampa dell’abstract, bisogna farlo. Potremmo non essere in grado di valutare tutte le procedure e i metodi, ma un buon studio sarà scritto in un modo che risponda a molte di queste importanti domande. Essere bravi in questo tipo di valutazione richiede pratica, ma nessuno ha mai detto che la scienza fosse facile.
