Il cioccolato fa dimagrire? Lo studio nutrizionale falso preso per vero

Quante volte abbiamo letto un titolo di giornale che annunciava trionfante che uno studio scientifico aveva dimostrato che un particolare alimento, meglio se “demonizzato”, non solo non era dannoso per la salute ma anzi era un vero e proprio toccasana? A volte la notizia è davvero incredibile, come ad esempio quella di qualche mese fa secondo la quale il cioccolato fondente farebbe dimagrire. A quanto pare c’è un motivo per cui i risultati di uno “studio” del genere lasciano tutti increduli e a bocca aperta: è falso.

UN ESEMPIO DI CATTIVA SCIENZA
La notizia della clamorosa scoperta era stata diffusa dal fantomatico Institute of Diet and Health di Mainz, che, come spiega il Washington Post in realtà non esiste ma è solo un sito Web. Tra gli autori dello studio sulla cioccolata c’è un certo John Bohannon che non è un medico ma un giornalista che nei giorni scorsi ha spiegato in un articolo la vera natura della ricerca. Come spiega Bohannon lo studio è vero, basato su dati reali frutto di una serie di test su un campione di popolazione che ha realmente partecipato all’esperimento. Il vero obiettivo dell’esperimento non era però scoprire se la cioccolata faceva dimagrire o meno, ma far vedere al mondo come le notizie sulla salute, in particolare quelle relative alle diete derivino da studi medici creati ad arte da chi ha interessi economici in gioco. Per dimostrare quanto facile è manipolare i dati di una ricerca scientifica Bohannon e il suo team hanno reclutato via Facebook i sedici partecipanti (un numero decisamente esiguo che ha contribuito a falsificare i risultati) al test e li hanno suddivisi in tre gruppi: un gruppo avrebbe seguito una dieta low-carb, un gruppo la stessa dieta ma con l’aggiunta di cioccolato fondente e l’ultimo era il gruppo di controllo. Perché è stata scelta proprio la cioccolata amara? Per sbugiardare uno degli assunti principali dei fanatici delle diete: se una cosa è amara e ha un sapore “difficile” allora vuol dire che fa bene. Alla fine delle tre settimane di test i risultati non erano certo incoraggianti: i due gruppi con dieta low-carb avevano perso all’incirca la stessa quantità di peso. Insomma la cioccolata amara non fa dimagrire. Ma cosa hanno fatto quelli del finto Institute of Diet and Healh? Hanno esaminato accuratamente i 18 fattori monitorati durante i trial e scelto di pubblicare solo i dati che mostravano che chi seguiva un regime con cioccolato fondente aveva ottenuto dei punteggi migliori, avrebbero potuto essere quelli riguardanti la qualità del riposo notturno ma invece gli esami del sangue hanno mostrato migliori valori di colesterolo. L’importante quindi era trovare e rendere noti solo gli indicatori dove il gruppo che aveva seguito la dieta al cioccolato aveva ottenuto punteggi migliori rispetto a coloro che avevano seguito la dieta normale. Di conseguenza è stato possibile dire “scientificamente” che la cioccolata fa dimagrire. I dati e i risultati non sono stati manipolati, sono stati scelti quelli migliori dal punto di vista del marketing. Lo studio era disegnato in un modo da non poter consentire di distinguere tra risultati reali e effetti casuali. Fin qui quindi il team di Bohannon ha mostrato quanto facile sia pubblicare dati “scientifici” che dicono cose non esattamente vere. Non è una vera e propria novità, qualche tempo fa uno scienziato olandese aveva confessato in un libro di aver falsificato decine di studi e sempre il Washington Post a marzo aveva rivelato che anche i procedimenti di Peer review possono essere falsificati senza troppe difficoltà.

Luckily, scientists are getting wise to these problems. Some journals are trying to phase out p value significance testing altogether to nudge scientists into better habits. And almost no one takes studies with fewer than 30 subjects seriously anymore. Editors of reputable journals reject them out of hand before sending them to peer reviewers. But there are plenty of journals that care more about money than reputation.

QUANDO IL GIORNALISMO SCIENTIFICO NON SA LEGGERE LE RICERCHE
Ma la trappola principale tesa dai ricercatori che hanno lavorato con Bohannon era per i giornalisti che si occupano di divulgazione scientifica. La grande risonanza data sui media tedeschi e stranieri ai risultati dello studio dimostrano secondo Bohannon quanto sia difficile discriminare tra buona scienza e cattiva scienza, e come (ne avevamo parlato anche qui) spesso i giornali cadano nella tentazione di uscire con titoli ad effetto, magari basandosi sui risultati poco più che preliminari di uno studio del quale non sono noti i dettagli e le modalità. Bohannon accusa apertamente i giornalisti e chi pubblica notizie del genere di non avere le competenze per giudicare la bontà di uno studio scientifico, anzi spesso e volentieri nessuno va a leggersi i risultati della ricerca. Nel caso dello studio sulla cioccolata ad esempio i giornali che hanno contattato il team per chiedere ulteriori informazioni non si erano posti alcun dubbio circa il numero molto basso di partecipanti (che è uno dei primi indicatori della bontà di una ricerca). I giornali hanno bisogno di notizie nuove, l’argomento scientifico “tira”, se una ricerca è “sorprendente” allo scienziato basta fare una buona attività di PR (ad esempio pagando qualche sito che pubblica paper scientifici per ottenere la pubblicazione) per ottenere l’attenzione dei media e soprattutto degli articoli che presentano in modo positivo il frutto delle sue ricerche. Se nella comunità scientifica c’è spazio all’analisi dei dati e alla contestazione dei risultati lo stesso non sembra accadere nel mondo dell’editoria, soprattutto per quanto riguarda la divulgazione scientifica. Per darsi una parvenza di autorevolezza e una patina di scientificità è sufficiente utilizzare quei siti che pubblicano studi scientifici senza verificarne il contenuto per garantirsi la possibilità di essere ritenuti affidabili. Il problema principale secondo Bohannon riguarda soprattutto gli articoli sulle diete. L’obesità è ormai vista come un problema globale, un rischio per la salute e quindi le persone sono costantemente alla ricerca di nuove informazioni, ma cosa possono pensare quando un giorno leggono che il sale fa male, l’altro giorno che fa bene, oppure dei benefici del vino rosso e dei pericoli del fruttosio?

The only problem with the diet science beat is that it’s science. You have to know how to read a scientific paper—and actually bother to do it. For far too long, the people who cover this beat have treated it like gossip, echoing whatever they find in press releases. Hopefully our little experiment will make reporters and readers alike more skeptical.
If a study doesn’t even list how many people took part in it, or makes a bold diet claim that’s “statistically significant” but doesn’t say how big the effect size is, you should wonder why. But for the most part, we don’t. Which is a pity, because journalists are becoming the de facto peer review system. And when we fail, the world is awash in junk science.

Sta quindi a chi diffonde le notizie il compito di analizzare la bontà degli studi e saggiarne la scientificità, l’unico modo ovviamente è leggerli, comprendere quali sono i trucchi adottati da coloro (che hanno magari qualche interesse economico in ballo) per far sì che i risultati di una ricerca vengano percepiti nel modo giusto in modo da garantirsi la migliore pubblicità possibile.