Com no es fa un experiment científic? 4. El tractament estadístic.

En el capítol anterior explicàvem que Emoto havia aconseguit en un experiment cec que unes mostres d'aigua tractades amb energia positiva obtinguessin millors valoracions (1,8 sobre 6) que unes mostres de control (1,6 sobre 6). I això, segons ell, demostrava les seves hipòtesis. És cert que unes altres mostres de control van obtenir un 1,9 sobre 6 i que Emoto obvia aquest fet (això s'anomena cherry picking i ho tractarem en el proper capítol d'aquesta sèrie). De tota manera, si no s'haguessin utilitzat aquestes segones mostres de control i valoréssim només les mostres tractades contra les mostres de control que han obtingut una puntuació inferior, podríem dir que Emoto té raó?

Imagineu que heu anat a un casino i us apropeu a una ruleta on un amic vostre us diu: en el temps que fa que observo aquesta ruleta, només he vist que la bola caigui en caselles vermelles. Aposta-ho tot a la següent jugada al vermell i doblaràs els teus diners.

Faríeu cas del vostre amic?

Si bé és cert que es pot guanyar a la ruleta estudiant si la bola té més tendència a caure en unes caselles que en unes altres, hi ha una variable que és important a considerar: el nombre de jugades de ruleta que hem observat.

Si el vostre amic ha observat la ruleta durant dues jugades i les dues ha sortit vermell, això no té res d'extraordinari. Quasi una de cada 4 vegades que observem una ruleta perfecta (amb igual probabilitat de caure la bola en totes les seves caselles) passarà això. En canvi, si ha observat 5000 jugades consecutives, llavors sí que és un fet extraordinari i és possible que la ruleta sigui defectuosa i afavoreixi més el vermell que el negre.

En el cas dels cristalls de gel, si valorem per separat dos cristalls, és molt probable que no obtinguin exactament la mateixa puntuació. Per tant, quasi la meitat de les vegades, el cristall que volíem que sortís més maco tindrà una valoració superior deguda a l'atzar. Llavors, com podem saber si hi ha un factor que fa realment que siguin més macos? A partir de quantes dècimes podem dir que no és simplement casualitat?

La resposta és complexa i es basa en una sèrie d'eines de tractament estadístic que et diuen com de probable és que aquesta diferència sigui fruit de la casualitat. Molts cops s'accepta que si la probabilitat que sigui fruit de l'atzar és inferior al 5%, el resultat de l'experiment és positiu. Però, és clar, això només és cert el 95% de les vegades.

Aquesta vinyeta de xkcd explica per què un de cada 20 experiments pot donar un fals positiu amb una significància del 95%. Font.

Per això, en cas de dubtes, cal repetir els experiments. Com més vegades repetim un experiment, més segurs estarem de si els resultats són fruit de l'atzar o hi ha una relació causa-efecte. En l'exemple anterior, caldria repetir l'experiment de les gominoles verdes uns quants cops per veure quants cops tenim un resultat positiu.

I no fer trampes amb el cherry picking.