dijous, 26 de juliol del 2018

Com no es fa un experiment científic? 4. El tractament estadístic.

En el capítol anterior explicàvem que Emoto havia aconseguit en un experiment cec que unes mostres d'aigua tractades amb energia positiva obtinguessin millors valoracions (1,8 sobre 6) que unes mostres de control (1,6 sobre 6). I això, segons ell, demostrava les seves hipòtesis. És cert que unes altres mostres de control van obtenir un 1,9 sobre 6 i que Emoto obvia aquest fet (això s'anomena cherry picking i ho tractarem en el proper capítol d'aquesta sèrie). De tota manera, si no s'haguessin utilitzat aquestes segones mostres de control i valoréssim només les mostres tractades contra les mostres de control que han obtingut una puntuació inferior, podríem dir que Emoto té raó?

Imagineu que heu anat a un casino i us apropeu a una ruleta on un amic vostre us diu: en el temps que fa que observo aquesta ruleta, només he vist que la bola caigui en caselles vermelles. Aposta-ho tot a la següent jugada al vermell i doblaràs els teus diners.

Faríeu cas del vostre amic?

Si bé és cert que es pot guanyar a la ruleta estudiant si la bola té més tendència a caure en unes caselles que en unes altres, hi ha una variable que és important a considerar: el nombre de jugades de ruleta que hem observat.

Si el vostre amic ha observat la ruleta durant dues jugades i les dues ha sortit vermell, això no té res d'extraordinari. Quasi una de cada 4 vegades que observem una ruleta perfecta (amb igual probabilitat de caure la bola en totes les seves caselles) passarà això. En canvi, si ha observat 5000 jugades consecutives, llavors sí que és un fet extraordinari i és possible que la ruleta sigui defectuosa i afavoreixi més el vermell que el negre.

En el cas dels cristalls de gel, si valorem per separat dos cristalls, és molt probable que no obtinguin exactament la mateixa puntuació. Per tant, quasi la meitat de les vegades, el cristall que volíem que sortís més maco tindrà una valoració superior deguda a l'atzar. Llavors, com podem saber si hi ha un factor que fa realment que siguin més macos? A partir de quantes dècimes podem dir que no és simplement casualitat?

La resposta és complexa i es basa en una sèrie d'eines de tractament estadístic que et diuen com de probable és que aquesta diferència sigui fruit de la casualitat. Molts cops s'accepta que si la probabilitat que sigui fruit de l'atzar és inferior al 5%, el resultat de l'experiment és positiu. Però, és clar, això només és cert el 95% de les vegades.

Aquesta vinyeta de xkcd explica per què un de cada 20 experiments pot donar un fals positiu amb una significància del 95%. Font.



Per això, en cas de dubtes, cal repetir els experiments. Com més vegades repetim un experiment, més segurs estarem de si els resultats són fruit de l'atzar o hi ha una relació causa-efecte. En l'exemple anterior, caldria repetir l'experiment de les gominoles verdes uns quants cops per veure quants cops tenim un resultat positiu.

I no fer trampes amb el cherry picking.

6 comentaris:

  1. Però es un rotllo quan les dades van en contra de la teva teoria i l'has de descartar!

    ResponElimina
    Respostes
    1. Hi ha qui és incapaç de descartar els seus apriorismes. No només en ciència.

      Elimina
  2. És natural que els experiments s'hagin de repetir, ja no cap mirar-ho en termes estadístics, sinó de sentit comú. Si una cosa ha sortit un cop i no ho tornes a provar no pot quedar com una norma universal. Cal que te n'asseguris, i que altra gent ho faci i surti el mateix per poder afirmar que allò funciona d'aquesta manera. El disseny experimental ja et dirà quants cops cal validar-ho, però està clar que amb un sol experiment no n'hi ha prou.

    ResponElimina
    Respostes
    1. En ciència cal marcar bé les línies que delimiten què és el sentit comú.

      Elimina
  3. M'agradaria saber quantes vegades s'ha de fer un experiment perquè és consideri que es pot agafar com a norma...1000, 5000...I si algú fa el 5001 i aleshores falla??? Sense fer trampes, és clar...
    Bon vespre, Sergi.

    ResponElimina
    Respostes
    1. Per tenir una seguretat del 100% l'hauries de repetir infinits cops. Estadísticament, pots quedar-te en un nombre finit de cops si et conformes amb un 95% o un 99%.
      Com més important és saber allò que l'experiment determina, més cops es repeteix l'experiment i més segurs estem dels seus resultats.

      Elimina