dijous, 26 de juliol del 2018

Com no es fa un experiment científic? 4. El tractament estadístic.

En el capítol anterior explicàvem que Emoto havia aconseguit en un experiment cec que unes mostres d'aigua tractades amb energia positiva obtinguessin millors valoracions (1,8 sobre 6) que unes mostres de control (1,6 sobre 6). I això, segons ell, demostrava les seves hipòtesis. És cert que unes altres mostres de control van obtenir un 1,9 sobre 6 i que Emoto obvia aquest fet (això s'anomena cherry picking i ho tractarem en el proper capítol d'aquesta sèrie). De tota manera, si no s'haguessin utilitzat aquestes segones mostres de control i valoréssim només les mostres tractades contra les mostres de control que han obtingut una puntuació inferior, podríem dir que Emoto té raó?

Imagineu que heu anat a un casino i us apropeu a una ruleta on un amic vostre us diu: en el temps que fa que observo aquesta ruleta, només he vist que la bola caigui en caselles vermelles. Aposta-ho tot a la següent jugada al vermell i doblaràs els teus diners.

Faríeu cas del vostre amic?

Si bé és cert que es pot guanyar a la ruleta estudiant si la bola té més tendència a caure en unes caselles que en unes altres, hi ha una variable que és important a considerar: el nombre de jugades de ruleta que hem observat.

Si el vostre amic ha observat la ruleta durant dues jugades i les dues ha sortit vermell, això no té res d'extraordinari. Quasi una de cada 4 vegades que observem una ruleta perfecta (amb igual probabilitat de caure la bola en totes les seves caselles) passarà això. En canvi, si ha observat 5000 jugades consecutives, llavors sí que és un fet extraordinari i és possible que la ruleta sigui defectuosa i afavoreixi més el vermell que el negre.

En el cas dels cristalls de gel, si valorem per separat dos cristalls, és molt probable que no obtinguin exactament la mateixa puntuació. Per tant, quasi la meitat de les vegades, el cristall que volíem que sortís més maco tindrà una valoració superior deguda a l'atzar. Llavors, com podem saber si hi ha un factor que fa realment que siguin més macos? A partir de quantes dècimes podem dir que no és simplement casualitat?

La resposta és complexa i es basa en una sèrie d'eines de tractament estadístic que et diuen com de probable és que aquesta diferència sigui fruit de la casualitat. Molts cops s'accepta que si la probabilitat que sigui fruit de l'atzar és inferior al 5%, el resultat de l'experiment és positiu. Però, és clar, això només és cert el 95% de les vegades.

Aquesta vinyeta de xkcd explica per què un de cada 20 experiments pot donar un fals positiu amb una significància del 95%. Font.



Per això, en cas de dubtes, cal repetir els experiments. Com més vegades repetim un experiment, més segurs estarem de si els resultats són fruit de l'atzar o hi ha una relació causa-efecte. En l'exemple anterior, caldria repetir l'experiment de les gominoles verdes uns quants cops per veure quants cops tenim un resultat positiu.

I no fer trampes amb el cherry picking.

dijous, 19 de juliol del 2018

Com no es fa un experiment científic? 3-El doble cec.

Com tots sabeu, la Justícia es representa amb una bena als ulls perquè se suposa que no pot jutjar correctament uns fets de forma objectiva si sap certes coses sobre els acusats (si són rics o pobres, si són blancs o negres, si són famosos per tenir unes idees diferents que les del jutge, etc). 

Quan era més jove, jo entenia que quan es representava la Justícia amb els ulls embenats era perquè no n'encertava ni una. Ara la meva impressió és que es tapa els ulls per no veure el que es fa en el seu nom i que, si pogués, se'ls arrencaria com Èdip. Font.


Amb la ciència, que com la Justícia busca esbrinar la veritat d'uns fets, pot passar el mateix. Els prejudicis poden fer que tractem les proves de diferent manera en funció de si han de confirmar o refutar el nostre prejudici.

Per aquesta raó, s'han ideat els assajos cecs. Es tracta que la persona que extreu informació d'una prova no sàpiga si el resultat que està traient confirma o refuta la hipòtesi inicial.

En el cas que inspira aquesta sèrie, si la persona que avalua la bellesa dels cristalls sap quin s'ha congelat en el recipient que diu "t'estimo" i quin en el que deia "imbècil", probablement això condicionarà el seu criteri a l'hora d'avaluar-ne la bellesa.

Per tant, un assaig cec seria que qui ho valora desconegui aquesta informació. I seria un doble cec si qui ha congelat les mostres també desconeix en quina hi ha cada paraula. I un triple cec si la valoració de les dades la fa algú que tampoc sap quin cristall hi havia en cada recipient.

Com més cec sigui l'experiment, més objectives seran les conclusions que se n'extreguin.

Va fer l'Emoto algun experiment cec? Sí. Va fabricar 3 mostres de cristalls. Uns tractats amb energia positiva, que va comparar amb uns de control a la mateixa sala sense cap energia i uns altres de control en una altra sala, també sense cap energia. Els resultats van ser:

1,9 sobre 6: mostres de control sense cap energia, a una sala diferent.
1,8 sobre 6: mostres tractades amb energia positiva.
1,6 sobre 6: mostres de control sense cap energia, a la mateixa sala.

Quines conclusions extraieu d'aquest experiment? L'energia positiva ha funcionat o no? El senyor Emoto va opinar que sí perquè l'aigua tractada va donar millors resultats que l'aigua no tractada de la mateixa sala. Hi esteu d'acord?

dijous, 12 de juliol del 2018

Com no es fa un experiment científic? 2. Reproductibilitat.

Continuem amb la sèrie inspirada pel no científic Masaru Emoto i els seus cristalls d'aigua congelada. Una condició que han de complir els experiments científics és que siguin reproduïbles. Quan un científic publica els resultats d'un experiment ha de donar totes les dades necessàries per tal que qualsevol altre científic sigui capaç de reproduir l'experiment i obtenir els mateixos resultats.

En el cas de l'experiment d'Emoto, la reproductibilitat és pràcticament impossible. Per començar, la bellesa és en bona part subjectiva. Si plantegem valorar la bellesa de 2 cristalls de gel per 2 observadors diferents, probablement obtinguem resultats diferents. A més, és molt difícil controlar quines energies positives han arribat a cada cristall i de quina manera hi han interactuat.

En l'elecció de Miss Univers probablement hi influeixi el planeta natal dels jutges. Font.


Una raó per la qual les ciències com la Física o la Química es consideren ciències més pures que l'economia o la història és precisament que el control de les variables permeten replicar els experiments a diferents llocs i en diferents moments. Podem mesurar amb estris precisos la temperatura, el volum o la massa dels protagonistes d'un experiment químic i replicar fàcilment aquestes condicions. Però replicar les condicions amb què Colom va descobrir Amèrica o els factors que van desencadenar el crac del 29 és força més complicat.

Aquesta reproductibilitat ens dona una garantia per a allò que construïm a partir de les teories basades en la informació que ens aporten aquests experiments. Provem un cop i un altre el mateix experiment i sempre dona els mateixos resultats. Us imagineu pujar a un vaixell que sura el 60% de les vegades i l'altre 40% naufraga?

Aquesta és la garantia que li demanem a la ciència i la raó per la qual la demanem. Podria passar que un experiment repetit mil cops donés un resultat diferent en la repetició 1001? Sí. Probablement voldria dir que no hem controlat bé les variables o ens ha afectat una variable que no havíem contemplat.

Per exemple, el Titanic es va enfonsar perquè no es va contemplar que, a baixes temperatures, l'aliatge metàl·lic de la qual estava construït es tornava fràgil.

Per tant, l'experiment 1001 és de gran interès si ens pot portar a més investigacions que ampliïn el coneixement obtingut a partir de l'experiment original. Ara bé, cal que l'experiment 1001 també sigui reproduïble. És a dir, que sapiguem què hem fet de diferent respecte a l'experiment original.


dijous, 5 de juliol del 2018

Com no es fa un experiment científic? 1. Estudiar ciències és de covards.

Per aquest estiu, m'he proposat fer una sèrie de posts sobre ciència, basant-me en un "experiment" que va tenir cert ressò fa uns anys. Es tracta dels cristalls de gel de Masaru Emoto, que suposadament prenien formes diferents en funció de quines paraules s'escrivien en els recipents on es congelaven aquests cristalls.

A l'esquerra, cristall maco que s'ha congelat escoltant Beethoven. A la dreta, cristall lleig que escolta Metallica i que mai arribarà a res en aquesta vida. Font.


A partir d'aquest experiment, l'autor conclou que l'aigua és sensible a les emocions i, per tant, si nosaltres estem fets en bona part d'aigua, també ho serem. Ara bé, es va fer correctament aquest experiment?

Avui comencem a analitzar-ho començant pel més bàsic.


No estudiïs cap carrera científica.

Quan Newton va dir que "Si he pogut veure més lluny que els altres, només és perquè em trobo sobre les espatlles de gegants", ens venia a dir que el coneixement és acumulatiu i que si el construïm sobre una base sòlida de coneixement consolidat (les espatlles dels gegants) tenim l'oportunitat de trobar respostes científiques de més valor (veure-hi més lluny).

La ciència és com un llibre que es va escrivint col·lectivament. Imagineu que us toca escriure una pàgina d'un llibre. Oi que seria difícil escriure res mínimament coherent si no haguéssiu llegit el llibre diversos cops i tinguéssiu un coneixement profund dels seus personatges i argument?

Bé, doncs estudiar una carrera científica seria com aprendre l'idioma en el qual està escrit el llibre del qual preteneu escriure una pàgina. Hi hauria diversos idiomes que serien les diferents disciplines científiques, amb els seus dialectes, que serien àrees de coneixement específiques dintre de cada disciplina i el seu argot característic. I cada llibre aportaria nova literatura a aquests idiomes.

Podríem pensar en la possibilitat que algú ens tradueixi el llibre i llavors nosaltres escrivim el nostre fragment perquè el torni a traduir a l'idioma del llibre. Però això implicaria que nosaltres coneixem un idioma. És a dir, tenim formació científica encara que sigui en una àrea diferent.

Però no hi ha cap cas d'algú que, sense saber gaire de ciència, hagi qüestionat raonadament un postulat científic i hagi resultat que tenia raó? Doncs algun cas sí que en podem trobar. Potser el més famós és de'n Erast B. Mpemba, descobridor de l'efecte Mpemba, un estudiant de 13 anys que va mantenir, en contra del que li deia el seu professor, que l'aigua calenta es podia congelar abans que la tèbia.

Ara bé, per cada cop que un Mpemba té raó i el seu professor no, n'hi ha centenars que passa just el contrari. Per tant, abans d'acceptar com a certes hipòtesis que contradiuen el que la ciència oficial ens diu, cal fer experiments que corroborin aquestes hipòtesis, com va fer el propi Mpemba amb l'ajut del professor universitari Dennis G. Osborne. I deixar que qualsevol altre científic pugui plantejar experiments que confirmin o desmenteixin aquesta nova hipòtesi. Però d'això en parlarem en capítols següents.

Per l'exemple que ens ocupa, en Masaru Emoto diu haver estudiat ciències internacionals. Però en realitat va estudiar medicina alternativa en una universitat india no acreditada, que seria com presumir de saber dret per haver fet un màster no presencial a la Universidad Rey Juan Carlos o donar conferències sobre religió comparada després d'ordenar-se sacerdot a través d'internet.