Tilastojen vastuullinen käyttö tutkimuksessa

Tilastot ympäröivät meitä. Uutisotsikot kertovat meille talouden suhdanteista, ilmastonmuutoksesta ja poliittisten puolueiden kannatusluvuista. Näiden uutisten taustalla on tilastoja ja tilastollista tutkimusta.

Jokainen meistä voi itsekin tutkia ja analysoida tilastoja. Tilastollinen tutkimus alkaa tutkimuskysymyksen asettamisesta. Samaa asiaa voi usein tarkastella monilla erilaisilla menetelmillä. Käytettävissä olevat resurssit (raha, aika ja työvoima) vaikuttavat lähestymistavan valintaan. Hyvän tutkimuksen suunnittelu ja aihepiiriin liittyvään kirjallisuuteen tutustuminen vievät aikaa.

Aineistot

Tilastollisen tutkimuksen kivijalka on aineisto, johon se nojaa. Aineiston tulee edustaa tutkimuksen kohteena olevaa joukkoa ja havaintoja täytyy olla riittävästi. Jos tutkimuksen kohteena oleva joukko on kaikkien Suomessa asuvien ihmisten joukko ja aineisto koostuu pelkästään alle 30-vuotiaista Ilomantsissa asuvista naisista, otos ei ole edustava.

Toisinaan edustavan otoksen saaminen on haastavaa. Esimerkiksi tutkimuksissa, jotka toteutetaan anonyymeinä verkkokyselyinä, voi olla vaikea varmentaa otoksen edustavuutta. Toki tällaisissakin tutkimuksissa voidaan kysyä vastaajien taustatietoja, mutta on mahdotonta varmistua siitä, että vastaajien antamat taustatiedot ovat todenmukaisia. Tällaistakin aineistoa voi analysoida, kunhan raportoi, miten aineisto on kerätty.

Tilastollisessa tutkimuksessa aineiston muuttujien tulee olla sellaisia, että niitä tarkastelemalla voidaan vastata haluttuun tutkimuskysymykseen. Jäätelön kulutusta on vaikea arvioida aineistosta, joka koostuu hedelmien myynnistä.

Jäätelön kulutusta on vaikea arvioida aineistosta, joka koostuu hedelmien myynnistä.

Jos aineisto koostuu kyselytutkimuksen vastauksista, kysymysten laatiminen on tehtävä huolella. Kysymykset tai vastausvaihtoehdot eivät saa olla johdattelevia ja kysymysten tulee olla ymmärrettäviä. Suurille joukoille suunnattuja kyselytutkimuksia on hyvä pilotoida pienellä vastaajajoukolla ennen varsinaisen kyselyn tekemistä.

Aineistot on hyvä tallentaa alkuperäisessä, niin sanotussa raakamuodossa. Jos aineistoa muokataan, tämä tulisi raportoida. Epämieluisia poikkeavia havaintoja ei pidä mennä poistamaan, ellei kyseessä ole esimerkiksi selvä tekninen virhe.

Aineistot on hyvä laittaa kaikkien saataville, jotta jokainen voi halutessaan toistaa analyysin. Tämä ei kuitenkaan ole aina mahdollista. Esimerkiksi yksilöityjä potilasaineistoja ei saa julkaista.

Vaikka käyttöönsä saa valmiin aineiston, siihenkin on syytä suhtautua kriittisesti. On hyvä pitää mielessä, kuka aineiston tarjoaa ja miksi. Suomessa Tilastokeskus tarjoaa kaikkien käyttöön varsin kattavia ja luotettavia aineistoja. Esimerkiksi Suomen virallisen tilaston perustiedot, jotka pitävät sisällään yhteiskunnan kehitystä ja tilaa kuvaavia tilastoja, ovat vapaasti saatavilla Tilastokeskuksen verkkosivuilta. Nämä tilastot noudattavat tarkkoja laatukriteereitä, jotka ovat yhteensopivat Euroopan tilastojärjestelmän laatukriteerien kanssa.

Kuvaileva tutkimus

Kun aineisto on kerätty, sitä halutaan kuvailla. Usein halutaan kertoa jotakin tyypillisistä havainnoista ja hajonnasta. Keskiarvo ja mediaani ovat molemmat hyviä keskimääräisyyden mittareita. Jos tarkasteltava jakauma on symmetrinen, ne molemmat estimoivat jakauman symmetriapistettä. Vinoilla jakaumilla mediaani ja keskiarvo estimoivat eri asioita.

On hyvä muistaa, että muutamat poikkeavat havainnot saattavat vaikuttaa keskiarvoon hyvinkin paljon mutta mediaaniin vain vähäsen. Pertsa söi toukokuussa 2,1 litraa jäätelöä, Irmeli 2,3 litraa, Nourhan 3,2 litraa, Sami 1,8 litraa ja Jens söi toukokuussa 13,8 litraa jäätelöä. Tässä joukossa toukokuun jäätelönsyönnin keskiarvo on 4,64 litraa ja mediaani on 2,3 litraa. Näitä keskimääräisyyden mittareita käytetään usein rinnakkain. Yhdessä ne kertovat tyypillisistä havainnoista paljon enemmän kuin yksinään.

Jos muuttujat ovat jatkuvia, aineistoa voidaan visualisoida esimerkiksi histogrammeilla eli kuvaajilla, joissa toisissaan kiinni olevien pylväiden pinta-ala on verrannollinen luokan osuuteen, tai box plot -kuvaajilla, joissa aineisto visualisoidaan janoilla ja pisteillä laatikon sisällä. Jos muuttujat ovat diskreettejä, eli ne voivat saada äärellisen tai numeroituvasti äärettömän määrän arvoja, visualisoinnissa voidaan käyttää esimerkiksi pylväskuvaajia tai piirakkadiagrammeja.

Aineistojen visualisoinnissa tulee olla tarkkana.

Aineistojen visualisoinnissa tulee olla tarkkana. Hälytyskellojen tulisi soida, jos esimerkiksi kuvaajien akseleita on venytetty, pylväsdiagrammin pylväät eivät lähde nollatasosta tai aikasarjakuvaajasta on jätetty valittuja ajanjaksoja pois.

Värien valintakin on tärkeää. Värit voivat vaikuttaa esimerkiksi siihen, kuinka suurina näemme eri alueet kuvaajissa. Tulisi myös muistaa, että värisokeat eivät usein kykene erottamaan toisistaan punaista ja vihreää ja/tai keltaista ja sinistä.

Värivalintojen tulisi olla harmoniassa tutkittavan ilmiön kanssa. Jos visualisoimme eri puolueiden kannatuslukuja, ei ole hyvä valita punaista väriä kuvaamaan kokoomuksen kannatuslukuja ja sinistä väriä kuvaamaan vasemmistoliiton kannatuslukuja.

Tilastollinen päättely

Tilastollinen testaus, mallintaminen ja esimerkiksi ennustaminen vaativat aina jonkinlaisia oletuksia havaintojen jakaumasta. Näiden oletusten paikkansapitävyyttä olisi hyvä tarkastella. Analyysin tekijän tulisi lisäksi ymmärtää, että mihin hänen käyttämänsä menetelmät (matemaattisesti) perustuvat. Analyysissa käytetyt menetelmät ja tilastolliset ohjelmat tulisi raportoida, ja menetelmien valinnat olisi hyvä perustella.

Tilastollisessa testauksessa tehdään usein niin sanottuja nollahypoteeseja, oletuksia, joiden paikkansapitävyyttä testataan. Testausasetelmat on hyvä miettiä huolellisesti. Jos halutaan testata jäätelönsyönnin vaikutusta mielialaan, voidaan nollahypoteesiksi kiinnittää väite ”jäätelönsyönti ei vaikuta mielialaan”.

Jos analyysi pohjautuu kahden riippumattoman otoksen testiin, testiin osallistuvat henkilöt voidaan jakaa satunnaisesti kahteen ryhmään. Molemmille ryhmille tarjotaan syötävää, mutta vain toinen ryhmä saa syötäväkseen jäätelöä. Tämän jälkeen mitataan (jollakin valitulla tavalla) osallistujien mielialaa ja testataan, että onko ryhmien välillä tilastollisesti merkitsevää eroa. Jos tarkastellaan samojen henkilöiden mielialoja ennen jäätelönsyöntiä ja jäätelönsyönnin jälkeen, analyysi pohjautuu parivertailuun.

Kummassakin tilanteessa testisuureen valinta riippuu havaintojen jakaumasta. Mahdollisia testituloksia vääristäviä tekijöitä on hyvä miettiä etukäteen ja laatia testaustilanne sellaiseksi, että virheitä voidaan ehkäistä mahdollisimman hyvin.

On hyvä muistaa, että riippuvuuden muoto ei ole välttämättä lineaarista ja että tilastollinen riippuvuus ei takaa kausaalisuhdetta.

Regressioanalyysi on menetelmä, jossa tarkastellaan vastemuuttujien riippuvuutta valituista selittävistä muuttujista. On hyvä muistaa, että riippuvuuden muoto ei ole välttämättä lineaarista ja että tilastollinen riippuvuus ei takaa kausaalisuhdetta. Jos aineiston nojalla näyttäisi siltä, että auringonpistokset lisääntyvät jäätelön myynnin lisääntyessä, tämä ei vielä tarkoita sitä, että jäätelön syöminen aiheuttaisi auringonpistoksia.

Myös löydösten yleistämisessä havaitun vaihteluvälin ulkopuolelle tai toisiin populaatioihin tulee olla hyvin varovainen. Jos rannalla sijaitsevan jäätelökioskin myynti vähenee kesällä ilmojen kylmetessä, tästä ei voida päätellä myynnin painuvan negatiiviseksi talvikuukausina.

Kriittinen tarkastelu

Pelkkä lukujen käsittely matemaattisesti ei tilastotieteessä riitä. Se vaatii myös harkintaa ja tutkittavan aihealueen tuntemusta. Tilastolliset analyysit perustuvat todennäköisyyslaskentaan. On hyvä miettiä, ovatko löydökset järkeviä ja kulkevatko ne käsi kädessä aiempien tutkimustulosten kanssa. Jos löydökset ovat ristiriidassa aiempien tutkimusten kanssa, tilannetta on tarkasteltava huolellisesti. Onko uudessa analyysissä tai aiemmissa tutkimuksissa tehty virheitä? Onko tarkasteltavassa ilmiössä tai siihen vaikuttavissa olosuhteissa tapahtunut muutoksia? Voiko havaittu ristiriita johtua sattumasta?

Jos löydökset ovat ristiriidassa aiempien tutkimusten kanssa, tilannetta on tarkasteltava huolellisesti.

Huolellisesti tehty tilastollinen analyysi pitää sisällään kriittisen tarkastelun, jossa pohditaan tutkimuksen mahdollisia virhelähteitä. Tällainen kriittinen tarkastelu lisää tutkimuksen arvoa ja luotettavuutta.

Täydellistä tilastollista tutkimusta ei ole olemassa. Tilastollisten analyysien pohjalla olevat matemaattiset mallit ovat karkeita yksinkertaistuksia todellisuudesta. Sattumallakin on roolinsa. Sen tuoma epävarmuus on hyväksyttävä. On kuitenkin parempi nojata hyvin tehtyihin tilastollisiin analyyseihin kuin arvailuihin.

Pauliina Ilmonen on apulaisprofessori Aalto-yliopistossa.

_{Lisätietoja:}

_{R. E. Kass, B. S. Caffo, M. Davidian, X-L. Meng, B. Yu, N. Reid: Ten Simple Rules for Effective Statistical Practice, PLoS Comput Biol 12(6): e1004961, (2016). http://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1004961
K. J. Rothman: Six Persistent Research Misconceptions, J Gen Intern Med 29(7), p. 1060–1064, (2014). https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4061362/
G. Wilson, J. Bryan, K. Cranston, J. Kitzes, L. Nederbragt, T.K. Teal: Good enough practices in scientific computing, PLoS Comput Biol 13(6), e1005510, (2017). https://doi.org/10.1371/journal.pcbi.1005510
S. J. Pocock, J.H. Ware: Translating statistical findings into plain English, The Lancet 373(9679), p.1926–1928, (2009). http://www.sciencedirect.com/science/article/pii/S0140673609604992
J.D. West, C.T. Bergstrom: Calling Bullshit: The Art of Scepticism in a Data-Driven World, Allen Lane, (2020).}