Seulan korjaamista
Mistä tietää, ovatko tieteelliset tulokset luotettavia? Ei ole mitään yhtä varmaa keinoa taata että mennään kohti tarkempaa tietoa, mutta yksi hyväksi osoittautunut tapa on tieteellisten artikkelien vertaisarviointi.
COVID-19-pandemian aikaan siitä kirjoitettiin julkisuudessa kaikenlaisia ei aina paikkansapitäviä kommentteja, joskus tutkimukseen muka pohjaten. Toisinaan näitä tarinoita arvosteltiin siitä, että tieteellisiä artikkeleita, joihin niissä vedottiin, ei oltu vielä julkaistu eikä siis vertaisarvioitu. Joskus taustalla oli ajatus, että vasta vertaisarvioituun artikkelin voi luottaa. On kuitenkin tuiki tavallista, että vertaisarvioidut artikkelit ovat virheellisiä – eikä vain lääketieteessä ja läheisillä aloilla, vaan myös fysiikassa. Tämä ei ole outoa, vaan väistämätöntä.
Vertaisarviointi tarkoittaa sitä, että yksi tai useampi asiantuntija käy läpi artikkelin ja kertoo tieteellisen lehden editorille, pitäisikö se julkaista sellaisenaan, muuttaa vai hylätä. Editorit yleensä noudattavat arvioijien suosituksia, mutta he voivat myös päättää toisin tai pyytää uusia arvioita. Hylätyt artikkelit usein julkaistaan toisessa, kenties vähemmän arvostetussa lehdessä.
Ainakin fysiikassa vertaisarvioijat tarkistavat yleensä lähinnä sen, että artikkelissa on tarpeeksi uutta sisältöä, ei ole ilmeisiä virheitä, ja on viitattu asiallisesti alan tutkimukseen. Kun tutkailee artikkelia vain jokusen tunnin, on vaikea saada selkoa sen kaikista yksityiskohdista. Tulosten oikeellisuus selviää vasta sitten, kun koko tutkimusyhteisö pääsee tutustumaan niihin ja voi yrittää toistaa niitä. Tämän takia ulkopuolisen voi olla vaikea arvioida julkaistujenkin tulosten luotettavuutta, koska hän ei tiedä minne ne sijoittuvat tutkimuksen kentällä, mikä sekin näkyi COVID-19-pandemian aikana.
Vertaisarviointi on silti keskeinen tapa valvoa tutkimuksen laatua, mutta se on nykyään ongelmissa. Kun kirjoitin Helsingin yliopiston Think Open -blogiin tieteellisen julkaisemisen siirtämisestä pois kaupallisilta kustantajilta, jotkut kommentit kiinnittivätkin niihin huomiota (vastaukseni on täällä).
Eräs ongelma on se, että artikkeleita kirjoitetaan yhä enemmän. Yksi syy tähän on se, että tutkijoiden määrä kasvaa. Koska arvioijat ovat samaa porukkaa kuin kirjoittajat, heidänkin määränsä toki kasvaa. Mutta nykyään on myös iso paine hankkia yhä enemmän tieteellisiä meriittejä yhä nopeammin. Tämän takia monet pyrkivät julkaisemaan enemmän ja käyttämään vähemmän aikaa sellaisiin asioihin, jotka ovat meriittien kannalta toissijaisia – kuten muiden artikkelien vertaisarviointiin.
Toinen ongelma on se, että tyypillisesti arvioijien raportit ovat anonyymejä, ja ne näkee vain lehden kustannustoimittaja ja artikkelin kirjoittajat. Niinpä maine ei kärsi, vaikka vähän hutiloisi – eikä kasva siitä, että tekee työnsä huolellisesti. Vertaisarvioinnista ei sitä paitsi saa paljon tieteellisiä meriittejä.
Siitä ei myöskään makseta rahaa – poikkeuksia on, mutta silloinkin korvaus on yleensä nimellinen. Tieteellinen julkaiseminen perustuu ilmaiseen työhön, tai tarkemmin sanottuna siihen, että lehdet eivät maksa kirjoittajille eivätkä arvioijille. Näiden oma yliopisto tai tutkimuslaitos maksaa heille palkkaa siitä, että he käyttävät aikaansa tieteelliseen työhön, mutta he voivat pitkälti itse valita, miten aikansa jakavat.
Niinpä lehtien on nykyään vaikeampi saada vertaisarvioijia artikkeleille, eikä raporttien laatu vaikuta olevan nousemaan päin. Lisäksi tieteen maastossa liikkuu saalistajalehtiä, jotka julkaisevat mitä tahansa roskaa: näin voittaa sekä lehti (joka myy artikkelit yliopistoille ja ehkä pyytää julkaisumaksun kirjoittajalta) että kirjoittaja (joka saa ansiotta tieteellisiä meriittejä). Vain yliopistot, muut tutkijat, tiedeyhteisö ja tutkimukseen nojaava yhteiskunta häviävät.
Hiukkasfyysikko Tommaso Dorigo aiemmin tässä kuussa tiivisti tilanteen toteamalla, että vertaisarvioinnista ei saa palkkioksi edes taputusta selkään. Joitakin vuosia sitten kustantajat saivat päähänsä lähettää ahkerasti artikkeleita vertaisarvioineille tutkijoille sähköpostissa jonkun tittelin (”ensiluokkainen arvostelija”), olisiko heillä ollut myös pinssejä. Kollegani suhtautuivat asiaan epäuskoisella naurulla. Dorigo ehdottaa, että kustantajat sen sijaan ottaisivat käyttöön erään oudon niksin: maksaisivat työstä palkkaa.
Tämä varmasti kasvattaisi halua kirjoittaa arvioita. Samalla se kuitenkin lisäisi lehtien kustannuksia. Dorigo toteaa, että sadan dollarin palkkio olisi vain 5% lisää yhden artikkelin hintaan. Artikkelien hinnat ovat kuitenkin jo nyt niin korkeita, että yliopistoilla ei ole varaa maksaa niitä (olen kirjoittanut aiheesta täällä, täällä, täällä, täällä, täällä, täällä, täällä, täällä, täällä, täällä ja täällä). Siirtyminen kaupallisista lehdistä tiedeyhteisön julkaisemiin overlay-lehtiin laskisi kustannuksia noin 99% ja saattaisi siten auttaa vertaisarvioinninkin järjestämisessä uudelleen.
Euroopan avoimen tieteen lippulaiva Plan S on viimeisimmässä luonnoksessaan nostanut vertaisarvioinnin uudistamisen keskeiseksi tavoitteeksi. Yksi sen vaatimuksista on vertaisarvioijien raporttien ja editorien päätösten julkistaminen. Toinen on artikkelien julkistaminen jo ennen vertaisarviointia – kuten fysiikassa tehdäänkin arXiv-arkistossa. Kolmas on arvioijien raporttien tekeminen julkiseksi, mikä luultavasti kannustaisi ottamaan työn vakavammin (vaikka ne olisivatkin yhä anonyymejä).
On myös ehdotettu ja otettu käyttöön vaihtoehtoisia tai tukevia tapoja arvioida artikkeleiden oikeellisuutta, kuten avoin arviointi ja korjaaminen nettialustoilla, missä ei ole yhtä editoria, jolla on valta päättää julkaisemisesta. Mikään ei kuitenkaan ole korvannut vertaisarviointia.
Silloinkin kun artikkeli julkaistaan lehdessä ilman merkittäviä muutoksia, vertaisarviointi on vaikuttanut siihen, koska kirjoittajat ovat laatineet artikkelin tietäen, että se käy läpi vertaisarvioinnin. Tutkijat tietysti joka tapauksessa vertaavat omia tuotoksiaan muiden työhön ja haluavat näyttää hyvältä. Mutta koska artikkelit ovat keskeisessä asemassa työpaikkojen ja rahoituksen jakamisessa, on tärkeää, että on mekanismi, joka hillitsee painetta keskittyä julkaisujen määrään laadun kustannuksella ja varjelee tieteen luotettavuutta.
Räsänen: ”Pääasiallinen syy siihen, että edes hiukkasfysiikassa ja kosmologiassa ei ole siirrytty kokonaan overlay-lehtiin on se, että tutkijat haluavat tunnettujen lehtien antaman laatuleiman, ja koska he eivät maksa artikkelien julkaisemista omista rahoistaan, heillä ei ole tarvetta muuttaa mitään. https://blogs.helsinki.fi/thinkopen/tieteellisen-julkaisemisen-tulevaisuus/”
Nykyään harva uutinen on todellinen ”jymyuutinen”, saati sitten että koru/myynti -lauseista riisutussa (myynti)uutisessa sen nk. tieteellinen arvo edes lähentelisi ns. marginaalista totuutta. Tunnetut ja monasti arvostetut ”laatulehdet” ovatkin silloin usein tavallisen tallaajan luotetuin tiedon lähde. Niidenkin tulee, kuitenkin, taloudellisesti elää. Ja talouselämässä meno on monasti rajua. Tutkija tutkii, mutta hänenkin pitäisi elää.
Luen itse paljon sekä suomalaisia että jenkkiläisiä tiedelehtiä. Osoittautuu kuitenkin, että monasti ne(kään) eivät riitä alkuunkaan. Vaan että syvempää tietämystä pitää opiskella kyseisen alan, (esim juuri Ursan) mainostamista kirjoista. Oma lukunsa ovat sitten esim youtuben esitelmät, kenttä ja esiintyjät ovat valtavan laajat (ja oma vuosikymmenien varrella kehittynyt arvostelukyky joutuu tosi kenttätestiin).
Omalla alallani tieteellisten lehtien keskinäinen hierarkia näyttelee merkittävää roolia siinä, miten tutkijoiden meriittejä arvioidaan. Artikkelin saaminen julkaistuksi korkeimman tason lehdissä kestää lähes aina vuosia, koska niiden kriteerit esim. aineiston koolle, tutkimusmenetelmien uraauurtavuudelle ja tulosten merkityksellisyydelle ovat omaa luokkaansa. Jos järjestelmää muutettaisiin, kuinka näiden tasoerojen kävisi? Häviäisikö kaikkein laadukkain tutkimus vai kävisikö tavanomaisempien tutkimuspapereiden julkaiseminen mahdottomaksi? Jonkinlaisia linjanvetoja halutun tason määrittämiseksi tarvittaisiin mielestäni myös avoimissa julkaisukanavissa.
Myös fysiikassa on isoja eroja lehtien arvostuksessa. Tätä laatua eivät luo kaupalliset kustantajat, vaan tutkijat jotka lähettävät niihin artikkeleita ja päättävät niiden julkaisemisesta. Uudet lehdet voivat nousta nopeasti arvostuksessa: esimerkiksi fysiikassa lehdet JHEP ja JCAP perustettiin sen takia, että kaupalliset lehdet olivat niin kalliita, ja nousivat pian alan arvostetuimpien joukkoon. (Sittemmin niistäkinn on tosin tullut kalliita!)
Laatueroja on samalla tavalla riippumatta siitä, onko julkaisu maksullinen vai ei. Matematiikassa joissakin lehdissä editorit ovat kaikki eronneet ja perustaneet uuden samanlaisen ilmaisen overlay-lehden.
Julkaisujen mediassa ja niihin vaaditussa vertaisarvoissa on hierarkia, mikää osaltaan estää uusien ajatusten esittämisen. On mielenkiintoista kuulla miten todenkköisiä uudet havainnot ovat vaikkkakin huteralla pohjalla ovatkin. Näissä blogeissa voisi rehellisesti niistä keskustella.
Kosmologiassa (ja muillakin fysiikan aloilla) tulee koko ajan paljon uusia havaintoja, eivätkö ne ole huteralla pohjalla, vaan päin vastoin huolellisen työn tulosta.
Tämän blogin tarkoituksena on välittää tietoa kosmologiasta ja hiukkasfysiikasta tiedeyhteisön ulkopuolisille. Se ei ole alusta tieteelliselle keskustelulle, sille on omat fooruminsa.
Tarkoitin huteralla esim tämän tyyppistä artikkelia, joka on kiinnostava, peräti suomalainen tutkimus, mutta ei arvostetusta julkaisusta. Kiinnostaa tietää mikä on totta ja mikä tieteellinen saavutus taustalla https://phys.org/news/2025-05-quantum-theory-gravity-sought-crucial.html
Tuossa artikkelissa ei ole kyse havainnoista, se on teoreettista työtä. Tällaisia teoreettisia artikkeleita ilmestyy useita joka päivä, jotkut enemmän ja toiset vähemmän kiinnostavia.