Fantasiakirjallisuuden arvioimista

30.10.2018 klo 13.21, kirjoittaja
Kategoriat: Kosmokseen kirjoitettua

Syyskuun lopussa jätin apurahahakemuksen Suomen Akatemialle, kuten noin 3 000 muutakin tutkijaa. Kaikista tieteilijän toimenkuvaan kuuluvista asioista –tutkimus, opetus, popularisointi, vertaisarviointi, hallinto, konsultointi– apurahojen hakeminen on turhauttavinta. Tutkijat usein valittavat siihen menevästä ajasta ja vaivasta. Yksi syy on se, että hakemusten laatimiseen käytetyt tunnit menevät luultavasti hukkaan, koska vain pienelle hakemuksista myönnetään rahaa. Mutta oman kokemukseni mukaan hakemusten tekeminen on raskasta myös siksi, että niiden kirjoittamisen ja muun tieteellisen työn välillä on sisällöllinen, ei vain ajallinen, jännite.

Apurahoja on erilaisia: yksittäisiä konferenssimatkoja tukevia, jatko-opiskelua vuoden kerrallaan tukevia, ja vuodesta kolmeen vuoteen väitelleen tutkijan työskentelyä tukevia. Keskityn tässä monivuotisiin hankeapurahoihin, joista Akatemian hankeapurahat ovat tyypillinen esimerkki. Niitä haetaan vuotta etukäteen neljäksi vuodeksi, ja apuraha kattaa suunnilleen hakijan jatko-opiskelijan palkan sekä matka- ja muita sekalaisia kuluja väitöskirjatyön ajaksi (tai väitelleen tutkijan palkan lyhyemmälle ajalle). Hiukkaskosmologian alalla tämä tarkoittaa sitä, että hanke rahoittaa tutkimusta kolmen artikkelin verran – oikeastaan rahoitus on vain osittaista, koska jatko-opiskelija ei tee tutkimusta yksin vaan yhteistyössä muiden kanssa.

Tästä huolimatta hakemukset pitää laatia kuin hankkeessa olisi kyse merkittävästä harppauksesta, ei vain tavallisesta tutkimuksesta, joka etenee pienin askelin ja odottamattomiin suuntiin. Ristiriitaisesti samalla hakemuksiin kuitenkin pitää laatia tarkat askelmerkit etenemisestä vuosi vuodelta ja aikataulu tulevista tuloksista. Ei siis riitä, että pitää suurennella tutkimuksen merkitystä, vaan pitää myös sepittää sen yksityiskohtainen kulku. Todellisuudessa ei voi tietää viittä vuotta etukäteen miten kaikki tulee sujumaan, ellei mistään muusta syystä, niin siksi, että maailmassa on tuhansia muitakin tutkijoita, joiden löytöjä ja oivalluksia ei kukaan pysty etukäteen arvaamaan.

Kyse on eräänlaisesta fantasiakirjallisuudesta, jossa sekä kirjoittaja että lukija tietävät, että teksti ei ole totta, mutta ihanteena on saavuttaa suspension of disbelief, tila, jossa pystyy laittamaan syrjään sen, että kyseessä on kuvitelma.

Kun tehdystä tutkimuksesta raportoidaan tieteellisissä artikkeleissa, ihanteena on asioiden esittäminen mahdollisimman totuudenmukaisesti, mihin kuuluu työn laittaminen oikeisiin raameihin ja sen puutteiden ja rajoitusten läpikäyminen. Apurahahakemukset ovat tyystin toisenlainen ilmaisun muoto, joka muistuttaa sijoittajien houkuttelemista: niissä myydään tavallista tutkimusta mahdollisena läpimurtona jo ennen kuin sitä on tehty. Luultavasti usein hakemuksissa markkinoitua tutkimusta ei lopulta edes tehdä, koska vain tutkimus voi osoittaa, mitkä tutkimuskysymykset ovat kiinnostavia ja mihin suuntaan kannattaa edetä. (En tiedä millaista riippumatonta seurantaa tästä on tehty, olisi mielenkiintoista lukea tutkimus siitä, miten hakemukset ja toteutunut tutkimus suhtautuvat toisiinsa.)

Apurahat eivät ole erityistä panostusta yliopiston perustehtävien päälle, vaan niillä rahoitetaan myös yliopiston perustoimintaa. Esimerkiksi yliopiston tutkijoiden velvollisuuksiin kuuluu jatko-opiskelijoiden ohjaaminen, ja heitä rahoitetaan usein ohjaajien apurahoilla.

Tilanteen tekee entistä ongelmallisemmaksi se, että hakemusten arvioimisessa on paljon sattumanvaraisuutta. Tämän näkee siitä, miten peräkkäisinä vuosina sama hakemus voi saada aivan erilaisia arvioita: yhtenä vuotena heikkoutena pidetyt piirteet voidaan seuraavana vuonna lukea vahvuudeksi (ja hakemus saada rahoituksen), tai päin vastoin.

Eräs kollegani kertoi, että kun hän haki arvostettua European Research Councilin (ERC) apurahaa, kielteisen arvion perusteluna käytettiin mm. sitä, että suuri osa hänen tutkimuksestaan on julkaistu osana kansainvälistä IceCube-tutkimusryhmää, eikä siis kerro hänen omasta osaamisestaan. Mielenkiintoinen peruste ottaen huomioon, että hakijalla ei itse asiassa ollut ainuttakaan paperia IceCuben kanssa. (Henkilö lähti sittemmin Euroopasta australialaisen yliopiston fysiikan laitoksen johtajaksi.) Mainittakoon, että ERC-hakemusten tekemiseen suositellaan käyttämään vähintään kaksi viikkoa täysipäiväistä työaikaa. Myös akatemiahakemuksen tekemiseen kuluu helposti työviikko, ja hakemuksista on tullut entistä raskaampia vuosien varrella. Tuo ERC-tapaus oli poikkeuksellisen räikeä, mutta selvät faktavirheet arvioissa eivät ole harvinaisia.

Arvioijat ovat tiedeyhteisön jäseniä, joilla ei yleensä ole mitään koulutusta hakemusten arviointiin. Helsingin yliopiston kolmevuotisten apurahojen arviointilautakunnassa istuneena voin todeta, että siinä ei myöskään tarjottu mitään opastusta esimerkiksi omien ennakkoluulojen huomioimiseen arvioinnissa, eikä Akatemiankaan ohjeissa näytä sellaista olevan. Tämä on tavallista: ainoa omalle kohdalleni sattunut poikkeus on Iso-Britannian Royal Society, jonka arvioijille lähetettävään materiaaliin kuuluu teksti- ja videoperehdytys tiedostamattomien ennakkoluulojen huomioimiseen. Tällaisen puute haittaa erityisesti naisia, koska heihin kohdistuu haitallisia ennakkoluuloja.

Apurahaprosessin satunnaisuus ja ongelmat kasautuvat, koska myönnettyjä apurahoja voidaan käyttää kriteerinä seuraavien apurahojen myöntämisessä. Lisäksi ongelmat leviävät muualle tieteelliseen toimintaan, koska apurahojen saamista käytetään tutkijoiden laadun mittarina. Helsingin yliopiston matemaattis-luonnontieteellisen tiedekunnan dekaani Kai Nordlund onkin todennut, että rahoituksen saaminen on eräs tärkeimpiä meriittejä tieteellisellä uralla etenemiseen, ja se on usein ratkaiseva tekijä professuureja ja muita pysyviä työpaikkoja täytettäessä silloin kun hakijat ovat muuten saman tasoisia. Erityisesti isojen ulkomaisten apurahojen, kuten ERC:n apurahojen, saaminen on noussut yhä tärkeämmäksi. (Sanottakoon, että Helsingin yliopiston fysiikan osasto on menestynyt hyvin apurahojen hakemisessa niin Suomen Akatemialta, ERC:ltä kuin muualtakin.)

Apurahahakemusten laatimisessa on hyvätkin puolensa: siinä pysähtyy miettimään tutkimustaan laajemmasta näkökulmasta ja miettineeksi suuntaa tavallista pidemmälle. Tämä ei kuitenkaan kumoa niitä ongelmia, mitä aiheutuu siitä, että yliopistojen toimintaa, mukaan lukien perustoimintaa, rahoitetaan yhä enemmän kilpaillulla rahoituksella.

Sen lisäksi, että hakemusten tekemiseen haaskaantuu vuosittain kymmeniä tuhansia työpäiviä, sopii kysyä, mikä vaikutus tutkimuksen kenttään on sillä, että tutkijoita koulitaan ajattelemaan tiedettä tavalla, joka näyttää hyvältä hakemuksissa, joiden kriteerit eivät vastaa tutkimuksen todellisuutta ja lupaamaan läpimurtoja hitaamman, perusteellisemman ja arvaamattomamman tutkailun sijaan.

On myös kyseenalaista, onko empiiristä näyttöä siitä, että kilpailutus parantaa tutkimuksen tasoa. Suomi muuten sattuu erään tutkimuksen olemaan malliesimerkki kilpaillun rahoituksen osuuden ja tutkimuksen tehokkuuden välisestä negatiivisesta korrelaatiosta. Tosin, kuten kirjoittajat itsekin toteavat, tarvittaisiin enemmän dataa luotettavien johtopäätösten vetämiseen, mutta heidän arvioonsa ”most of science policy is hardly evidence based” (suurin osa tiedepolitiikasta tuskin perustuu todistusaineistoon) on helppo yhtyä.

Kasvavan kilpailun vaihtoehto on yksinkertainen: kilpaillun rahoituksen osuuden pienentäminen. On erilaisia ideoita siitä, miltä täysin erilainen rahoitustapa näyttäisi, ja niiden hyötyjä ja haittoja olisi syytä pohtia vakavasti. Vaatimaton askel oikeaan suuntaan olisi jatko-opiskelijoiden rahoituksen siirtäminen enimmäkseen kilpaillusta rahoituksesta enimmäkseen yliopistojen tohtoriohjelmien rahoitukseksi ja muun perustoiminnan rahoittaminen vakaalla rahoituksella.

Kilpaillun osan rahoitusta arviointia tulisi lisäksi parantaa: jos arvioita on tarkoitus käyttää tieteellisen laadun arvioimiseen, niiden pitäisi olla toistettavia, arvioijat pitäisi perehdyttää työhönsä asianmukaisesti ja kannustimia pitäisi muuttaa siten, että hakemusten sisältö vastaa tutkimuksen todellisuutta, sen sijaan että olisi irrallinen fantasiamaailma.

Päivitys (01/11/18): Kirjoitus on julkaistu uudelleen Yliopistokäänteen sivuilla, ja Suomen Akatemian tiedeasiantuntija Vera Mikkilä on kommentoinut sitä Twitterissä.

16 kommenttia “Fantasiakirjallisuuden arvioimista”

  1. Hyvin sama kokemus minulla. Vaikeampi sen sijaan sanoa mitä asialle voisi tehdä.

    Tiede ylipäätään näyttää olevan ihmiskunnalle vaikeaa. Joskus 1800-luvulla tiede oli vaikeaa, koska sitä pystyivät tekemään vain lordit, ja heitä oli vähän. Nykyään kun tutkijoita on paljon, ongelmat ovat muunlaisia. Kuljetaan kapeaa polkua. Sen soveltavalla puolella tiedettä uhkaavat yritysten ja poliitikkojen lyhyen tähtäimen intressit, ja teoreettisella laidalla vaanii dogmatismi. Joskus ne jopa liittoutuvat ja polku on siitä kohdasta poikki.

  2. Kari O. sanoo:

    ”Ristiriitaisesti samalla hakemuksiin kuitenkin pitää laatia tarkat askelmerkit etenemisestä vuosi vuodelta ja aikataulu tulevista tuloksista. ”

    Tuo kuulostaa aika pahalta.. ikään kuin halutaan varmistaa se, ettei mitään merkittäviä uusia tieteellisiä löytöjä tehdä. Jos siis tutkimuksen tulokset pitää noin tietää jo etukäteen, niin mitä uutta tai arvokasta tieteellistä tietoa siinä enää voi syntyä?

    Toki joskus on niin, että tutkijalla voi olla jokin idea tai ”hunch” mielessään jostakin joka sitten pitää vain työstämällä työstää näkyväksi julkaisun tms. muodossa.

    Toisaalta, historiassa on lukuisia esimerkkejä siitä, miten merkittävät ja käänteentekevät tieteelliset löydöt jotenkin karttavat niitä tahoja, joilla on suurin rahoitus.

  3. AK sanoo:

    Tutkimussuunnitelman laatiminen voi tosiaankin olla hyödyllistä. Suunnitelmasta poikkeaminen on enemmän sääntö kuin poikkeus – riippuu toki aiheesta, joskus samaa alunperin määriteltyä tietä voi kulkea vuosikymmeniä. Asiantunteva arvioija määrittelee suunnitelman uskottavuutta, erinomaisuutta ja vaikuttavuutta (mikä perustutkimuksen kohdalla ei ole kovin helppoa).

    Kilpaillun rahoituksen osuutta voisi vähentää perustutkimuksessa ja erityisesti aloilla, joilta arvioitavaksi tulee jatkuvasti runsaasti erinomaisia hakemuksia.

    Mikä on paras tapa valita rahoituksen saaja?

    1. Syksy Räsänen sanoo:

      On tuskin olemassa yhtä parasta tapaa, ja erilaisiin rahoituksiin sopivat erilaiset käytännöt.

      Esimerkiksi jatko-opiskelijoiden rahoittaminen olisi käytännöllisintä järjestää etupäässä yliopiston tohtoriohjelmien kautta. Jatko-opiskelu-oikeutta pitää hakea jo nyt (ja senkin hakemuksesta tulee koko ajan raskaampi), asia hoituisi sen arvioimisen yhteydessä. Ja sen arvioimisen olisi parasta tehdä nykyistä lähempänä väitöskirjatyön tekijöitä, ei korkeammalla hallinnon tasolla.

      Kysymys jatko-opiskelupaikkojen määrästä eri aloilla on sitten oma kysymyksensä.

      En ole tutustunut rahoitusmallien kirjoon, merkinnän loppupuolella mainitsemassani esimerkissä https://www.sciencemag.org/careers/2014/01/new-funding-model-scientists on omat hyvät puolensa ja omat ongelmansa, jälkimmäiset etenkin silloin kun rahaa jaetaan pienessä piirissä.
      Merkinnän lopussa mainitsen

  4. Olen hakenut apurahaa oppimateriaalin tekemiseen animaatioista. Sellaista ei suomenkielisenä ole. Kun aloitin opettamisen 2011, jouduin tekemään kaikki materiaalit alusta saakka itse ja tilanne on pysynyt samanlaisena nyt seitsemän vuotta. Kun hain apurahaa, sain asiasta päättävän tahon langanpäähän. Hän oli kyllä kiinnostunut asiasta ja tieto siitä, että opetusmateriaaleja ei ole, tuli hänelle yllätyksenä. Keskustelun lopuksi hän muotoili asian minulle näin:”Hyvä on, oppimateriaaleja ei ole. Mutta kuka sanoo, että JUURI SINÄ olisit oikea henkilö niitä tekemään?”. Mielestäni tämä kommentti kertoo paljon siitä, kuinka peli pyörii. Olennaista ei ole se, että on kulttuurissa/tieteessä on ilmiselvä tutkimuskysymys, jota kuuluisi tutkia, tai kulttuurissa palvelutarve, joka kuuluisi täyttää. Vaan KUKA sille alueelle saa mandaatin mennä. Ja kenellä on valta päättää asiasta. Laatukriteeriksi ei riitä alan koulutus, työkokemus eivätkä näytöt. Vaan joku muu määrittelemätön tekijä, joka on yksin päättävän tahon tiedossa. – Nyt asiasta on kulunut tasan vuosi, enkä ole jaksanut hakea apurahaa uudelleen. Sama henkilöhän siellä olisi taas jakelemassa viisauksiaan. Oppimateriaalia aiheesta ei edelleenkään ole, sitä ei ole kukaan tuottanut eikä rahoittanut. Omat oppimateriaalini olen antanut jakoon oppilailleni ja osin myös verkkoon. Eikä tämä alue ole suinkaan ainoa, josta olen kerryttänyt kokemusta Absurdaniasta nimeltä Apurahamaa.

  5. Erkki Kolehmainen sanoo:

    Nyt Syksy Räsänen kirjoitti asiaa, mutta ei mielestäni tuonut riittävästi esiin sitä, mikä vaikutus kilpaillulla rahoituksella on tieteen itsensä kehitykseen. Otanpa asiasta esimerkin Syksyn omalta alalta. Hakija 1 esittää hakemuksessaan kehittävänsä menetelmän, jolla pimeän aineen olemassaolo todistetaan. Hakija 2 puolestaan esittää suunnitelmassaan osoittavansa, ettei pimeää ainetta ole. Ottaen huomioon sen tosiasian, että ko. alan asiantuntijoista valtaosa uskoo pimeän aineen olemassaoloon, niin on selvää, että hakijan 1 hakemus saa myönteisen palautteen, mutta hakijan 2 suunnitelma torpataan epärealistisena. Näin siis kilpailtu rahoitus varmistaa sen, ettei paradigman muutosta tieteessä voi tapahtua. Jos tutkijalla olisi turvattu pitkäkestoinen taloudellinen riippumattomuus, niin hänellä olisi myös ajattelun ja uusien ideoiden kokeilun mahdollisuus. Toki se mahdollistaa myös lusmuilun, jos siihen on taipumusta. Eräs työhönsä kyllästynyt teologi sanoikin saatuaan pysyvän professuurin, että nyt tämä Saatanan tutkiminen loppui!

  6. Lentotaidoton sanoo:

    No niin, toivomus on että pikku hiljaa päästään tästä fantasioinnista ja sen arvioimisesta sekä ikiliikkujista itse asiaan, eli fysiikkaan. Kiitos.

    1. Syksy Räsänen sanoo:

      Blogin aiheena on fysiikan tutkimuksen sisällön lisäksi myös tutkimuksen tekeminen ja sen poliittinen ja sosiaalinen ympäristö.

      Eri aiheet kiinnostavat eri yleisöä, toisia (erityisesti muita tutkijoita) kiinnostaa tutkimusrahoituksen avaaminen, toisia pimeä aine.

      Seuraavan merkinnän aihe lienee pienet mustat aukot pimeän aineen ehdokkaana ja niiden tuottaminen Higgsin kentän avulla.

  7. Lentotaidoton sanoo:

    OK, hyvä näin. Sielunhoitoakin tietysti tarvitaan, mutta…

    ”Teksteissään hän ruotii pääasiassa kosmologian ja hiukkasfysiikkan aiheita”. Eli aiheita, joita otaksuisin useimpien tätä blokia lukevien haluavan käsiteltävän. Ei muuten, mutta kun ne ovat niin äärimmäisen kiinnostavia asiansatuntevan blogistin käsissä. Nykyään kun on kaikenlaista ”vaihtoehtoistakin totuutta” tarjolla.

    1. Syksy Räsänen sanoo:

      Sattumoisin tämä merkintä on herättänyt enemmän kommentteja ja kiinnostusta Twitterissä kuin mikään muu.

  8. Matias Slavov sanoo:

    Miten kilpailu saataisiin lakkautettua? Haluaisin pelata LA Kingsissa, mutta niin haluaa miljoona muutakin. Haluan tehdä akateemista tutkimusta, mutta niin haluaa kymmenen muutakin.

    1. Syksy Räsänen sanoo:

      En kirjoittanut kilpailun lopettamisesta, vaan kilpaillun rahoituksen vähentämisestä.

      Kilpailtu rahoitus viittaa rahoitukseen, josta päättävät ulkopuoliset tahot, kun taas perusrahoituksen kohdistamisesta päätetään yliopistoissa ja instituuteissa.

      Tekstissä mainitaankin tästä esimerkkejä: jatko-opiskelijoiden rahoituksen keskittäminen tohtoriohjelmiin sekä yllä siteeratun merkinnän malli, jossa jokaisen rahoituksensaajan pitää jakaa siitä tietty osa eteenpäin. Muitakin ehdotuksia on olemassa – ehkä palaan niihin tulevissa merkinnöissä.

      Toinen asia on sitten se, miten rahoituksesta kilpaillaan. Suuri ongelma on se, että järjestelmä kannustaa kirjoittamaan tutkimuksesta tavalla, joka ei vastaa todellisuutta, että haut ovat yhä raskaampia ja hakemusten arvioinnissa on paljon sattumanvaraisuutta eikä siinä kiinnitetä huomiota ennakkoluulojen tunnistamiseen ja kumoamiseen.

  9. Cargo sanoo:

    Sen sijaan, että tutkijat rukoilevat kädet kyynärpäitä myöden ristissä rahoitusta tuleville proggiksilleen, niin rahoitusta tulisi jakaa taannehtivasti menestyneille julkaisuille. Homman nimi olisi karkeasti se, että jos tuotos jää esijulkaisuasteelle, niin hakemus menee suoraan silppuriin. Näin maksimoidaan sekä ajan että rahoituksen käyttö.

    Ja jos ei kynä, paperi ja internet riitä, niin jokaisella taivaanrannan maalarilla on oikeus arvioida oman tutkimuksensa merkittävyyttä ja ottaa sen perusteella pankista lainaa haluamansa summan. Norjalaisilta saa nyt 50,000€ ilman vakuuksia.

    1. Syksy Räsänen sanoo:

      Tutkimuksen rahoittamisessa ei ole kyse vain yksilöiden hyödystä, vaan myös yhteisestä hyvästä.

  10. Luin twitter-linkin takana olevat kommentit. Siellä Tapio Ala-Nissilä kirjoitti ”Kun hakemusten hyväksymisprosentit putoavat 10% tai alle niin prosessi on satunnainen.” Olen samaa mieltä. Pohdiskelen tässä vähän taustalla olevia mekanismeja. Yksi juttu on että yksittäinen arvioija ei voi perehtyä niin moneen kuin kymmeneen hakemukseen. Tällöin käy niin että yksittäinen arvioija ei tyypillisesti näe yhtäkään esimerkkiä sellaisesta hakemuksesta joka menee läpi. Silloin arvioija ei tiedä absoluuttista skaalaa vaan helposti tulee gaussittaneeksi ne hakemukset jotka hän näkee. Tällöin esimerkiksi jos kaksi todella hyvää hakemusta sattuu samalle arvioijalle, hän ei anna molemmille yhtä paljon suitsutusta kuin ne ansaitsisivat.

    Ollaan siis pudottu tilanteeseen jossa hyväksymisprosentti on liian pieni. Kaksi välitöntä negatiivista vaikutusta ovat että arvointiprosessi on satunnainen jolloin rahoitus ei mene parhaille, ja lisäksi turha hakemusrumba vie hakijoiden ja arvioiden aikaa hukkaan. Kolmas negatiivinen vaikutus on että koska hakijat tietävät arvioinnin satunnaisluonteen, he täyttävät sen lottokupongin joka kerta, mikä ylläpitää hakemustulvaa ja matalaa hyväksymisprosenttia. Akatemian vastaus että lisäraha auttaisi toisi vain hetken helpotuksen.

    Sanoisin jos tietäisin mitä tilanteelle kannattaisi tehdä. Pitäisikö siirtyä sellaiseen että hakemukset ovat vain lyhyitä abstrakteja joita kollegat saavat äänestää, vähän kuin ehdokkaita eduskuntavaaleissa. Ja lisäksi laskettaisiin vanhoista meriiteistä jotkut jyvityspisteet jotenkin automaattisesti.

Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *