Pseudotieteestä tekotieteeseen
Kirjoitin viime vuonna siitä, miten Yliopisto-lehti esitteli Tuomo Suntolan pseudotiedettä mahdollisesti vallankumouksellisena läpimurtona kosmologiassa. (Aihetta sivuten täällä Frankensteinista ja tieteestä sekä täällä Wittgensteinista ja tiedosta.)
Alan tutkijoista tämä oli outoa, koska heille on ilmiselvää, että Suntolan kosmologiset jutut eivät ole tiedettä vaan hölynpölyä. Oli myös hälyttävää, että lehden toimitus heitti ikkunasta tiedeyhteisön vakiintuneet käytännöt siitä, miten tutkimusta arvioidaan (kuten vertaisarvioinnin), tuhansien fyysikoiden yli vuosisadan ajan tekemän työn ja kokeellisesti tarkkaan varmennetut tulokset.
Miksi tiedelehden toimittajat toimivat näin? Toisaalta – miksi fyysikot ovat vakuuttuneita siitä, että jokin teoria on oikein, vaikka käsitykset fysiikasta ovat muuttuneet moneen otteeseen, ja parhaatkin tutkijat ovat olleet jostain väärässä?
Koska fysiikassa uusi paikkansapitävä teoria sisältää kaiken mikä sen edeltäjässä on oikein, sen on oltava matemaattisesti vähintään yhtä hienostunut, ainakin jos edellisen teorian ennusteita on monimuotoisesti varmennettu. Uusi teoria voi olla periaatteiltaan yksinkertaisempi, kuten yhtenäisteoriat usein ovat, mutta ei rakenteeltaan köyhempi. Tämän takia fyysikkojen on helppo nähdä, että kun joku ehdottaa vaikka suhteellisuusteorian tilalle teoriaa, joka on ennusteiltaan selvästi pielessä tai jonka rakenne on aivan liian alkeellinen, hän on väärässä.
Vanhat fysiikan teoriat eivät jää elämään uusien kanssa tasavertaisina, ne ovat enää korkeintaan approksimaatioita omalla pätevyysalueellaan. Esimerkiksi suhteellisuusteoria supistuu klassiseen mekaniikkaan, kun nopeudet ovat pieniä ja gravitaatio heikko.
Tähän liittyy se, että sana teoria tarkoittaa eri asiaa kuin ihmis- ja yhteiskuntatieteissä. Fysiikassa varmennettu teoria on luontoa kuvaava matemaattinen rakenne, joka on sisäisesti riittävän ristiriidaton (fysiikassa ja matematiikassa on tälle aivan eri standardit) ja joka on kokeellisesti merkittäviltä osin varmennettu.
Ihmis- ja yhteiskuntatieteissä sana teoria on lähempänä sanaa koulukunta, se tarkoittaa yhteistä lähtökohtaa, kysymyksenasettelua, lähestymistapaa ja menetelmiä. Taloustieteessä on marxilaista ja uusklassista tutkimusta, eikä yksi tee toista tarpeettomaksi, filosofiassa Sartren eksistentialismi ei syrjäyttänyt Sokrateen ajatuksia, ja niin edelleen. Tämä johtuu siitä, että ihmistieteiden ja yhteiskuntatieteiden tutkimuskohteet ovat erilaisia (ja monimutkaisempia) kuin luonnontieteissä, ja siksi myös kysymykset ja menetelmät ovat erilaisia.
Koska fysiikassa käytetään havaintoja sen selvittämiseen, mikä teoria on oikein ja mikä väärin, siinä ei ole koulukuntia samassa mielessä kuin ihmis- ja yhteiskuntatieteissä. Ei ole newtonisteja eikä eetteristejä – eikä einsteinilaisia.
Joidenkin on ilmeisesti vaikea ymmärtää tätä eroa, kenties siksi, että heillä ei ole luonnontieteellistä taustaa. Tällöin fyysikoiden varmuus nykyisen teorian paikkansapitävyydestä ja kyky nopeasti todeta jotkin vaihtoehdot vääriksi voi näyttäytyä ylimielisyytenä ja kyvyttömyytenä ymmärtää tieteenfilosofiaa, ja siis itsessään kritiikin arvoisena.
Esimerkiksi hiukkasfysiikan kiista supersymmetriasta ja tekniväristä voi näyttää koulukuntaerolta, mutta jos havainnot tukisivat vain yhtä, toisen kannattajat katoaisivat, kuten kävi eetterille. Koska kummallekaan ei ole löytynyt tukea, molempien hohto on hiipunut.
Joskus esitetään, että fyysikot eivät hyväksy valtavirran instituutioiden ulkopuolelta tulevia ideoita. Se että kirjoittaja esittää asian selkeästi, hallitsee sen perusteet ja sanoo siitä jotain kiinnostavaa on kuitenkin uusia ideoita arvioidessa tärkeämpää kuin instituutti tai oppiarvo (jälkimmäistähän ei artikkeleissa edes lue), vaikka niilläkin on merkitystä. Albert Einsteinin työ patenttitoimistossa on saanut myyttiset mittasuhteet, mutta samanlaista tapahtuu vieläkin.
Vuosina 2007 ja 2008 toimittajien ”surfer dudeksi” tituleeraama Garrett Lisi sai paljon huomiota niin julkisuudessa kuin tiedeyhteisössä ehdotettuaan uutta kaiken teoriaa, vaikka hän ei ollut missään tieteellisessä instituutissa eikä hänen artikkeliaan oltu julkaistu missään lehdessä. Lisi kutsuttiin alan instituutteihin puhumaan ja hänen ideoistaan keskusteltiin, koska ne oli selkeästi esitetty, ne eivät olleet ilmeisessä ristiriidassa varmennettujen asioiden kanssa, niiden rakenne oli rikas, ja niissä oli jotain uutta ja kiinnostavaa. (Kertoman mukaan eräs neuvostofyysikko kirjoitti tieteellisiä artikkeleita ollessaan töissä Tallinnan eläintarhassa, mikä merkittiin niihin hänen instituutikseen, mutta en ole löytänyt näitä julkaisuja.)
Kaikki fysiikka ei tietenkään noudata ihannetta: on hyvää ja huonoa tutkimusta, ja joskus ideoiden arvioiminen menee pieleen. Säieteoriassa ei ole saatu kosketusta havaintoihin, minkä takia sosiologisten seikkojen merkitys siinä on kasvanut, mikä on herättänyt kysymyksiä alan terveydestä.
Kaikilla fysiikan aloilla on kehnoja artikkeleita, virheellisiä teorioita ja mitättömiä ideoita. Kulttuuri on kriittinen: fyysikot usein olettavat, että uudet ideat ovat väärin kunnes toisin todistetaan. Toisaalta artikkeleita ilmestyy niin paljon, että yleensä huono työ jätetään omaan arvoonsa, ellei se jostain syystä nouse pinnalle. On kirjoittajan velvollisuus osoittaa, että hänellä on kiinnostavaa sanottavaa, ei muiden velvollisuus todistaa, että hän on väärässä.
Huono fysiikka on kuitenkin eri asia kuin pseudofysiikka. Silloinkin kun fysiikkaa tehdään huonosti, siinä rakennetaan sen päälle mitä jo tunnetaan, tai sitten perustellaan, mikä osa siitä on väärin.
Pseudotieteen tunnusmerkkejä ovat asioiden poimiminen tai hylkääminen tunnetusta teoriasta mielivaltaisesti ja ilman selitystä, välinpitämättömyys ristiriidasta kokeellisesti varmennettujen tosiseikkojen kanssa, yksittäisten havaintojen poimiminen ilman selitystä tai tarkastelua niiden epävarmuuksista, sekä tietämättömyys alan käsitteistä ja teoreettisesta ymmärryksestä. Esimerkiksi ilmastonmuutoksen ja evoluution liepeillä liikkuvassa hölynpölyssä näkyy nämä piirteet.
Viime aikoina oman mausteensa pseudotieteen ja fysiikan sekoittamiseen ovat tuoneet isojen kielimallien yksinkertaiset ja halvat käyttöliittymät. Jotkut ajattelevat voivansa tehdä fysiikan tutkimusta osaamatta fysiikkaa, vain pyytämällä isoa kielimallia pukemaan heidän irtonaisten ideoidensa ympärille sanoja, yhtälöitä ja kuvia. Tällaisia viestejä on ruvennut kilahtamaan fyysikkojen sähköpostiin. Toisaalta jotkut alan tutkijatkin ovat nyt tuottaneet isojen kielimallien avulla artikkeleita, jotka ovat lähempänä pseudotiedettä kuin tiedettä, vaikka pikaisesti katsottuna näyttävät aidoilta. Tarvitsemme ehkä pseudotieteen rinnalle uuden käsitteen: tekotiede.
Tyrmistyin kun eräs Helsingin yliopiston filosofian osaston tutkija kirjoitti minulle ja muille fyysikoille, että Suntolan ajatukset suhteellisuusteoriasta voivat olla päteviä, koska DeepSeek sanoi niin hänen syötettyään sille Suntolan ja kumpp. artikkeleita. Isot kielimallit on suunniteltu myötäilemään käyttäjää ja kuulostamaan vakuuttavalta, mikä houkuttelee korvaamaan tiedeyhteisön asiantuntemuksen ja kriittisen arvioinnin keinotekoisella imartelulla.
Suntolan kuoltua hänen ideansa menevät unhoon samaa matkaa Kauko Niemisen ”eetteripyörreteorian” kanssa. Mutta isot kielimallit meillä on keskuudessamme pitkään, ja niiden haittoja on vaikea torjua, jos seuraavaa tutkijasukupolvea opettavat luennoitsijat ovat itse niiden pauloissa.
”Mutta isot kielimallit meillä on keskuudessamme pitkään, ja niiden haittoja on vaikea torjua, jos seuraavaa tutkijasukupolvea opettavat luennoitsijat ovat itse niiden pauloissa.”
Minä olen ihmetellyt kuinka esim. Helsingin sanomat uutisoi jatkuvasti, että tekoäly vie ohjelmoijien työt.
Nämä tsättibotit kyllä pystyvät generoimaan alkeellista koodia, mutta esim. omassa työssäni C/C++-
ohjelmoijana niistä ei ole mitään hyötyä. Päinvastoin, tsättibotin generoiman koodin toiminnan
varmistaminen olisi hitaampaa kuin koodin kirjoittaminen ilman tsättibottia.
Tsättibottien ja Leanin käytöstä muistui mieleen tämä:
Aalto-yliopiston Jukka Suomela julkaisi vähän aikaa sitten Blueskyssa nämä kalvot:
https://go.bsky.app/redirect?u=https%3A%2F%2Fjukkasuomela.fi%2Fdoc%2Ftheory-seminar-2026-01-21.pdf
” GPT-5.2 solved it like this:
• [too complicated for me to verify]
• GPT-5.2 also formalized the proof in Lean 4
• 12 000+ lines of Lean 4 code”
Minä odotan mielenkiinnolla asiasta varsinaista julkaisua, joka on tällä hetkellä työn alla.
”Aalto-yliopiston Jukka Suomela julkaisi vähän aikaa sitten Blueskyssa nämä kalvot:”
Joskus pari vuotta sitten Jukka julkaisi Facebookissa tämän hupaisan esimerkin:
”Jukka:
Miksi puutiainen on Suomen kansallislintu?
ChatGPT-4:
Puutiainen (Parus major) valittiin Suomen kansallislinnuksi vuonna 1962. Valinnassa oli useita syitä:
1. Puutiainen on yleinen ja tuttu lintu suurimmassa osassa Suomea. Se esiintyy
monenlaisissa ympäristöissä, kuten metsissä, puistoissa ja puutarhoissa. Tämän vuoksi monilla suomalaisilla on henkilökohtainen side tähän lintuun.
2. Puutiainen on helppo tunnistaa sen selkeän värityksen ansiosta. Linnun päälaki on musta, posket valkoiset ja vatsapuoli keltaisen ja vihreän eri sävyissä. Tämä tekee siitä hyvän lintuharrastuksen aloittelijoille.
3. Puutiaisella on monipuolinen ääni- ja laulurepertuaari, joka koostuu erilaisista sävelistä, huudoista ja äänistä. Tämä tekee siitä mielenkiintoisen tutkimuskohteen lintujen ääntelyyn liittyvissä tutkimuksissa.
4. Puutiainen on aktiivinen ja utelias lintu, joka ei pelkää ihmisiä. Se tulee helposti lähelle tarkkailemaan ja voi olla myös melko rohkea.
5. Puutiaisella on tärkeä rooli ekosysteemissä: se syö monenlaisia hyönteisiä ja toukkia, auttaen pitämään niiden määrän kurissa. Lisäksi puutiainen on tärkeä siementen levittäjä, joka edistää kasvien leviämistä ja metsien uusiutumista.
Kokonaisuutena puutiainen kuvastaa hyvin suomalaista luontoa ja sen monimuotoisuutta. Sen valinta kansallislinnuksi oli luonnollinen ja sopiva ratkaisu.”
(lisäsin tuohon sanat ”Jukka:” ja ”ChatGPT-4”)
Kaikki ovat varmasti nähneet isojen kielimallien tuottamaa virheellistä tekstiä, ei siitä enempää esimerkkejä tänne, elleivät ne liity aiheeseen.
On turhauttavaa, jos keskustelu jää jumiin vain naurettavien esimerkkien läpikäymiseen, joissa ajattelu on ulkoistettu kokonaan pupputekstigeneraattorille.
Pitää nähdä erityisesti kolikon toinen puoli: uudet teknologiat tarkoituksenmukaisesti käytettynä tehostavat vuoropuhelua. Kun ihminen ohjaa prosessia tarkasti, nämä ”uudet kirjoituskoneet” mahdollistavat ymmärrettävämmän ja seikkaperäisemmän tekstin tuottamisen samalla inhimillisellä ponnistuksella.
Samalla rimaa täytyy nostaa. Paperitehtailua ei pidä hyväksyä, vaan vaatia syvällisempää sisältöä. Seula on ollut liian harva jo ennen suuria kielimalleja, ja läpi on päässyt kaikenlaista pseudoa. Olet tässä oikeassa: vanhan pseudon ei pidä vain vaihtua sujuvaksi “tekotieteeksi”, vaan julkaisukulttuuria on muutettava terveemmäksi.
Juurisyyt liittyvät usein julkaisumalleihin ja rahaan, mistä olet aiemmin ansiokkaasti kirjoittanut. Jos vertaisarviointi ja toimitustyö halutaan oikeasti laadukkaiksi, ne pitää myös resursoida: nykyinen malli nojaa liikaa aliresursointiin ja ilmaistyöhön. Ratkaisu voisi vaatia järeitä toimia; esimerkiksi kansainvälisesti sovittua julkisen rahoituksen minimitasoa ja pelisääntöjä (vähän samaan tapaan kuin globaali minimivero), jotta aidosti korkealaatuiselle vertaisarvioinnille olisi riittävä, vakaa rahoitus. Sen rinnalla markkinaehtoinen julkaiseminen ja yksityinen rahoitus voisivat toki elää omaa elämäänsä, mutta eivät määrittäisi laatukriteerejä.
Juu – olen yltiöpäisen kirkasotsainen, mutta kai evoluutiolla on tarkoituksensa meillekin. 😉
Fysiikassa ei ole ollut juuri ongelmana, että pseudotiedettä julkaistaisiin arvostetuissa lehdissä. Joskus niin käy, mutta se on aika harvinaista.
Pseudotieteen ongelma ja vertaisarvioinnin ongelmat ovat eri asioita. Edellinen ei vaikuta niinkään tieteen sisällä kuin hämärtää suuren yleisön ymmärrystä tieteestä, ja nakertaa (yhdessä tieteen kiistämisen kanssa, mihin se usein liittyy) maata tieteen arvostukselta ja rahoitukselta.
Tosin vertaisarvioinnin ulkoistaminen yhä enemmän isoille kielimalleille voi pahentaa pseudotieteen ongelmaa. On liian aikaista sanoa, kuinka iso ongelma isojen kielimallien tuottamista tekotieteellisistä artikkeleista tulee, toistaiseksi se on pystytty pitämään jokseenkin hallinnassa, mutta poikkeuksia on yhä enemmän.
”On turhauttavaa, jos keskustelu jää jumiin vain naurettavien esimerkkien läpikäymiseen, joissa ajattelu on ulkoistettu kokonaan pupputekstigeneraattorille.”
Minua turhauttaa jatkuvat uutiset siitä, että nämä tsättibotit vievät minulta työt.
Minua myös turhauttaa uutiset, joissa puhutaan ”teköälystä” asioissa, joissa ennen olisi sanottu vaikka ”tilastollinen menetelmä”. En muista vielä nähneeni uutista, jossa ”lineaarinen regressio” olisi muuttunut ”tekoälyksi”, mutta varmaan sellainenkin on jossain jo julkaistu.
Kumpaanko pseudo- tai tekotiedekategorioista menisi olemattomien ilmiöiden tutkimus tieteellisesti pätevin menetelmin? Esimerkkinä Rovellin ym. tutkimukset valkoisesta aukosta josta T&A:ssakin artikkeli.
Jos teoria ennustaa ilmiöitä joita ei ole olemassa niin onko teoria väärässä, onko kysymys teorian väärästä tulkinnasta tai siitä että teoria ei ole postuloinut pois parametrialueita jotka johtavat sen pätevyysalueen ulkopuolelle? Valkoisten aukkojen lisäksi ST on tulkittu ennustavan madonreiät, myös mustien aukkojen vakiintuneet tulkinnoissa lienee järkevän epäilyn varaa koska ristiriitoja niissä on havaittu ja mm. Hawking on niitä epäillyt. Tuntuisi että uusia näkökulmia hakevat mustan aukon tutkimukset olisivat mielekkäämpiä pureutumiskohteita kuin täysin hypoteettiset ST:n ennusteet.
Ei kumpaankaan. Yleinen suhteellisuusteoria ei ennusta valkoisia aukkoja eikä madonreikiä, se vain kertoo että ne ovat mahdollisia. Se onko niitä syntynyt on eri asia. Esimerkiksi klassinen mekaniikka kertoo, että tuhatkerroksiset talot ovat mahdollisia. Tämä ei tarkoita sitä, että niitä olisi olemassa.
Sanomatta että Rovellin työ olisi huonoa, muistutan, että tekstissä kiinnitän huomiota huononkin fysiikan ja pseudotieteen eroon:
”Huono fysiikka on kuitenkin eri asia kuin pseudofysiikka. Silloinkin kun fysiikkaa tehdään huonosti, siinä rakennetaan sen päälle mitä jo tunnetaan, tai sitten perustellaan, mikä osa siitä on väärin.”
Vihdoin joku muukin kommentoi Yliopisto-lehden DU-juttua 🙂
Uusin Yliopisto-lehti:
”PUHEENVUORO
Vakavasti otettavaa?
Kuin sananlaskussa ”paljon porua, vähän villoja”, puolus- tavat muutamat kirjoittajat
Tuomo Suntolan dynaamisen universumin (DU) mallia (Yli- opisto-lehti 8/2025 & 10/2025).
Luonnontieteessä edellyte- tään systemaattista oletusten ja näiden seurausten käsittelyä
sekä selkeää argumentointia mallista johdettaville ennusteille. Ennusteita verrataan
havaintoihin siten, että analyysi on toisten tutkijoiden toistetta- vissa. Näyttää siltä,
että DU:n puolustajat eivät ymmärrä, miten luonnontieteessä toimitaan ja miten fysiikan
teoriat kehittyvät.
Kirjoituksissa luodaan myös virheellistä kuvaa siitä, miten valtavirran ulkopuolelta
tuloksiaan esittävät joutuvat taistelemaan dogmaattista siilipuolustusta vastaan.
’Asiantuntijoiden DU-välinpitämättömyys kehystetään Einstein- jääräpäisyydeksi ja
perusteluissa sorrutaan jonkinlaiseen katkeruuteen vetoamiseen, argumentum
ad odium. Ehkä- pä DU:n puolustajien kirjoittelun taustalla on se, että modernin
maailmankuvan perustana olevat suhteellisuusteoria ja kvanttimekaniikka koetaan
’haastavina ja DU:n tarjoama perusteeton mutta ”selkeä ja ymmärrettävä
todellisuuskuva” on houkuttelevampi.
Luonnontiellisen metodin avulla ei pyritä todistamaan ”arkijärjen” puolesta, vaan
löytämään säännönmukaisuuksia, jotka tekevät luonnon ilmiöiden täsmällisen
ennustamisen mahdolliseksi. Moderni fysiikka ennustaa ilmiöitä, joita emme osaa
hahmottaa, mutta jotka osoittautuvat kokeellisesti tosiksi. Ne ovat mahdollistaneet
teknologisen kehityksen, joka on muuttanut yhteiskuntaa ja arkeamme
peruuttamattomalla tavalla.
Tieteentekijät ovat avoimia uusille ideoille ja mallien kehittämiselle. Näitä mitataan
tieteellisellä johdonmukaisuudella. Dynaaminen universumi ei tarjoa tässä suhteessa
vakavasti otettavaa mallia tarkasteltavaksi.
KIMMO TUOMINEN
TEOREETTISEN HIUKKASFYSIIKAN
PROFESSORI
HELSINGIN YLIOPISTO”
Tosiaan.
Tämä Kimmon esille tuoma keskeinen seikka on Yliopisto-lehden toimitukselta jäänyt huomiotta (ja kuvaus näyttää pätevän myös lehden toimitukseen): ”Näyttää siltä, että DU:n puolustajat eivät ymmärrä, miten luonnontieteessä toimitaan ja miten fysiikan teoriat kehittyvät.”
Luuletko, että isot kielimallit voisivat tehdä pätevän vertaisarvioinnin Suntolan Dynaamisesta Universumista?
Nykyiset kaupalliset ilmaiset isot kielimallit tuskin tällä hetkellä pystyvät tekemään pätevää vertaisarviointia mistään. Filosofin minulle lähettämä ison kielimallin arvio oli harhaanjohtava ja yhdentekevä.
Mihin perustuu olettamus, että olisi mahdollisesti jotain ei-kaupallisia parempia tekoälymalleja?
Jos tarkoitat ”tekoälyllä” koneoppimista, niin on olemassa monia erilaisia koneoppimisalgoritmeja, joita on rakennettu erilaisiin tarkoituksiin. Esimerkiksi kosmologiassa tutkijat ovat kehittänee tutkimuskäyttöön joihinkin tehtäviin erikoistuneita algoritmeja, jotka ovat siinä varmasti parempia kuin ilmaiset kaupalliset isot kielimallit.
Yksi esimerkki kaupallisen (maksullisen) algoritmin varaan rakennetusta mutta opetuskäyttöön kehitetystä ison kielimallin sovelluksesta, joka on siinä parempi kuin kaupalliset ilmaiset yleiskäyttöön tarkoitetut versiot oli tässä merkinnässä: https://www.ursa.fi/blogi/kosmokseen-kirjoitettua/mallioppilas/
Syötin Suntolan teorian luku kerrallaan Claude-tekoälylle ja kritiikki on sangen murskaavaa. Keksijää ei tyrmätty aivan yhtä pahasti kuin filosofi Himankaa, mutta joka tapauksessa saa laittaa pillit pussiin.
The book presents an ambitious alternative to General Relativity and standard cosmology, but suffers from critical scientific failures: Mathematical errors, observational contradictions, circular logic, and unfalsifiable claims collectively disqualify it from serious scientific consideration. Rating: 18/100.
https://tiedepalsta.fi/viewtopic.php?p=445747#p445747
Tässä on kaksi ongelmaa. Erilaisella syötteellä saattaa saada erilaisen arvion – esimerkiksi jos syöttää Suntolan ja hänen puolustajiensa vastauksia kritiikkiin, tulos voi olla positiivisempi. (Kuten itse näin tuosta filosofin DeepSeek-tuloksesta.)
Toisekseen ei ole selvää, onko artikkelien kritiikki säännönmukaisesti perusteltua – vaikka tässä tapauksessa sekä tulos että jotkut perustelut ovat oikein (Clauden tekstissä on hyviä ja päteviä argumentteja), se ei kerro siitä, että tulokset olisivat yleensä luotettavia.
Tulee huomioida tuosta tarkistamani ”hallusinaatiot” ennen kuin levittää ko ”arviota” laajemmalti. Vastaukseni on kyseisessä foorumiketjussa seuraavana.
Tein DU:sta tehokkaan arvion maksullisen LLM:n avustuksella. Lopputuloksena suosittelisin hylkäystä tai erittäin suurta uudelleentyöstöä. Joten Syksyn oletus, että LLM-ilmaisversiot eivät kykene suhteellisuudentajuiseen otteeseen teoriatietojen poimimisessa, pitänee paikkansa. Muistutan edelleen generaatiota ohjaavan ihmisen roolista – jos luottaa enemmän ennustavaan tekstiin kuin omaan ymmärrykseensä ja toivoo erityistä tulosta, generaatioiden joukosta löytää kyllä haluamansa.
Tämä kuin että ehdottaisi litteän maan teorian uudelleentyöstöä ennen sen hyväksymistä maantieteen lehteen. Nykyiset yleiseen käyttöön suunnitellut kaupalliset isot kielimallit eivät vo korvata ihmistä vertaisarvioijana. Niistä voi kyllä olla vertaisarvioijalle apua.
Tein arvioni juuri siten, että LLM toimi avustavana työkaluna.
Aihepiirin keskustelussa on nähtävissä nyt faktojen vähyyttä. Se on todettavissa mm. Cargolle antamastani vastauksesta, jossa oikein koulutetun LLM:n avustamana oikaisin heppoisella kielimallilla (ilmeisesti pelkästään ilman ihmistarkistuksia) hänen generoimaansa arvioon päässeitä hallusinaatioita. Huomasin nimittäin jo nopealla luvulla, että siellä oli virheiksi ilmoitettu sellaisia kohtia, jotka olin hekilökohtaisestikin tarkistanut aiemmin.
Ymmärrän kyllä vertauksesi litteän maan teoriaan, mutta tieteentekijöiden ei ole syytä mennä äärimmäisajatteluun – kun DU-malliin perehtyy pintaa syvemmälle, kyllä siellä oikeallakin otteella motivoituja tavoitteita ja matemaattisia rakenteita on.
Suntolan ideoiden vertaaminen Maan väittämiseen litteäksi ei ole retorista liioittelua: kyse on samanlaisesta hölynpölystä, eikä kummallakaan ole mitään tieteellistä arvoa. Ei siitä sen enempää.
Nyt kun teoriasta on nostettu esiin vino pino epäkohtia, niin vieläköhän Suntola & Styrman jaksavat hakata sotarumpua ja päätä seinään 🙄
Toisaalta filosofeilla on vapaus pallotella ideoita, eikä kukaan estä pitämästä seminaariesitystä vaikkapa absoluuttisen avaruuden filosofiasta, vaikka sellainen kantilainen ajattelumalli lensi romukoppaan viimeistään vuonna 1905.
Isojen kielimallien tuottamat arviot tutkimuksesta eivät ole luotettavia, eikä niiden siis voi katsoa kumoavan mitään tutkimusta eikä kenelläkään tutkijalla ole velvollisuutta vastata niihin mitään. Eri asia on sitten, että Suntolan ideat ovat täyttä hölynpölyä, eivätkä tieteellistä tutkimusta.
Haluan raportoida hieman omista kokemuksistani referoijana avaruustekniikan alalla. Viime vuosina olen useita kertoja ollut tilanteessa että paperi on täyttä roskaa ja referoijat sanovat sen, mutta editori silti hyväksyy paperin. Ja toisinpäin: referoijat ovat pääosin positiivisia, mutta editori hylkää paperin. Tätä on tapahtunut ns. uusissa lehdissä, mutta valitettavasti myös vanhoissa, joiden maine on aiemmin ollut hyvä.
Joissakin tapauksissa on näyttänyt siltä että ”paperi” on kirjoitettu kielimallien avulla, mutta jäljet on yritetty peitellä muuttelemalla tekstiä inhimillisemmän oloiseksi. Oireena on esimerkiksi se että ”paperi” on sisältänyt toisiinsa lähes liittymättömiä osioita ja niissä kaavoja, jotka ovat oikein jossain kontekstissa, mutta joiden yhteys paperin ”johtopäätöksiin” jää epäselväksi. Johtopäätökset itsessään ovat myös heikot ja mitäänsanomattomat. Kuitenkin olen nähnyt tällaisia papereita tehtaillun jo pari vuotta ennen kielimallien tuloa saataville, eli ihan käsityönäkin puppua jotkut kirjoittavat.
Ilmeisesti kirjoittajat eivät ainakaan alunperin ymmärrä aiheesta juuri mitään, ja heidän tarkoituksensa on hyväksikäyttää vertaisarvioijia ilmaisina opettajina. Useiden kierrosten jälkeen eri lehtiin paperi saattaa joskus tulla hyväksytyksi ja siinä saattaa jopa olla hieman järkeä, mutta järkevä aines ei ole peräisin kirjoittajilta vaan nimettömiltä arvioijilta.
Olen nähnyt myös yhden EU-hakemuksen (evaluaattorina ollessani) jossa oli haun kannalta ”oikeat” avainsanat ja järkevät lukujen otsikot, mutta jonka tekstissä lauseiden looginen yhteys toisiinsa jäi systemaattisesti hämäräksi. Arvelen että se oli kirjoitettu kielimalleja käyttäen ja tekemällä käsityötä jälkien peittämiseksi. Hakemus oli siihen mennessä jo edennyt aika pitkälle prosessissa ja oli keränyt arvioijilta melko korkeita pisteitä, joten huonommalla onnella se olisi jopa saattanut tulla rahoitetuksi. Mukana olevat laitokset olivat osin nimekkäitä.
Kokonaiskuvan saaminen näistä tieteen degeneraatioilmiöistä on vaikeaa, kun tutkija näkee vain ne paperit ja hakemukset jotka juuri hänelle sattuvat tulemaan arvioitavaksi. Sellainen tuntuma minulla on että taso on laskenut merkittävästi viimeisten noin 10 vuoden aikana, pysyttyään sitä ennen suunnilleen vakiona.
Hyvä huomio tuo, että asiasta on vaikea muodostaa kokonaiskuvaa, koska vertaisarviointi tapahtuu pääosin pimennossa.