Mallioppilas

30.12.2025 klo 18.23, kirjoittaja
Kategoriat: Kosmokseen kirjoitettua

Tutkimusvapaani lähenee loppua, tammikuussa palaan Helsingin yliopistolle luennoimaan yleistä suhteellisuusteoriaa. Viime kevätlukukaudella minun piti ensimmäistä kertaa kommentoida isojen kielimallien käyttämistä kurssilla. (Isoja kielimalleja, engl. large language models, ja vastaavia koneoppimisohjelmia kutsutaan yleisesti myös lyhenteellä AI, englannin sanoista artificial intelligence. Suomennos tekoäly –asia joka vaikuttaa älykkäältä mutta ei ole sitä– kuvaa niitä paremmin kuin englanninkielinen termi, joka viittaa keinotekoiseen mutta todelliseen älykkyyteen.)

Fysiikan kurssit koostuvat luennoille osallistumisesta, luentomonisteen ja/tai oppikirjojen lukemisesta ja laskuharjoitusten tekemisestä. Laskut ovat avainasemassa: fysiikan teorioiden matemaattisen rakenteen ymmärtää vasta kun käy sitä läpi laskemalla. Yleisen suhteellisuusteorian kurssilla opiskelijoille annetaan kolmesta viiteen ongelmaa joka viikko, ja he palauttavat vastauksensa, jotka laskuharjoitusassistentti tarkastaa ja pisteyttää.

Viime keväänä yksi opiskelija palautti vastauksen, joka oli suoraan kopioitu ChatGPT:ltä tai vastaavalta palvelulta. Opiskelija ei ollut edes vaivautunut piilottamaan sitä, että hän ei ollut itse tehnyt mitään. Olin pitänyt itsestään selvänä, että näin ei saa toimia, mutta tajusin, että en ollut sanonut opiskelijoille, mikä linja kurssilla on isojen kielimallien kanssa ja miksi. Tämän opiskelijan tapaus sai minut myös pohtimaan isojen kielimallien käyttöä laajemmin.

Kerroin opiskelijoille, että isojen kielimallien käyttäminen laskuharjoitusten tekemiseen on kurssilla kiellettyä. Se on huono idea opiskelijoiden kannalta, koska jos ei itse tee laskuja, niin sivuuttaa tärkeimmän tavan oppia: fysiikka on kuin käsityötä, sen oppii vain tekemällä.

Kaikkien opiskelijoiden tavoite ei tietenkään ole ymmärtää kurssin sisältöä, jotkut haluavat vain suoritusmerkinnän. Mutta yleisen suhteellisuusteorian kurssit ovat vaativia, joten jos haluaa vain suorituksen, niin kannattaa valita jotain helpompaa. Ja jos ei ole tehnyt laskuharjoituksia, ei pysty myöskään tekemään loppukoetta, eikä siis saa kurssia suoritettua, joten tältäkin kannalta isojen kielimallien vastausten kopioiminen on haitaksi.

Suurin osa isoja kielimalleja apuna käyttävistä opiskelijoista ei kopioine vastauksia suoraan, tai käyttää niitä vain aiheen yleiseen hahmottamiseen. Suosittelin opiskelijoille myös, että he eivät käytä ChatGPT:tä ja vastaavia palveluita kurssilla tälläkään tavalla. Isojen kielimallien vastaukset näyttävät oikeilta: joskus ne ovat erinomaisia koosteita, joskus ne ovat perustavanlaatuisesti väärin, ja asiaa tuntematta voi olla vaikea erottaa kummasta on kyse.

Parina viime vuonna yleisen suhteellisuusteorian kurssin loppukokeen pisteet ovat olleet entistä huonompia, ja opiskelijoiden pisteet laskuharjoituksista ja loppukokeesta ovat myös vastanneet toisiaan entistä heikommin. Nyt on tavallisempaa, että opiskelijat, jotka ovat saaneet laskuharjoituksista hyvät pisteet menestyvät tentissä huonosti: he eivät osaakaan laskea. En ole varma mistä tämä johtuu, mutta epäilyni kohdistuu isoihin kielimalleihin.

En tietenkään pysty tarkistamaan sitä, mistä ja miten opiskelijat informaatiota tai misinformaatiota yleisestä suhteellisuusteoriasta hankkivat. Isoista kielimalleista on tullut jokapäiväinen työkalu, jolta kysytään apua kaikenlaisissa asioissa. Ajat ovat muuttuneet: ensimmäiset väitöskirjaopiskelijani kuuluivat viimeiseen sukupolveen, joka oppi fysiikkaa ilman isoja kielimalleja.

Ongelma ei ole isot kielimallit sinänsä. Ne ovat hyödyllinen työkalu. (Olen ruvennut itsekin käyttämään isoja kielimalleja rahoitushakemusten editoimiseen, koska niissä vaaditaan todellisuudesta irtoavaa liioittelua ja sujuvaa esitystä, missä isot kielimallit ovat hyviä. On kuitenkin oleellista, että pystyn itse tarkistamaan, pitääkö teksti paikkansa.) Ongelma on se, että opiskelijoita ei opeteta käyttämään tätä työkalua luotettavasti ja tehokkaasti.

Helsingin yliopisto rohkaisee käyttämään isoja kielimalleja opetuksessa ja tutkimuksessa, ja on julkaissut ohjeita siihen. Tämä on tavallista, ja yliopistoilla on eri tasoisia neuvoja aiheesta. Esimerkiksi Queen Mary University of Londonin, missä nyt vierailen, ohjeet opiskelijoille korostavat isojen kielimallien ongelmia ja antavat yksinkertaisia mutta hyödyllisiä ohjeita niiden käyttämiseen.

Tämä ei kuitenkaan riitä: isojen kielimallien hyödyntäminen ja niiden käytön opettaminen vaatii merkittäviä muutoksia opetukseen.

Hyvä esimerkki on Ohio State Universityssä Yhdysvalloissa tehty astrofysiikan ohjelmointikurssi, joka suunniteltiin alusta alkaen isoja kielimalleja ajatellen. Kurssia varten tehtiin oma sovellus AstroTutor, joka pohjasi kaupalliseen isoon kielimalliin Gemini.

Tavallisin tapa käyttää isoja kielimalleja on se, että käyttäjä kirjoittaa sovellukseen tekstiä kuin ihmiselle. Käyttöliittymä luo psykologisen illuusion siitä, että käyttäjä keskustelee sellaisen tahon kanssa, joka ymmärtää mitä sille sanotaan ja mitä se itse sanoo. Isot kielimallit eivät kuitenkaan toimi näin: ne tuottavat ison koulutusmateriaalin pohjalta tekstiä, joka näyttää oikealta, mutta joka ei perustu asian tietämiseen tai pohtimiseen. Tämä näkyy siinä, että muuten tarkoissa teksteissä saattaa olla vakavia virheitä – virheitä, joita ei tekisi kukaan ihminen, joka tuntee asian niin hyvin, että osaisi kirjoittaa vastaavan tekstin.

Näitä hallusinaatioina tunnettuja ongelmia voi vähentää rajoittamalla ison kielimallin koulutusmateriaalia. AstroTutoriin valittiin kurssin keskeisistä aiheista kullekin 500-3 000 tieteellistä artikkelia arXiv-nettiarkistosta, joihin se perustaa vastauksensa.

Toinen ongelma on se, että kaupallisten mallien käyttöliittymä on suunniteltu myötäilemään käyttäjää, mikä on haitaksi oppimiselle. Yksi fysiikan opiskelun tärkeitä kokemuksia on se, että oppii olemaan väärässä: saa kiistatta selville, että oma kanta ei pidä paikkaansa, ymmärtää miksi se on väärin, ja hahmottaa että väärässä oleminen on väistämätön osa oppimista ja tutkimista. AstroTutor oli ohjelmoitu myötäilemisen sijaan osoittamaan virheitä. Se myös ennemmin ohjasi opiskelijoita esittämällä kysymyksiä ja tarjoamalla lähteitä kuin antamalla valmiita vastauksia.

Opiskelijat saivat käyttää myös kaupallisia tuotteita kuten ChatGPT:tä, ja pitivät kirjaa siitä, mitä isoja kielimalleja he käyttivät ja miten. Tämä sai heidät ajattelemaan isojen kielimallien käyttämistä ja luotettavuutta, ja kurssin loppupuolella opiskelijat olivat kriittisempiä niiden vastauksia kohtaan.

Tällaisen kurssin suunnitteleminen ja toteuttaminen vaatii merkittävää panostusta. Luennoitsijat eivät pääsääntöisesti ole päätoimisia opettajia, vaan heidän velvollisuuksiinsa kuuluu myös tutkimus, opinnäytetöiden ohjaaminen ja arvioiminen, vertaisarviointi, hallinto, rahoituksen hakeminen ja niin edespäin. Harvalla on myöskään isojen kielimallien suunnitteluun tarvittavia taitoja. Osaa kursseista luennoivat tuntiopettajat, joille maksetaan opetustuntien perusteella (ja joiden palkkioita yliopisto on laskenut). Heidän silti odotetaan muuttavan kurssit sellaisiksi, että niissä hyödynnetään isoja kielimalleja, mikä on kohtuutonta ja epärealistista.

Isojen kielimallien muutokseen vastaaminen ja niiden lupausten lunastaminen vaatii sitä mitä AstroTutoria hyödyntävällä kurssilla tehtiin: kurssien uudelleen suunnittelemista ja aiheeseen räätälöityjen ison kielimallin sovellusten tekemistä. Itse asiassa voisi olla hyvä ottaa askel taaksepäin ja tehdä sovellus tällaisten sovellusten tekemiseen.

Helsingin ylipistossa edistyneet fysiikan kurssit, kuten yleisen suhteellisuusteorian kurssit, ovat englanniksi, ja monissa englanninkielisissä yliopistoissa ympäri maailmaa opetetaan samoja aiheita. Niinpä tässä on mahdollisuus yhteistyöhön ja resurssien optimointiin. Helsingin yliopiston opetukseen ja sen arviointiin käyttämien järjestelmien menneisyys ja nykytila eivät tosin anna aihetta toiveikkuuteen, joten saattaa olla parempi ajaa muutosta pienemmissä yksiköissä.

Isot kielimallit ovat viimeisin askel automatisaation kehityksessä, millä on ollut ihmiskunnalle valtava merkitys, ja niiden käytössä ollaan vasta alussa. Ei ole selvää, mikä on varmin polku niiden hyödyntämiseen, ja mitkä niiden ongelmista ovat helposti parannettavia lastentauteja ja mitkä teknisen tai taloudellisen rakenteen takia pysyviä oireita.

Lisäksi pitää huomioida se, että isojen kielimallien nykyinen bisnesmalli on täysin kestämätön ja sen lähitulevaisuuden romahdus aiheuttanee maailmanlaajuisen talouskatastrofin. Tämä luultavasti muuttaa sitä, miten isoja kielimalleja käytetään. Lisäksi niiden energia- ja vesivaatimukset aiheuttavat merkittäviä ympäristöongelmia. Ja isoja kielimalleja käytetään kansanmurhan toteuttamiseen, niitä valmistavien yritysten tietoisella tuella, mikä tekee niiden rahoittamisesta ongelmallista. Näihin yrityksiin kuuluvat niin Geminin kehittäjä ja omistaja Google kuin Microsoft, jonka isoa kielimallia Copilot ja muita palveluita Helsingin yliopisto käyttää.

Silti isot kielimallit ja muu koneoppiminen muuttaa opetuksen, kirjoittamisen ja tiedonhaun, ja niillä on myös fysiikan tutkimuksessa iso merkitys – mistä lisää seuraavassa merkinnässä.

9 kommenttia “Mallioppilas”

  1. Janne Heikkinen sanoo:

    Jokin aika sitten Flammassa joku väitti, että nämä tsättibotit osaavat tehdä kanditason tehtäviä. Minä annoin kokeiltavaksi esimerkiksi RLC-sarjapiirin virran yhtälön ratkaisemisen Laplace-muunnoksella. Tuo on kanditason tehtävä, se oli aikanaan FYMM Ib:n tehtävissä, kun itse sen kurssin suoritin (assarit eivät silloin saaneet tehtävää oikein).

    Muutama päivä sitten käytin ChatGPT:tä ensimäistä kertaa elämässäni ja yritin saada ChatGPT:ltä ratkaisun.

    Ensimmäinen yritys:

    ”Ratkaise RLC-sarjapiirin integro-differentiaaliyhtälö virralle Laplace-muunnoksella, kun piiriin syötetty jännite on u(t)*sin(omega*t) ja i(0)=0.”

    Tuolla ratkaisun steady state-osa oli oikein, mutta transienttiosa jäi keskeneräiseksi ja välivaiheet
    puutteellisiksi.

    Toinen yritys:

    ”Ratkaise RLC-sarjapiirin integro-differentiaaliyhtälö virralle Laplace-muunnoksella, kun piiriin syötetty jännite on u(t)*sin(omega*t) ja i(0)=0. Näytä välivaiheissa täydellinen osamurtokehitelmä.”

    Tällä syötteellä myös ratkaisun steady state-osa jäi keskeneräiseksi.

    Yksi syy miksi valitsin juuri tämän tehtävän esimerkiksi oli siinä, että Googlella ei näyttänyt löytyvän valmista täydellistä ratkaisua.

    Ai niin…en minäkään tätä silloin FYMM Ib:llä täysin oikein saanut, mutta olen tämän myöhemmin sen kurssin jälkeen ratkaissut paperilla oikein 🙂

  2. Janne Heikkinen sanoo:

    ”Viime keväänä yksi opiskelija palautti vastauksen, joka oli suoraan kopioitu ChatGPT:ltä tai vastaavalta palvelulta. Opiskelija ei ollut edes vaivautunut piilottamaan sitä, että hän ei ollut itse tehnyt mitään. ”

    Oliko tämä opiskelija muuten suorittanut kandin tutkinnon kokonaan koronavuosien aikana?

    Minä olen törmännyt yhteen tapaukseen, joka näyttää suorittaneen suurimman osan tutkinnostaan koronavuosien aikana järjestelmällisen vilpin avulla.

    1. Syksy Räsänen sanoo:

      En tiedä.

      1. Janne Heikkinen sanoo:

        Kuinka moni muuten suorittaa tuon GR-kurssin vuosittain?

        Vilkaistuani viime vuoden kurssin materiaaleja* veikkaisin, että noin 10 opiskelijaa 🙂

        (* hyvä, että ne ovat saatavilla julkisella kotisivulla sen sijaan, että ne olisi piilotettu Moodleen)

        1. Syksy Räsänen sanoo:

          Viime vuonna kurssin General relativity I aloitti 42 opiskelijaa. Lopputentin suoritti 30 opiskelijaa, jokunen taisi lisäksi tehdä tentin laitoskokeessa.

          Kurssin General relativity II aloitti 29 opiskelijaa. Lopputentin suoritti 16 opiskelijaa, ja kaksi taisi tehdä laitostentin jos oikein muistan.

          Luvut ovat olleet aika samanlaiset muina viime vuosina.

  3. Janne Heikkinen sanoo:

    Toinen mahdollisuus, joka tuli mieleen on, että tuo opiskelija on tullut HY:n maisteriohjelmaan jostain toisesta yliopistosta.

    ”Fysiikan matemaattiset menetelmät Ib, Fysiikan matemaattiset menetelmät IIa, Suhteellisuusteorian perusteet, Mekaniikka and Elektrodynamiikka.”

    Jos opiskelija olisi suorittanut nuo ym. suositeltavat esitietokurssit, niin ei ole mitenkään mahdollista, ettei hän olisi ymmärtänyt mikä merkitys niillä laskareilla on asioiden oppimisen kannalta.

    (ED on muuten tainnut olla jo suunnilleen yli 10 vuoden ajan jaettuna kahdeksi 5 op:n kurssiksi ED I ja II)

    1. Syksy Räsänen sanoo:

      Tosiaan. Päivitin nyt kurssin sivuille nuo elektrodynamiikan kurssit erikseen, ja laitan viestiä että se päivitettäisiin myös Sisuun.

      Kyseessä oli Aallon opiskelija – missä tosin myöskin luulisi oppivan saman asian.

  4. Cargo sanoo:

    Wheeler ennakoi, että kun kaiken teoria lopulta löydetään, niin sen perusperiaatteet saattavat olla niin yksinkertaiset, että voimme vain ihmetellä, miksei niitä oltu löydetty aiemmin. Jos tämä kaiken teoria on jokin tunnetun fysiikan toteuttava soluautomaatti, niin (lähi)tulevaisuuden supertekoälyllä on todennäköisesti suuri merkitys sen löytämisen ja lopullisen formalisoinnin kannalta.

    1. Eusa sanoo:

      Vaikka analysoivan kielimallin generaatioista on hyötyä tekstin ja notaatioiden jäsentelyyn ja sitä kautta ajattelun syventelyyn, uuden näkökulman käsittelyä haittaa oppimateriaaleista yhä uudelleen kumpuava paradigmateoreettinen ote. Toisaalta, mitään uutta ei voi syntyä aikaisempaa ymmärrystä kertaamatta.

      Jonkinlaiseksi ratkaisuksi olen löytänyt sen, että välillä kiellän muiden ideoiden kuin aiheessa itsessään jo sisältyvien mukaan ottamisen – välillä taas sallin sen. Siten voi tietoisesti zoomata variaatioihin ja pitää työkehyksen kontrollissa.

Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *