Suomeksi kirjoittaminen voi kuluttaa tekoälyn käytettävissä olevaa tekstimuistia nopeammin kuin englanniksi kirjoittaminen, vaikka keskustelun sisältö olisi sama.
Tutkijoiden mukaan tekoälymallit pilkkovat eri kielillä kirjoitetut viestit eripituisiksi jaksoiksi, mikä vaikuttaa siihen, kuinka paljon tekstiä malli pystyy käsittelemään kerrallaan.
Ilmiötä kutsutaan tokenisaatioveroksi, ja se voi kasvattaa myös tekoälypalvelujen kustannuksia.
Tekoäly ei käsittele kaikkia kieliä tasapuolisesti
Tekoäly ei lue tekstiä samalla tavalla kuin ihminen, vaan jakaa sen pieniin osiin, eli tokeneihin.
Niitä voi ajatella palapelin paloina: yksi sana voi muodostaa yhden palan, mutta toinen sana täytyy jakaa useaan osaan, ennen kuin malli pystyy käsittelemään sen.
Osa kielistä vaatii saman asian ilmaisemiseen enemmän tokeneita kuin toiset, vaikka viestin merkitys olisi täsmälleen sama.
LUE LISÄÄ: Tätä tekstiä vain ihminen osaa lukea – Suunnittelija paljasti tekoälyn hämmentävän sokean pisteen
Suomen kieli voi kuluttaa enemmän tekstimuistia
Suomen pitkät yhdyssanat ja runsas taivutus tekevät kielestä kiinnostavan tapauksen tekoälyn tekstinkäsittelyn kannalta.
Englanninkielinen ilmaus voi mahtua muutamaan tokeniin, kun vastaava suomenkielinen ilmaus jakautuu käytetystä mallista riippuen useampaan osaan.
Tämä voi täyttää tekoälyn rajallista tekstikapasiteettia nopeammin, mutta vaikutuksen suuruus riippuu mallista ja käsiteltävästä tekstistä.
Tekoälyn muisti voi täyttyä ennen aikojaan
Tekoälymallin käytettävissä olevan tekstikapasiteetin kokoa kutsutaan konteksti-ikkunaksi, ja sen rajat ilmoitetaan yleensä tokeneina.
Jos saman asiakirjan käsittely vaatii yhdellä kielellä enemmän tokeneita kuin toisella, mallin käytettävissä olevaan tilaan mahtuu vähemmän tekstiä.
Tämä ei tarkoita, että ChatGPT automaattisesti unohtaisi suomenkielisen keskustelun nopeammin, mutta pidemmissä keskusteluissa ero voi vaikuttaa siihen, kuinka paljon aiempaa aineistoa mallille voidaan antaa käsiteltäväksi.
Oxfordin tutkimus paljasti jopa 15-kertaisen eron
Oxfordin yliopiston tutkijat havaitsivat vuonna 2023 julkaistussa vertaisarvioidussa tutkimuksessa, että samansisältöisen tekstin tokenmäärä voi vaihdella eri kielten välillä jopa 15-kertaisesti.
Tutkijat vertailivat useita tekstinpilkkomismenetelmiä ja havaitsivat erojen säilyvän myös järjestelmissä, jotka oli suunniteltu monikieliseen käyttöön.
Tulosten mukaan erot vaikuttavat mahdollisesti palvelujen hintaan, käsittelynopeuteen ja siihen, kuinka paljon sisältöä tekoäly pystyy käsittelemään kerrallaan.
Uudempi selvitys löysi vielä suuremman eron
Kielten tasa-arvoa tekoälyssä tutkiva CLEAR-yhteisö julkaisi syyskuussa selvityksen, jossa vertailtiin laajasti eri tekoälymallien tekstinkäsittelyä.
Noin 200 kielen aineistossa eniten ja vähiten tokeneita kuluttavien kielten välinen ero kasvoi yhdessä tutkitussa mallissa jopa 17-kertaiseksi.
Luku ei kuitenkaan kuvaa suomen ja englannin välistä eroa, vaan kyseisen mallin ääripäitä laajassa kansainvälisessä vertailussa.
Englannilla etulyöntiasema
Englannin asemaa selittää osaltaan se, että sitä on käytetty valtavasti tekoälymallien kehityksessä hyödynnetyissä digitaalisissa aineistoissa.
CLEARin mukaan suurimmat ongelmat liittyvät usein harvinaisempiin kirjoitusjärjestelmiin, joita tekstinpilkkomismenetelmät käsittelevät tehottomasti.
Erityisesti muun muassa burmalainen, tiibetiläinen, khmeriläinen ja laolainen kirjoitusjärjestelmä sijoittuivat vertailuissa epäedullisesti, kun taas latinalaisia kirjaimia käyttävät kielet hyötyivät usein tehokkaammasta käsittelystä.
ChatGPT-tilaaja ei saa lisälaskua
Suomen käyttäminen ei itsessään nosta esimerkiksi ChatGPT:n kiinteää kuukausitilausmaksua, vaikka suomenkielinen teksti kuluttaisi enemmän tokeneita.
Tilanne on toinen yrityksissä, jotka rakentavat omia tekoälypalvelujaan ja maksavat mallien käytöstä käsitellyn tekstimäärän mukaan.
Esimerkiksi OpenAI:n ohjelmointirajapinnan hinnoittelu perustuu syötettyjen ja tuotettujen tokenien määriin, joten tehottomampi tekstin käsittely voi kasvattaa saman tehtävän kustannuksia.
Suomalaisyrityksille ero voi merkitä rahaa
Kieliero voi muodostua merkitykselliseksi, jos yrityksen tekoäly käsittelee päivittäin tuhansia asiakaspalveluviestejä, pitkiä asiakirjoja tai muita toistuvia tehtäviä.
Jos suomenkielinen teksti vaatii enemmän tokeneita kuin samansisältöinen englanninkielinen teksti, myös käsittelykustannukset voivat kasvaa tokeniperusteisessa hinnoittelussa.
Tarkkaa suomen kielen lisäkustannusta ei silti voi päätellä yhdestä esimerkkilauseesta, sillä siihen vaikuttavat tekoälymalli, tekstin pituus ja tehtävän luonne.
Tekoälysijoittaja vaatii yhtiöiltä vastauksia
Intialaisen tekoälyyn keskittyvän sijoitusrahaston Activate AI:n perustajajäsen Pratyush Choudhury vaatii suuria tekoälylaboratorioita julkaisemaan kielikohtaisia vertailuja siitä, kuinka paljon samanlaisten tehtävien suorittaminen maksaa eri kielillä.
Rest of Worldin haastattelussa Choudhury katsoo, että täydellistä kielten tasa-arvoa voi olla mahdotonta saavuttaa, mutta suurille ja pysyville eroille pitää löytyä selitys.
CLEARin selvityksessä on jo nähtävissä yksi mahdollinen ratkaisu: kielten välistä tehokkuutta voidaan mitata, vertailla ja parantaa, eikä englannin etulyöntiasemaa tarvitse hyväksyä tekoälyn pysyväksi ominaisuudeksi.
LUE SEURAAVAKSI NÄMÄ:
Näillä AI-prompteilla säästät jopa 20 tuntia viikossa – näin käytät tekoälyä oikeasti hyödyksi
Psykologi: Näistä neljästä merkistä tunnistat, alkaako tekoälyyn tukeutuminen mennä liian pitkälle
Tekoäly heikentää aivojasi: tutkijat paljastavat, missä raja menee
