David Kaplan
Kriittinen tila

Akateemisia julkaisuja määrittävät vaikuttavuusarvioinnit perustuvat virheelliseen mittaustapaan

Versus haastatteli Geographical Review:n päätoimittajaa David Kaplania tiedejulkaisemisen ja tiedeviestinnän tilanteesta ja kehitysmahdollisuuksista.

Lukuaika: 7 min.

Mitkä ovat mielestäsi suurimmat haasteet ja trendit markkinavetoisen akateemisen julkaisemisen kentällä tällä hetkellä?

Nykytilanteessa pieni määrä kustantajia kontrolloi suurta prosenttiosuutta markkinoista. Tähän liittyy muutos, jonka myötä lehdet eivät enää saa erillisiä yhteisö- tai yksilötilaajia, vaan niitä myydään kootusti lehtiryhminä. Samalla, kun lehdet haluavat varmistaa olevansa mahdollisimman monissa lehtiryhmissä mukana laajan levikin takaamiseksi, on niillä aiempaa vähemmän kontrollia siihen, miten heidän tuottamaansa materiaalia levitetään. Ennen ihmiset lukivat kannesta kanteen yksittäisiä lehtiä, nyt he etsivät yksittäisiä artikkeleita hakukoneiden kautta. Lehtien merkitys on tässä mielessä siis heikentynyt.

Näetkö tulevaisuudessa haasteita tai mahdollisuuksia tähän kehitykseen liittyen?

Yksi haaste on lehtien kallis hinta. Hinnan nousun seurauksena ongelmaksi on muodostunut muun muassa se, että niiden ostaminen muodostaa ison osan yliopistokirjastojen kokonaiskustannuksista. Nykyään on myös olemassa niin paljon journaaleja, että niitä on vaikea kategorisoida ja niiden arviointiin on kehitetty lukuisia erilaisia tapoja. USA:ssa on sanonta ”televisiossa on 500 kanavaa, mutta sieltä ei silti tule mitään kiinnostavaa”. Jos on olemassa tuhansia journaaleja, on hankalaa olla selvillä niistä kaikista ja siitä, kuinka monet niistä ovat todellisuudessa tieteellisesti päteviä.

Tapa, jolla mittaamme tällä hetkellä lehden vaikuttavuuskerrointa on nähdäkseni viallinen. Tästä huolimatta vaikuttavuuskerroin on saavuttanut hallitsevan aseman akateemisessa julkaisujärjestelmässä. Vaikuttavuuskertoimiin perustuva mittausjärjestelmä voi kannustaa ihmisiä tarjoamaan tutkimustaan lehdille, joihin heillä ei ehkäpä todellisuudessa ole syytä tarjota töitään. 20–30 vuotta sitten vaikuttavuuskertoimella ei vielä ollut tärkeää asemaa. Haasteena siis on, kuinka kannattaisi arvioida journaaleja ja kuinka tutkijat löytäisivät itselleen parhaiten sopivat julkaisukanavat.

Julkea!-hankkeemme pyrkii kehittämään akateemisen viestinnän kenttää ja siinä tapahtuvaa tiedeviestintää. Onko sinulla joitakin ajatuksia, joita haluaisit jakaa näihin teemoihin liittyen?

Pidän hanketta todella tärkeänä. Kannatan sitä, että tutkijat pyrkivät kääntämään tutkimustaan sellaiseen muotoon, jota ihmiset kykenevät ymmärtämään. Mielestäni tutkijoiden on tärkeää olla valmiita tekemään tämänkaltaisia asioita, vaikka ne olisivat tutkijoiden epämukavuusalueella. Heidän täytyy osata kirjoittaa ehkäpä laajemmalla näkökulmalla, olemaan valmiita tekemään yleistyksiä sekä kyetä olemaan huolestumatta kaikesta. Akateemisissa kirjoituksissa luodaan usein pieniä aitoja omien sanomisten ympärille ikään kuin varmistaakseen, etteivät ihmiset vain tekisi vääriä tulkintoja. Tällainen toimintatapa synnyttää melko tylsiä tekstejä.

Joillekin ihmisille on muodostunut sellainen käsitys, että mitä epäselvempi joku on puheissaan, sitä järkevämpi tai oppineempi hän on. Tämä ajattelutapa ajaa minut hulluksi! Mielestäni lehden tärkein aspekti on artikkelien luettavuus.

Uskotko, että jotkut päätoimittajat vaativat kirjoittajilta tällaista kieltä?

Kieli on aina koodattua. Se, mitä sanot ja millaisia merkityksiä sanomisesi viestittää muille, voi kertoa, että kuulut johonkin kerhoon. Tämä on osa päätoimittajien ajatusprosessia: he katsovat suosiollisemmin tietynkaltaisella tyylillä kirjoitettuja artikkeleita. Kirjoittajat oppivat tämän ja ajattelevat: ”Ahaa, tähän tyyliin minunkin on puhuttava.”

Uskotko Yhdysvalloissa vallitsevan jonkinlaisen kuilun akateemisen eliitin ja tavallisen kansalaisen välillä?

Kyllä. Toki kirjoituksen koskiessa tieteellistä tutkimusta tai metodologiaa, lukijan täytyy tuntea tietynkaltainen kieli ymmärtääkseen tekstiä. Mielestäni joskus on kuitenkin tarpeellista ottaa askel taaksepäin ja pyrkiä sanomaan asiat selkeämmällä tavalla. Jotkut tutkijat saattavat perustella vaikeaa kieltä sillä, että he viittaavat tekstillään toisen tutkijan tutkimukseen. Mielestäni on kuitenkin mahdollista viitata jonkun tutkimukseen käyttämättä hänen kieltään. Tämä on todellinen ongelma ja uskon sen olevan opittua käytöstä.

Täytyy siis tuntea yleisönsä?

Juuri niin. Akateemisten artikkelien ongelmana on, ettei niitä lueta. Artikkeleista viestitään niin, etteivät ihmiset kykene ymmärtämään niitä.

Jos voisit päättää, kuinka akateeminen julkaisusysteemi toimisi, olisiko jokin eri tavalla nykytodellisuuteen verrattuna tai onko sinulla jotakin tavoitetta tai isoja unelmia tähän liittyen?

Unelmani ovat melko pieniä. Akateemisessa julkaisujärjestelmässä on asioita, joista en pidä. Esimerkiksi keskittyminen tiettyihin vaikuttavuuden mittausjärjestelmiin saattaa johtaa vahingolliseen kehitykseen. Vaikuttavuuskertoimet ja niihin liittyvät arviointiperusteet pohjaavat alun perin lääketieteellisiin journaaleihin. Kuinka samaa järjestelmää voidaan soveltaa esimerkiksi historian journaaleihin? On kiinnostavaa, että melkein kaikilla historian lehdillä on hyvin matalat vaikuttavuuskertoimet, koska ne käyttävät paljon kirjoja ja vastaavia julkaisuja sisältöjensä pohjana.

Tiedän, että Suomessa yritetään edistää avointa tiedejulkaisemista. Se voi kuitenkin tulla kalliiksi. Jos ei esimerkiksi ole saanut isoa rahoitusta tutkimuksensa tekoon, olisi liikaa pyytää tutkijaa huolehtimaan 3 000 dollarin summasta, jotta hän voisi saada julkaistua artikkelinsa avoimesti. En haluaisi nähdä tilanteita, joissa kaikilta odotettaisiin avointa julkaisemista, koska joillakin ei olisi siihen varaa.

Tämänpäiväisen esityksesi diassa lukee: ”Et koskaan saa paperiasi ulos, ellet ole valmis ottamaan riskiä.” Kertoisitko tarkemmin, mitä tarkoitat riskin ottamisella?

Täytyy olla valmis paljastamaan työnsä ja asettamaan itsensä kritiikille alttiiksi. Paljastamalla työsi muille asetat itsesi alttiiksi mahdolliselle nöyryytykselle ja naurunalaiseksi saattamiselle. Ihmiset eivät pidä hylsyn saamisesta julkaisuprosessissa, se ei ole mukava tunne ollenkaan. Tämä pätee, vaikka olisi jo pitkäänkin julkaissut omia töitään – en minäkään pidä hylätyksi tulemisesta.

Onko kuvaamasi tunne jotenkin verrattavissa siihen, että hakisi töitä niitä saamatta, mutta että olisi etukäteen työskennellyt pari vuotta voidakseen saada tilaisuuden edes hakea koko työtä?

No joo, kyllä. Tunteessa on kyse siitä, että ihmiset alkavat epäillä työnsä arvoa. Kun tulee hylätyksi, tulisi aina tarkistaa, onko päätoimittajien kommenteissa jotakin, josta voisi olla apua. Hylätessäni paperin kirjoitan aina tekstikappaleen, jossa kerron syyt hylkäämiselle. Mutta toinen tärkeä seikka on olla tietoinen siitä, mikä lehti sopii omalle tutkimukselle. Jotkut parhaista artikkeleistani ovat tulleet hylätyiksi ja kun olen lähettänyt ne heti toiseen lehteen, ne on hyväksytty. Tämä siis osoittaa jotakin, eikö vain? Paljon on kyse sopivuudesta, paljon on kyse arvioitsijajoukosta. Samalla tavoin kuin voi hakea useaa työtä ja lopulta joku vaan päättää palkata sinut, koska pitää juuri sinusta.

Yksi syy, miksi mielestäni päätoimittajien tulisi olla nopeita työssään ovat säännöt, joiden mukaan kirjoittaja ei voi lähettää artikkeliaan samanaikaisesti muualle. Tästä johtuen lehdet ikään kuin lukitsevat artikkelit itselleen. Jos siis kuulen päätoimittajista, joilla kestää vuoden tai pidempäänkin päättää, hylkäävätkö vai julkaisevatko he artikkelin, ajattelen heidän tekevän todella ikävän tempun kirjoittajalle.

Teksti: Anna Pulkka, Versus-koordinaattori

This article is also available in English.

Anu Lahtinen
Anu Lahtinen

Anu Lahtinen on Suomen ja Pohjoismaiden historian professori Helsingin yliopistossa ja Historiallisen Aikakauskirjan päätoimittaja sekä tietokirjailija. Lahtisen erityisaloja ovat Ruotsin ajan historia, sosiaalihistoria ja sukupuolihistoria.

Takaisin olennaiseen!

Monille Kaplanin kannanotoille on helppo suorastaan taputtaa käsiään. Tärkeimmät asiat ovat yksinkertaisia: tarvitsemme huolellisesti tehtyä tutkimusta, josta kerrotaan mahdollisimman hyvällä kielellä. Tieteellisten julkaisujen tulisi palvella tiedettä ja laajempaakin yleisöä, ei mammonaa.
Valitettavasti tuntuu siltä, että myös tiedemaailman reunaehdot lisäävät hätiköintiä ja pinnallista suorittamista. Toki aina on ollut ongelmallisia lieveilmiöitä, mutta viime aikoina tieteen laaduntarkkailusta ja julkaisemisprosesseista on tullut yhä byrokraattisempaa, ja aikaa kuluu ihan muuhun kuin toimitustyöhön. Korkeakoulupolitiikassa ei tunnu olevan luottamusta sitä kohtaan, että tieteenalan asiantuntijat tietäisivät parhaiten, millaiset julkaisut ja prosessit edistäisivät heidän omaa alaansa. Sen sijaan ylhäältä ja ulkopuolelta ladataan valtavia odotuksia ja vaatimuksia avoimuudesta, tietosuojasta, huolellisesta toimitustyöstä ja (puoli-)ilmaisuudesta.

Avoin tiede on päivän sana, mutta avoimen julkaisemisen resurssointi on sattumanvaraista nappikauppaa. Myös avoimen julkaisemisen merkitys vaihtelee tilanteesta toiseen. Avoin saatavuus voi tarkoittaa sitä, että pienen tiedeseuran aktiivit raatavat ilmaiseksi ilmaisen verkkojulkaisun toimittajina. Se voi myös tarkoittaa sitä, että iso kustantamo ottaa isoja maksuja kirjoittajilta ja organisaatioilta, jotta tietty artikkeli ilmestyisi kaikkien saataville.

Kotimaisten tiedejulkaisujen kokonaisrahoitus olisi kohtuullinen investointi, jos vertaa kansainvälisten tiedejulkaisujen tilaushintoihin tai kansainvälisille julkaisuille suoritettaviin open access -maksuihin. Kotimaisten tiedeseurojen julkaisut eivät tavoittele voittoja, niiden tavoitteena on selvitä taloudellisesti hengissä vuodesta toiseen. Tuntuu turhauttavalta, että rahoitusta joudutaan nyt keräilemään kaikenlaisilla tilkkutäkkimenetelmillä – vuotuinen avustus sieltä, kehitysapuraha tuolta. Kotimaisilta tiedejulkaisuilta edellytetään kiertymistä vaikka millaisiin akrobaattitemppuihin, mutta silti ei ole takeita edes tilkkutäkkirahoituksen jatkumisesta.

Huomattava osa korkeakoulujen rahoituksesta myönnetään kotimaisten tiedeartikkelien perusteella. Silti tiedejulkaisujen luokituksessa lähdetään siitä, että vain kansainväliset julkaisut on korkeimmalla jufo-tasolla. Tämä lähtökohtainen kotimaisen tieteen väheksyminen on tyrmistyttävää ja lyhytnäköistä. Kahteen ylimpään kastiin mahtuu vain pieni määrä julkaisuja, enimmäkseen ulkomaisia. Loput tiedejulkaisut voivat olla omassa kategoriassaan miten hyviä tahansa, mutta ne eivät mahdu jufo-luokituksen ylemmille portaille.

Olen ollut lähes viisitoista vuotta eri tiedelehtien päätoimittajana. Siinä ajassa erilaiset lieveilmiöt ovat lisääntyneet, ja välillä itse julkaisemisen sisältö hukkuu teknisten muutosten, julkaisualustaratkaisujen ja muun metatyön alle.

Kun julkaisufoorumi-luokitukset otettiin käyttöön, virallinen linjaus oli, että niiden mukaan ei tule arvioida yksittäisen tieteentekijän suorituksia. Totuus on toinen, ja usein tieteentekijätkin ovat reagoineet Snyderin ohjeiden vastaisesti ”tottelemalla etukäteen”, hyväksymällä jo varhaisessa vaiheessa sen, että järjestelmä tulee kuitenkin vaatimaan heiltä Jufo3-julkaisuja.

Toinen esimerkki ongelmallisista lieveilmiöistä on Kaplanin mainitsema vaikuttavuusarviointi. Olen yrittänyt viedä historiatieteellisiä julkaisuja sitaatioindekseihin. Eräänä ongelmana kuitenkin on, että indeksointeja tekevät järjestelmät ovat kovin karkeita, ne eivät pysty tunnistamaan historiatieteen hienopiirteisiä viittausmenettelyjä.

Muitakin kysymyksiä herää. Onko perusteltua, että tiedejulkaisun toimitus käyttää niukkoja resurssejaan esimerkiksi tehdäkseen indeksointia jättimäisen, isoja voittoja tahkoavan yrityksen hyödyksi? Olisiko kuitenkin tärkeämpää, että keskitetään voimavarat siihen, mitä Kaplan peräänkuuluttaa – toimitusprosessiin ja hyvään palautteeseen, joka edistää tieteellistä keskustelua? Kuten Kaplan toteaa, kirjoittajille on tärkeää saada palautetta mahdollisimman ripeästi, toisin sanoen huomio pitäisi olla julkaisutyössä, ei sen hallinnoimisessa ja arvioinnissa.

Kaplan palauttaa haastattelussa mieleen tieteellisen julkaisemisen olennaisimmat tavoitteet: tieteellisiä tuloksia tulee esittää ja julkaista ymmärrettävässä muodossa. Tieteellisen julkaisun päätoimittajasta on tavattoman rauhoittavaa ja voimaannuttavaa palauttaa mieleensä tämä seikka. Vielä kun keksisimme keinot, joilla rahoitus ja voimavarat parhaiten ohjattaisiin tähän ydintehtävään, ei kaikenlaiseen sijais- ja metatoimintaan.

ANU LAHTINEN
Takaisin ylös ↑

Susanna Nykyri
Susanna Nykyri

Susanna Nykyri on johtava tietoasiantuntija Tampereen teknillisen yliopiston kirjastossa, Informaatiotutkimus-lehden päätoimittaja sekä Suomen tieteellisen kirjastoseuran (STKS) hallituksen jäsen ja Tieteellisten seurain valtuuskunnan (TSV) hallituksen varajäsen.

Vastuunkantajia on monia

David Kaplan nostaa haastattelussaan esille useita sellaisia ongelmia ja uhkia, joiden ratkaisemiseksi olisi jo nyt tehtävissä paljonkin – jos vain on riittävästi toimijoita.

Kotimainen julkaisukenttämme eroaa joiltain osin suuresti kansainvälisestä kentästä. Meillä tiedelehtijulkaiseminen toteutuu pitkälti voittoa tavoittelemattomien tiedeseurojen toimesta. Kotimaisessa tiedelehtijulkaisemisessa koen keskeisimmäksi ongelmaksi avointa julkaisemista riittävästi suosivan rahoitusmallin puuttumisen ja toivonkin, että opetus- ja kulttuuriministeriö varmistaa sille muusta kilpailusta vapaan erillisrahoituksen.

Yliopistokirjastot tekevät paljon työtä myös Green Open Accessin eteen eli saattaakseen maksumuurin takana olevat artikkelien rinnakkaistallenteet julkaisuarkistojensa kautta kaikille avoimesti ja pysyvästi saataville. Tähän tarvitaan myös tutkijoiden aktiivisuutta, sillä kaikki julkaisut eivät ole haravoitavissa, ja tutkijoiden ja muiden tiedelehdissä julkaisevien tulisi kantaa kattavammin tallennusvastuuta tausta-organisaatioidensa tutkimustietojärjestelmiin. Sellaiset yhteisölliset alustat kuin ResearchGate ja Academia.edu eivät täytä tätä tehtävää ollessaan paitsi suljettuja, myös pysyväissaatavuuden ja maksuttomuuden kannalta epävarmoja alustoja. Nykyään julkaisuarkistojen rinnakkaistallenteet ovat hyvin löydettävissä esimerkiksi googlaamalla ja Unpaywall-selainlaajennuksen kautta, mutta tällöin kirjoituksia hakevien täytyy valmiiksi tietää, mitä kaipaavat. Lehdillä on edelleen tärkeä merkitys muun muassa tietyn tieteenalan ja/tai aihepiirin sisältöjen aktiivisina esille tuojina.

Yliopistokirjastojen tehtäviin lukeutuu lisäksi sen selvittäminen, minkä version artikkelista kustantajataho sallii rinnakkaistallentaa. Niin sanotun vihreän tien (Green Open Access) isona ongelmana pidän sitä, että kaikki lehdet eivät salli vertaisarvioidun version riittävän nopeaa rinnakkaistallentamista. Tästä ei voi kuitenkaan vastuuttaa yksin kustantajia – toimintakulttuuria ja linjauksia ohjaavat osaltaan myös käsikirjoituksia lehdille tarjoavat ja toimituskunnissa toimivat tutkijat.

Kaplan nostaa esille lehtien vaikuttavuuskertoimien ongelmallisuuden. Ne ansaitsevatkin mielestäni kritiikkiä, mutta ovat nähdäkseni silti yleistä mainettaan käyttökelpoisempia. Niiden käytön on kuitenkin oltava ammattimaista ja eettistä. Tähän lukeutuu se, että otetaan huomioon muun muassa tieteenalakohtaiset viittauskäytännöt, ja että lehden arviointiin kehitettyjä indikaattoreita ei käytetä yksittäisten tutkijoiden arviointiin. Sama koskee julkaisufoorumijärjestelmää, jossa tieteelliset aikakauslehdet, konferenssit ja kustantajat tasoluokitetaan sen mukaan, miten tiedeyhteisönsä niitä arvostaa. Suomessa tällainen tieteenaloittaisten paneelien suorittama laadullinen arviointi hyödyttää kaikkia tieteenaloja eikä kohdistu vain niihin, joiden julkaisutoiminta on hyvin katettuna Scopus- tai Web of Science -tietokannassa. Vaan kuinka moni tutkija osallistuu tämän luokituksen syntyyn laittamalla paneeleille siitä palautetta ja kehitysehdotuksia? – Vaikuttaminen on aktiivista ja hyvin perusteltua toimintaa.

Niin kotimaisilta kuin kansainvälisiltä yliopistoilta ja tutkimusrahoittajilta toivoisin arvioinnin läpinäkyvyyden lisäämistä ja avointa ja selkeää sitoutumista julkaisuperustaista arviointia koskeviin eettisiin säännöksiin. Konkreettinen teko olisi allekirjoittaa DORA-julistus (San Francisco Declaration on Research Assessment, URL: https://sfdora.org/). Julistuksen alullepanija on Yhdysvaltain solubiologien yhdistys yhteistyössä eri alojen tutkijoiden, tieteellisten yhdistysten ja tiedetoimittajien kanssa. Julistuksen on tällä hetkellä (22.4.2018) allekirjoittanut 471 organisaatiota ja 12000 henkilöä.

Tiedeyhteisö käy viljalti keskustelua Kaplanin esille nostamista asioista. Esimerkiksi Suomessa No deal, no review –kampanja, joka toteutettiin vastalauseena erityisesti kustannusjätti Elsevierin kestämättömälle hinnoittelupolitiikalle, sai taakseen reilu 2800 allekirjoittajaa.

Voisimmeko me itse kukin tehdä enemmän ja/tai eri tavalla edistääksemme niin tiedejulkaisemisen avoimuutta kuin laatua? Entä perehdymmekö me kirjoittajina lehtien linjauksiin ja kustannussopimuksiin riittävästi etukäteen, jo miettiessämme käsikirjoituksen tarjoamista?

SUSANNA NYKYRI
Takaisin ylös ↑