Niin kutsuttu Shanghain lista on vuodesta 2003 julkaistu yliopistoranking, jossa Jiao Tong -yliopiston tutkijat asettavat mailman yliopistoja paremmuusjärjestykseen. Vuosittain julkaistava lista on tuttu uutisaihe mediassa ja myös yliopistot itse syynäävät sijoituksiaan listalla tarkasti. Listaan ja erityisesti sen laatimisperusteisiin on kuitenkin kohdistunut merkittävää ja perusteltua kritiikkiä. Siksi onkin vaikea ymmärtää, miksi niin tämä lista kuin monet muutkin yliopistorankingit saavat vuosi vuodelta enemmän huomiota.
Yksi perusteellinen kritiikki löytyy tutkijakolmikon Jean-Charles Billaut, Denis Bouyssou ja Philippe Vincke artikkelista Should you believe in the Shanghai ranking? (2009). Kolmikko perkaa listan laatimisperusteita ja päätyy tyrmäävään lopputulokseen: näin köykäisillä kriteereillä ja epäselvillä menetelmillä laadittu tutkimus saisi esimerkiksi graduna hylätyn arvosanan. Billaut'n ja kumppaneiden mukaan Shanghain listan laadintakriteerit eivät mittaa sitä mitä listalla yritetään tavoittaa; käytetyissä menetelmissä on lukuisia ongelmia eikä niiden osalta tehtyjä valintoja ole perusteltu; ja koko hanke kärsii perustavanlaatuisista vinoumista. Yliopistovertailussa käytetty aineisto ei myöskään ole julkisesti saatavilla, joten sen luotettavuutta on vaikea arvioida.
Billaut'n ja kumppaneiden ensimmäinen esimerkki listan ongelmallisista laadintakriteeristä on vertailun kohteena olevien yliopiston saamien Nobel-palkintojen ja Fieldsin mitaleiden määrä. Ensinnäkään Nobel- ja Fields- palkinnot eivät kata kaikkia tieteenaloja. Toiseksi Nobel-palkinto jaetaan usein elämäntyöstä vuosia sen jälkeen, kun palkintoon oikeuttavat tutkimukset on todellisuudessa tehty. Kriteeri siis mittaa ennemmin kyseisten instituutioiden mennyttä loistoa kuin niiden nykyisen koulutuksen laatua. Nobelin saanut tutkija on myös saattanut muuttaa urallaan yliopistosta toiseen.
Yhtä lailla ongelmallinen on Shanghain listan tapa laskea tutkimusartikkelien määrää ja eniten viitattuja tutkijoita. Se nimittäin tehdään yksinomaan Thomson Scientificin (joka siis on kaupallinen yritys) tietokantojen ja tieteenalaluokituksen pohjalta. Ensinnäkään kyseinen tietokanta ei kata kaikkia artikkeleja kaikilta tieteenaloilta - eikä juuri huomioi aloja, joilla kirjoitetaan artikkelien sijaan kirjoja tai muilla kielillä kuin englanniksi. Toiseksi käytetty tieteenalaluokitus, jossa tieteenalat jaetaan 21 kategoriaan, ei välttämättä palvele yliopistojen vertailua. Esimerkiksi biologia, kasvi- ja eläintiede, ekologia, mikrobiologia ja genetiikka luokitellaan kukin omaan kategoriaansa, mutta yhteiskuntatieteille kaikessa rikkaudessaan on vain yksi kategoria. Billaut'n ja kumppaneiden mukaan olisi täysin oikeutettua valita kyseiset tietokannat listan aineistoksi, jos valinnat perusteltaisiin ja niiden vaikutukset tuloksiin otettaisiin huomioon. Tätä Shanghain listan laatijat eivät kuitenkaan tee.
Mikä siis on hyvä yliopisto? Billaut ja kumppanit toteavat, että Shanghain listan mukaan se on yliopisto, joka on erinomainen tutkimuksessa - kapealla ja osin epärelevantilla tavalla mitattuna. Ranking ei myöskään huomio yliopistojen käytössä olevia panostuksia ja resursseja suhteessa tuloksiin, saati erilaisia institutionaalisia rajoitteita, joita yliopistoilla eri maissa on.
Billaut ja kumppanit myös rakentavat pelottavan skenaarion, jossa yliopistot lähtevät maksimoimaan sijoitustaan rankingissa. Ensin lakkautetaan oikeus-, humanistiset ja yhteiskuntatieteet, jotka eivät kohenna ranking-sijoitusta. Tästä säästyneille rahoilla ostetaan esimerkiksi lääketieteen ja biologian huippututkimusryhmiä, joilla on mahdollisuus saada Nobel-palkinto joskus tulevaisuudessa. Lopuksi yhdistetään kaikki näitä ryhmiä yhdessä maassa työllistävät pienet ja keskikokoiset yliopistot yhdeksi isoksi yksiköksi ja kas - listasijoitus kohenee!
Billaut'n ja kumppaneiden johtopäätös, jonka voi mielestämme yleistää mihin tahansa yliopistorankingiin, on yksinkertainen:
- Hyväksy, ettei ole olemassa mitään absoluuttisesti parasta yliopistoa
- Lopeta puhe rankingeista
- Lobbaa rankingpuheen täyskieltoa omassa yliopistossasi
- Jos työskentelet listalla hyvin sijoittuneessa yliopistossa, vältä kiusausta hyödyntää rankingin tarjoamaa ilmaista julkisuutta
Jo lapset tietävät, että jos lämpömittarin laittaa talon aurinkoiselle, mieluiten vielä mustalle tai tummalle, tuulelta suojassa olevalle betoniselle eteläseinälle, on Suomessakin aurinkoisina kesäpäivinä tyypillisesti 40-50*C helteitä. He tietävät, että mittareiden käytössä tulee olla huolellinen: Mittari kyllä aina antaa tuloksen, se on varmaa. Eri asia sitten on, onko saatu tulos likimainkaan se, mitä mittauksella haetaan...
VastaaPoistaIlmeisesti meidän managerialistiset johtajat ovat tämänkin asian unohtaneet. Rankingitkin ovat mittareita, aivan kuten julkaisulistat, impact factorit tai viittausindeksit. Niitä pitää osata käyttää oikein. Viittauksena lämpömittariesimerkkiin, tässä nyt halutaan yhdellä ainoalla lämpömittarilla mitata koko Helsingin lämpötila kauttaaltaan, yhdellä ainoalla mittauksella tietysti. Siis KOKO Helsingin, sisältäen siis kaikki kaupunginosat, kadut, metsät, saaret, parkkikset, porttikongit, sisäpihat...
Mittauksessa havaittiin ongelmia. Ongelmat ratkaistiin sitomalla mittaajan kertomat mittaustulokset bonuksiin. Mitä korkeampi lämpötila, sitä enemmän turisteja, järkeiltiin. Että he eivät enää pelkäisi Suomen kylmyyttä...
Mittaaja sijoitti anturin Vuosaaren voimalaitoksen uuniin. :) Bonukset olivat ennennäkemättömät ja johto tyytyväinen hienoihin tuloksiin.
Tämä sama ranking ajattelu tulee esiin vähän henkilökohtaisempana näiden viittausindeksien (H ja G-indeksi jne) ja niiden vastaavan pumppaamisen muodossa. Historiatietona ne varmaan usein onnistuvat indikoimaan merkityksellistä tutkimusta. Mutta kun tällaiset mittarit otetaan käyttöön toiminnan ohjaukseen, löytyy niiden nostamiseen erinäisiä epäterveitä oikoteita. Yritysmaailmassa puhutaa, esim. valtavan patettimassan luomisesta suojaamaan jotain tuotetta. Tutkijan sen sijaan tulee luoda valtava julkaisumassa samasta asiasta papreihinsa ristiin rastiin viittaillen. Väkisin siinä joku muukin erehtyy viittaamaan ja indeksit sitä kautta nousee.
VastaaPoista