Att bedöma skriftliga färdigheter i svenska med hjälp av en nivåskala: hur skillnader mellan bedömare uppstår - Juutilainen, Miia (2011)
Tutkielman tarkoituksena on selvittää, kuinka neljä kokenutta kielitaidon arvioijaa arvioi suomenkielisen yläasteopiskelijan kirjoittaman ruotsinkielisen kirjoitelman käyttäen apunaan Opetushallituksen kielitaidon tasojen kuvausasteikkoa. Tavoitteena on selvittää, missä määrin arvioijat tukeutuvat taitotasoasteikkoon arvioidessaan kirjoitelmaa, millä asteikkoon kuuluvilla tai kuulumattomilla kriteereillä he useimmin perustelevat valintansa sekä miksi arvioijat arvioivat kirjoitelman eri tavoin. Analysoitavaksi kirjoitelmaksi valittiin sellainen, jolle arvioijat määräsivät eri tasoja: kaksi päätyi A2.1:een, yksi A1.3:een ja yksi A2.2:een. Tutkimusmetodina käytettiin puolistrukturoitua teemahaastattelua sekä haastatteluaineiston kvalitatiivista analyysia. Tulokseksi saatiin, että kaikki arvioijat perustelivat tasovalintansa sekä sellaisilla kriteereillä, jotka kuuluivat tasokuvauksiin että sellaisilla perusteilla, jotka eivät suoranaisesti liittyneet taitotasoasteikkoon. Suuria eroja siinä, missä määrin arvioijat tukeutuivat tai eivät tukeutuneet taitotasoasteikkoon, ei ollut. Eroavaisuuksia syntyi lähinnä siinä, kuinka ratkaisevia asteikon ulkopuoliset kriteerit tietyn taitotason valinnalle olivat. Arvioijat perustivat tasovalintansa useimmin aikamuoto- ja verbintaivutusseikkoihin, ymmärrettävyyteen, virheisiin, sanastollisiin tekijöihin, alisteisten ja rinnasteisten lausetyyppien hallitsemiseen sekä muiden kielten siirtovaikutukseen. Huomattavaa on, etteivät sisällölliset tai kieliopilliset seikat hallinneet arvioijien perusteluja. Yleisimmin asteikon ulkopuolisista kriteereistä viitattiin siirtovaikutukseen, vaihtelevien lauserakenteiden käyttämiseen sekä ymmärrettävyyteen, joista jälkimmäiseen kaikki neljä arvioijaa tukeutuivat. Eroavaisuudet taitotason määrittämisessä selittyvät sillä, että arvioijat tulkitsivat taitotasokuvauksia eri tavoin. Arvioijat myös painottivat vaihtelevassa määrin joko kirjoitelman vahvuuksia tai heikkouksia siten, että vahvuuksia painottavat arvioijat määräsivät kirjoitelmalle paremman taitotason kuin heikkouksia painottava. Mahdollista myös on, että yksi arvioijista jätti huomiotta sellaisen myönnytyksen taitotasokuvauksissa, joka oli ratkaiseva kolmen muun arvioijan ratkaisulle. Tutkielman pääasiallinen päätelmä on, että vaikka arvioijat arvioivat kirjoitelman vaihtelevin taitotasoin, perustelivat he valintansa suhteellisen yhdenmukaisesti. Pienet erot tasokuvauksien tulkinnassa sekä vahvuuksien tai heikkouksien painottamisessa aiheuttivat kuitenkin sen, etteivät arvioijat olleet yhdenmukaisia annetun tason suhteen.