Kalvosulkeisista kokonaisvaltaiseksi elämykseksi : esitysgrafiikka- ja puhe-esitys multimodaalisena tekstinä - Tarvainen, Virpi (2016)
Esitysgrafiikkaesitysten hyödyntäminen on osa jokapäiväisiä rutiineja hyvin monenlaisissa organisaatioissa. Tutkimusta tällaisten puheen havainnollistamismateriaaliksi luotujen diaesitysten käytöstä on Suomessa tehty kuitenkin hyvin vähän suhteessa siihen, kuinka laajalti niitä eri yhteyksissä käytetään. Tässä tutkielmassa huomio kohdistetaan puhe-esityksen ja sen havainnollistamismateriaalina esitetyn esitysgrafiikkaesityksen yhteistoimintaan. Ensimmäinen tutkimuskysymykseni on, kuinka puhe ja sitä havainnollistava esitysgrafiikkaesitys rakentuvat yhdessä multimodaaliseksi tekstiksi. Tarkentavina alakysymyksinä ensimmäisessä tutkimuskysymyksessäni on, (1) millaisin kielellisin ja visuaalisin keinoin puhetta ja dioja rakennetaan yhdeksi kokonaisuudeksi sekä (2) millaisin muunlaisin keinoin yhtenäisyyttä rakennetaan. Toinen tutkimuskysymykseni käsittelee sitä, mikä on diaesityksen funktio esitystilanteessa. Ensimmäiseen tutkimuskysymykseen vastaan erittelemällä niitä keinoja, joilla yhtä aikaa esitettyjä visuaalisia, auditiivisia, kielellisiä ja ei-kielellisiä elementtejä rakennetaan ymmärrettäväksi, monikanavaiseksi kokonaisuudeksi. Multimodaalisuuden rakentumisen kartoittamisen jatkumona toiseen tutkimuskysymykseen vastaan analysoimalla, millaisissa tehtävissä diaesitys esitystilanteessa toimii. Tutkimus sijoittuu funktionaalisen kielentutkimuksen kenttään. Tutkimusmenetelminä käytän toisiinsa kietoutuvaa laadullista tekstianalyysia sekä systeemis-funktionaalisesta teoriasta ponnistavaa multimodaalisuuden tutkimusta. Aineistona tutkimuksessa on kuusi esitystilannetta: avoimen aikuisopiston oppitunti, yliopiston luento sekä neljän eri puhujan markkinointiseminaariesitykset. Puhe- ja esitysgrafiikkaesityksen multimodaaliseksi kokonaisuudeksi rakentamisen keinot aineistossani jakautuvat kolmeen luokkaan: 1) kielellisiin, 2) visuaalisiin sekä 3) muihin, kuten luokittelemattomiin tai useita ulottuvuuksia samanaikaisesti yhdisteleviin keinoihin. Luokkaan 1) kuuluvia kielellisiä yhtenäisyyden rakentamisen keinoja ovat dian ja puheen kielellisten ainesten sanastolliset ja semanttiset yhteneväisyydet sekä puheessa esiintyvät viittaukset diaan tai dialla näkyvään. Luokan 2) visuaalisin keinoin yhtenäisyyttä rakennetaan puhujaan liittyvillä tekijöillä, kuten puhujan eleillä, esimerkiksi kädellä viittaamalla diaa kohti sekä dialla näkyviä kuvia tai muita visuaalisia elementtejä eri tavoin käsittelemällä puhutussa aineksessa. Luokan 3) muita keinoja aineistossa oli kahta erilaista: yhtenäisyyden rakentaminen limittämällä eli käsittelemällä puheessa seuraavan dian elementtejä vielä edellisen dian ollessa näkyvillä sekä yhtenäisyyden rakentaminen esiintyjän vuoropuhelulla dian kanssa. Diaesityksen funktio hahmottuu kolmesta näkökulmasta: siitä, kuinka puhujat itse sanallistavat diaesityksen olemassaoloa ja tehtäviä, diaesityksen funktion suhteesta esityksen multimodaalisuuden rakentumiseen ja eri moodien välisiin suhteisiin sekä diaesityksen tehtävien ja sen tarjoamien hyötyjen suhteesta esitystilanteen ja sen kontekstin funktioihin. Diaesityksen tehtävissä on kolme ulottuvuutta: 1) Yleisölähtöiset diat vaikuttavat olevan ensisijaisesti tarjoamassa yleisölle valmiin rungon esityksestä ja pohjan muistiinpanoille. 2) Esiintyjälähtöiset diat taas ovat muistin tukena lähinnä esiintyjälle itselleen. 3) Esityslähtöiset diat eivät korostuneesti ole kumpaakaan edellä mainituista, vaan diat on tehty koko esityksen kokonaisuutta ajatellen ja sen tarpeista käsin. Esityslähtöisyyttä aineistossani on kahta erilaista: sellaista, jossa diaesityksen roolina on toimia jonkin puheen osan niin olennaisena havainnollistajana, ettei sitä olisi juuri mahdollista muuten ilmaista sekä sellaista, jossa dioja käytetään yleisön huomion kiinnittäjänä esimerkiksi korostamisen tai huumorin keinoin.