Fingerspelling English words in Finnish sign language context a multimodal view on interaction

Tämä pro gradu -tutkimus tarkastelee viittomakielisiä vuorovaikutustilanteita, joissa englanninkielinen sana sormitetaan sormiaakkosviittomin. Tutkimuksen tavoitteena on tarkastalle vuorovaikutuksen monikanavaisuutta ja -muotoisuutta sekä sormituksessa tapahtuvia rakenteellisia muutoksia. Tutkimu...

Full description

Bibliographic Details
Main Author: Tapio, Elina
Other Authors: Humanistinen tiedekunta, Faculty of Humanities, Kielten laitos, Department of Languages, University of Jyväskylä, Jyväskylän yliopisto
Format: Master's thesis
Language:eng
Published: 2012
Subjects:
Online Access: https://jyx.jyu.fi/handle/123456789/41001
_version_ 1826225763645390848
author Tapio, Elina
author2 Humanistinen tiedekunta Faculty of Humanities Kielten laitos Department of Languages University of Jyväskylä Jyväskylän yliopisto
author_facet Tapio, Elina Humanistinen tiedekunta Faculty of Humanities Kielten laitos Department of Languages University of Jyväskylä Jyväskylän yliopisto Tapio, Elina Humanistinen tiedekunta Faculty of Humanities Kielten laitos Department of Languages University of Jyväskylä Jyväskylän yliopisto
author_sort Tapio, Elina
datasource_str_mv jyx
description Tämä pro gradu -tutkimus tarkastelee viittomakielisiä vuorovaikutustilanteita, joissa englanninkielinen sana sormitetaan sormiaakkosviittomin. Tutkimuksen tavoitteena on tarkastalle vuorovaikutuksen monikanavaisuutta ja -muotoisuutta sekä sormituksessa tapahtuvia rakenteellisia muutoksia. Tutkimus on tehty etnografiseen tutkimusalaan sijoittuvan MDA:n (Mediated Discourse Analysis) viitekehyksessä. MDA on monimenetelmällinen lähestymistapa, joka tarkastelee sosiaalista toimintaan kokonaisvaltaisesti ottaen huomioon myös ei-kielelliset resurssit. Analysointimenetelmät on valittu tutkimuksen aineistoon ja tavoitteisiin soveltuviksi multimodaalisen vuorovaikutuksen, sosiaalisemiotiikan ja viittomakielen kielentutkimuksen menetelmistä. Tutkimuksen aineisto koostuu kolmesta videoidusta vuorovaikutustilanteesta nimeltään ’The Aviator’, ’Guitar’ ja ’Ultimatum’. Kaksi ensimmäistä kuvattiin videoneuvottelutilanteesta, joka oli osana englannin kielen kurssia. Kolmas, ’Ultimatum’ on videoitu kahden viittomakielisen vapaamuotoisesta keskustelusta. Videoneuvottelusta poimittujen tilanteiden analyysi keskittyy tarkastelemaan vuorovaikutuksen multimodaalisuutta, osallistujien valintoja kommunikoinnin välineiden välillä ja sormituksen muuttumista tilanteiden mukaan. ’Ultimatum’-aineistossa keskitytään yhden erisnimen kymmenen kertaa toistuvaan sormitukseen, sormituksen muuttumiseen ja sormituksen yhteydessä käytettyyn huulioon. ’The Aviatorin’ ja ’Guitarin’ analyysi tuo esille vuorovaikutuksessa käytetyt multimodaaliset resurssit sekä sen, kuinka osallistujat valitsevat eri ilmaisukeinojen välillä päästäkseen tavoitteisiinsa. Tilanteen fyysisellä ympäristöllä, tietokone- luokalla, ja käytettävissä olevalla teknologialla on vahva vaikutus vuorovaikutukseen: toimijat muokkaavat kommunikointivälineitään tilan ja teknologian tuomiin rajoituksiin ja mahdollisuuksiin. Myös ‘Ultimatum’-aineiston kymmenen kertaa toistuva sormitus käy läpi rakenteellisia muutoksia. Analyysin tulokset ovat yhteneviä Patrie & Johnsonin (2011) tutkimuksen kanssa: Sormittaminen tapahtuu eri tavoin sormituksen tavoitteen mukaisesti, hitaasti viittoma viittomalta, tarkasti sormittaen tai nopealla sormituksella, jolloin tapahtuu viittomien yhteensulautumista ja poisjättöä. Toistuva sormitus johtaa tilapäismuodosteeseen, leksikaalistuneeseen sormitukseen. Tämän lisäksi tutkimuksessa kokeillaan multimodaalisen aineiston erilaisia litterointimenetelmiä sekä pohditaan englannin kielen sanojen ilmenemismuotojen välisiä semioottisia suhteita. Kolmen vuorovaikutustilanteen tarkastelu tuo perusteltuja tutkimushypoteeseja sormituksen, viittomakielisen vuorovaikutuksen multimodaalisuuden sekä kielenoppimisen käytänteiden tutkimukselle. Kehitettäessä englannin kielen opetusta visuaalisista resursseista hyötyville oppijoille olisi erityisen tärkeää huomioida viittomakielisen yhteisö käytänteitä englannin kielen parissa. This research examines interactional situations in which the fingerspelling of English words occurs in a Finnish Sign Language (FinSL) context. It aims to explore, firstly, the multimodality of interaction when FinSL signers fingerspell English words, and secondly, how fingerspelling is modified in such situations. The research methodology used in the study, Mediated Discourse Analysis, is ethnographically oriented multi-method approach that focuses on social action more broadly than previous text and discourse studies. Analytical tools derived from multimodal interaction analysis, social semiotics, and sign language linguistics were employed suit the data and the purpose of the study. That data includes three video recordings ‘The Aviator,’ ‘Guitar,’ and ‘Ultimatum.’ The first recordings, ‘The Aviator’ and ‘Guitar,’ were captured during a video conference that was part of an English course. The third recording is of a ‘coffee table’ FinSL conversation between two participants. The analysis of the first two situations focuses on the general multimodality of the situations and how the participants select from different communicative modes in order to achieve their goals, as well as the modification of fingerspelling. In ‘Ultimatum’ the focus of analysis is on ten instances of fingerspelling a proper name Jason, on the modification of the fingerspelled sequences and the mouthing in relation to signing. Analysis of ‘The Aviator’ and ‘Guitar,’ reveals a general multimodality of interaction and uncovers a relationship between fingerspelling and other modes available to the actors in those situations. The participants choose between different mediational means to successfully complete the task at hand. The physical place of the computer classroom and the technology in the situation rearranges the interaction. The situations also lead to adaptations in the internal structures of manual alphabet signs. In Ultimatum, the fingerspelled sequence changes drastically in structure throughout the ten repetitions. In addition, the study explores different ways of transcribing multimodal interaction, as well as discusses the semiotic relationships between different emergences (e.g. written, mouthed and fingerspelled) of English words in FinSL community. Close analysis of the three interactional situations provides grounded hypotheses for future study on fingerspelling, multimodality in signed interaction as well as to language learning practices among the sign language communities. The further aim is to highlight the social practices inside FinSL community when dealing with English, a foreign language, and to develop foreign language education for diverse learners.
first_indexed 2024-09-11T08:49:06Z
format Pro gradu
free_online_boolean 1
fullrecord [{"key": "dc.contributor.author", "value": "Tapio, Elina", "language": null, "element": "contributor", "qualifier": "author", "schema": "dc"}, {"key": "dc.date.accessioned", "value": "2013-02-28T11:47:15Z", "language": null, "element": "date", "qualifier": "accessioned", "schema": "dc"}, {"key": "dc.date.available", "value": "2013-02-28T11:47:15Z", "language": null, "element": "date", "qualifier": "available", "schema": "dc"}, {"key": "dc.date.issued", "value": "2012", "language": null, "element": "date", "qualifier": "issued", "schema": "dc"}, {"key": "dc.identifier.other", "value": "oai:jykdok.linneanet.fi:1254968", "language": null, "element": "identifier", "qualifier": "other", "schema": "dc"}, {"key": "dc.identifier.uri", "value": "https://jyx.jyu.fi/handle/123456789/41001", "language": null, "element": "identifier", "qualifier": "uri", "schema": "dc"}, {"key": "dc.description.abstract", "value": "T\u00e4m\u00e4 pro gradu -tutkimus tarkastelee viittomakielisi\u00e4 vuorovaikutustilanteita, joissa englanninkielinen sana sormitetaan sormiaakkosviittomin. Tutkimuksen tavoitteena on tarkastalle vuorovaikutuksen monikanavaisuutta ja -muotoisuutta sek\u00e4 sormituksessa tapahtuvia rakenteellisia muutoksia.\r\n\r\nTutkimus on tehty etnografiseen tutkimusalaan sijoittuvan MDA:n (Mediated Discourse Analysis) viitekehyksess\u00e4. MDA on monimenetelm\u00e4llinen l\u00e4hestymistapa, joka tarkastelee sosiaalista toimintaan kokonaisvaltaisesti ottaen huomioon my\u00f6s ei-kielelliset resurssit. Analysointimenetelm\u00e4t on valittu tutkimuksen aineistoon ja tavoitteisiin soveltuviksi multimodaalisen vuorovaikutuksen, sosiaalisemiotiikan ja viittomakielen kielentutkimuksen menetelmist\u00e4.\r\n\r\nTutkimuksen aineisto koostuu kolmesta videoidusta vuorovaikutustilanteesta nimelt\u00e4\u00e4n \u2019The Aviator\u2019, \u2019Guitar\u2019 ja \u2019Ultimatum\u2019. Kaksi ensimm\u00e4ist\u00e4 kuvattiin videoneuvottelutilanteesta, joka oli osana englannin kielen kurssia. Kolmas, \u2019Ultimatum\u2019 on videoitu kahden viittomakielisen vapaamuotoisesta keskustelusta. Videoneuvottelusta poimittujen tilanteiden analyysi keskittyy tarkastelemaan vuorovaikutuksen multimodaalisuutta, osallistujien valintoja kommunikoinnin v\u00e4lineiden v\u00e4lill\u00e4 ja sormituksen muuttumista tilanteiden mukaan. \u2019Ultimatum\u2019-aineistossa keskityt\u00e4\u00e4n yhden erisnimen kymmenen kertaa toistuvaan sormitukseen, sormituksen muuttumiseen ja sormituksen yhteydess\u00e4 k\u00e4ytettyyn huulioon.\r\n\r\n\u2019The Aviatorin\u2019 ja \u2019Guitarin\u2019 analyysi tuo esille vuorovaikutuksessa k\u00e4ytetyt multimodaaliset resurssit sek\u00e4 sen, kuinka osallistujat valitsevat eri ilmaisukeinojen v\u00e4lill\u00e4 p\u00e4\u00e4st\u00e4kseen tavoitteisiinsa. Tilanteen fyysisell\u00e4 ymp\u00e4rist\u00f6ll\u00e4, tietokone- luokalla, ja k\u00e4ytett\u00e4viss\u00e4 olevalla teknologialla on vahva vaikutus vuorovaikutukseen: toimijat muokkaavat kommunikointiv\u00e4lineit\u00e4\u00e4n tilan ja teknologian tuomiin rajoituksiin ja mahdollisuuksiin. My\u00f6s \u2018Ultimatum\u2019-aineiston kymmenen kertaa toistuva sormitus k\u00e4y l\u00e4pi rakenteellisia muutoksia. Analyysin tulokset ovat yhtenevi\u00e4 Patrie & Johnsonin (2011) tutkimuksen kanssa: Sormittaminen tapahtuu eri tavoin sormituksen tavoitteen mukaisesti, hitaasti viittoma viittomalta, tarkasti sormittaen tai nopealla sormituksella, jolloin tapahtuu viittomien yhteensulautumista ja poisj\u00e4tt\u00f6\u00e4. Toistuva sormitus johtaa tilap\u00e4ismuodosteeseen, leksikaalistuneeseen sormitukseen. T\u00e4m\u00e4n lis\u00e4ksi tutkimuksessa kokeillaan multimodaalisen aineiston erilaisia litterointimenetelmi\u00e4 sek\u00e4 pohditaan englannin kielen sanojen ilmenemismuotojen v\u00e4lisi\u00e4 semioottisia suhteita.\r\n\r\nKolmen vuorovaikutustilanteen tarkastelu tuo perusteltuja tutkimushypoteeseja sormituksen, viittomakielisen vuorovaikutuksen multimodaalisuuden sek\u00e4 kielenoppimisen k\u00e4yt\u00e4nteiden tutkimukselle. Kehitett\u00e4ess\u00e4 englannin kielen opetusta visuaalisista resursseista hy\u00f6tyville oppijoille olisi erityisen t\u00e4rke\u00e4\u00e4 huomioida viittomakielisen yhteis\u00f6 k\u00e4yt\u00e4nteit\u00e4 englannin kielen parissa.", "language": "fi", "element": "description", "qualifier": "abstract", "schema": "dc"}, {"key": "dc.description.abstract", "value": "This research examines interactional situations in which the fingerspelling of English words occurs in a Finnish Sign Language (FinSL) context. It aims to explore, firstly, the multimodality of interaction when FinSL signers fingerspell English words, and secondly, how fingerspelling is modified in such situations. \r\nThe research methodology used in the study, Mediated Discourse Analysis, is ethnographically oriented multi-method approach that focuses on social action more broadly than previous text and discourse studies. Analytical tools derived from multimodal interaction analysis, social semiotics, and sign language linguistics were employed suit the data and the purpose of the study.\r\nThat data includes three video recordings \u2018The Aviator,\u2019 \u2018Guitar,\u2019 and \u2018Ultimatum.\u2019 The first recordings, \u2018The Aviator\u2019 and \u2018Guitar,\u2019 were captured during a video conference that was part of an English course. The third recording is of a \u2018coffee table\u2019 FinSL conversation between two participants. The analysis of the first two situations focuses on the general multimodality of the situations and how the participants select from different communicative modes in order to achieve their goals, as well as the modification of fingerspelling. In \u2018Ultimatum\u2019 the focus of analysis is on ten instances of fingerspelling a proper name Jason, on the modification of the fingerspelled sequences and the mouthing in relation to signing.\r\nAnalysis of \u2018The Aviator\u2019 and \u2018Guitar,\u2019 reveals a general multimodality of interaction and uncovers a relationship between fingerspelling and other modes available to the actors in those situations. The participants choose between different mediational means to successfully complete the task at hand. The physical place of the computer classroom and the technology in the situation rearranges the interaction. The situations also lead to adaptations in the internal structures of manual alphabet signs. In Ultimatum, the fingerspelled sequence changes drastically in structure throughout the ten repetitions. \r\nIn addition, the study explores different ways of transcribing multimodal interaction, as well as discusses the semiotic relationships between different emergences (e.g. written, mouthed and fingerspelled) of English words in FinSL community. Close analysis of the three interactional situations provides grounded hypotheses for future study on fingerspelling, multimodality in signed interaction as well as to language learning practices among the sign language communities. The further aim is to highlight the social practices inside FinSL community when dealing with English, a foreign language, and to develop foreign language education for diverse learners.", "language": "en", "element": "description", "qualifier": "abstract", "schema": "dc"}, {"key": "dc.description.provenance", "value": "Submitted using Plone Publishing form by Elina Tapio (elmamcca) on 2013-02-28 11:47:14.241690. Form: Pro gradu -lomake (1 tekij\u00e4) (https://kirjasto.jyu.fi/julkaisut/julkaisulomakkeet/pro-gradu-lomake-1-tekijae). JyX data:", "language": "en", "element": "description", "qualifier": "provenance", "schema": "dc"}, {"key": "dc.description.provenance", "value": "Submitted by jyx lomake-julkaisija (jyx-julkaisija@noreply.fi) on 2013-02-28T11:47:15Z\r\nNo. of bitstreams: 2\r\nURN:NBN:fi:jyu-201302281279.pdf: 6969078 bytes, checksum: abda4e8283b1ab95effeec692d8b2ca2 (MD5)\r\nlicense.html: 5027 bytes, checksum: a0a804e5f59c5ca872536359ba9ef4d8 (MD5)", "language": "en", "element": "description", "qualifier": "provenance", "schema": "dc"}, {"key": "dc.description.provenance", "value": "Made available in DSpace on 2013-02-28T11:47:15Z (GMT). No. of bitstreams: 2\r\nURN:NBN:fi:jyu-201302281279.pdf: 6969078 bytes, checksum: abda4e8283b1ab95effeec692d8b2ca2 (MD5)\r\nlicense.html: 5027 bytes, checksum: a0a804e5f59c5ca872536359ba9ef4d8 (MD5)\r\n Previous issue date: 2012", "language": "en", "element": "description", "qualifier": "provenance", "schema": "dc"}, {"key": "dc.format.extent", "value": "2 verkkoaineistoa (97 s., kesto 6:27 min)", "language": null, "element": "format", "qualifier": "extent", "schema": "dc"}, {"key": "dc.format.mimetype", "value": "application/pdf", "language": null, "element": "format", "qualifier": "mimetype", "schema": "dc"}, {"key": "dc.language.iso", "value": "eng", "language": null, "element": "language", "qualifier": "iso", "schema": "dc"}, {"key": "dc.rights", "value": "In Copyright", "language": "en", "element": "rights", "qualifier": null, "schema": "dc"}, {"key": "dc.subject.other", "value": "suomalainen viittomakieli", "language": null, "element": "subject", "qualifier": "other", "schema": "dc"}, {"key": "dc.subject.other", "value": "englannin kieli", "language": null, "element": "subject", "qualifier": "other", "schema": "dc"}, {"key": "dc.subject.other", "value": "sormittaminen", "language": null, "element": "subject", "qualifier": "other", "schema": "dc"}, {"key": "dc.subject.other", "value": "multimodaalinen vuorovaikutus", "language": null, "element": "subject", "qualifier": "other", "schema": "dc"}, {"key": "dc.title", "value": "Fingerspelling English words in Finnish sign language context : a multimodal view on interaction", "language": null, "element": "title", "qualifier": null, "schema": "dc"}, {"key": "dc.type", "value": "master thesis", "language": null, "element": "type", "qualifier": null, "schema": "dc"}, {"key": "dc.identifier.urn", "value": "URN:NBN:fi:jyu-201302281279", "language": null, "element": "identifier", "qualifier": "urn", "schema": "dc"}, {"key": "dc.type.dcmitype", "value": "Text", "language": "en", "element": "type", "qualifier": "dcmitype", "schema": "dc"}, {"key": "dc.type.ontasot", "value": "Pro gradu -tutkielma", "language": "fi", "element": "type", "qualifier": "ontasot", "schema": "dc"}, {"key": "dc.type.ontasot", "value": "Master\u2019s thesis", "language": "en", "element": "type", "qualifier": "ontasot", "schema": "dc"}, {"key": "dc.contributor.faculty", "value": "Humanistinen tiedekunta", "language": "fi", "element": "contributor", "qualifier": "faculty", "schema": "dc"}, {"key": "dc.contributor.faculty", "value": "Faculty of Humanities", "language": "en", "element": "contributor", "qualifier": "faculty", "schema": "dc"}, {"key": "dc.contributor.department", "value": "Kielten laitos", "language": "fi", "element": "contributor", "qualifier": "department", "schema": "dc"}, {"key": "dc.contributor.department", "value": "Department of Languages", "language": "en", "element": "contributor", "qualifier": "department", "schema": "dc"}, {"key": "dc.contributor.organization", "value": "University of Jyv\u00e4skyl\u00e4", "language": "en", "element": "contributor", "qualifier": "organization", "schema": "dc"}, {"key": "dc.contributor.organization", "value": "Jyv\u00e4skyl\u00e4n yliopisto", "language": "fi", "element": "contributor", "qualifier": "organization", "schema": "dc"}, {"key": "dc.subject.discipline", "value": "Suomalainen viittomakieli", "language": "fi", "element": "subject", "qualifier": "discipline", "schema": "dc"}, {"key": "dc.subject.discipline", "value": "Finnish Sign Language", "language": "en", "element": "subject", "qualifier": "discipline", "schema": "dc"}, {"key": "dc.date.updated", "value": "2013-02-28T11:47:15Z", "language": null, "element": "date", "qualifier": "updated", "schema": "dc"}, {"key": "dc.type.coar", "value": "http://purl.org/coar/resource_type/c_bdcc", "language": null, "element": "type", "qualifier": "coar", "schema": "dc"}, {"key": "dc.rights.accesslevel", "value": "openAccess", "language": "fi", "element": "rights", "qualifier": "accesslevel", "schema": "dc"}, {"key": "dc.type.publication", "value": "masterThesis", "language": null, "element": "type", "qualifier": "publication", "schema": "dc"}, {"key": "dc.subject.oppiainekoodi", "value": "317", "language": null, "element": "subject", "qualifier": "oppiainekoodi", "schema": "dc"}, {"key": "dc.subject.yso", "value": "suomalainen viittomakieli", "language": null, "element": "subject", "qualifier": "yso", "schema": "dc"}, {"key": "dc.subject.yso", "value": "englannin kieli", "language": null, "element": "subject", "qualifier": "yso", "schema": "dc"}, {"key": "dc.subject.yso", "value": "viittomakieli", "language": null, "element": "subject", "qualifier": "yso", "schema": "dc"}, {"key": "dc.subject.yso", "value": "multimodaalisuus", "language": null, "element": "subject", "qualifier": "yso", "schema": "dc"}, {"key": "dc.subject.yso", "value": "vuorovaikutus", "language": null, "element": "subject", "qualifier": "yso", "schema": "dc"}, {"key": "dc.format.content", "value": "fulltext", "language": null, "element": "format", "qualifier": "content", "schema": "dc"}, {"key": "dc.rights.url", "value": "https://rightsstatements.org/page/InC/1.0/", "language": null, "element": "rights", "qualifier": "url", "schema": "dc"}, {"key": "dc.type.okm", "value": "G2", "language": null, "element": "type", "qualifier": "okm", "schema": "dc"}]
id jyx.123456789_41001
language eng
last_indexed 2025-02-18T10:56:13Z
main_date 2012-01-01T00:00:00Z
main_date_str 2012
online_boolean 1
online_urls_str_mv {"url":"https:\/\/jyx.jyu.fi\/bitstreams\/0c69555c-bc63-42dd-bf33-4ad2bf476ed1\/download","text":"Tapio_Elina_tiivistelma.mp4","source":"jyx","mediaType":"video\/mp4"} {"url":"https:\/\/jyx.jyu.fi\/bitstreams\/dfd8885a-6909-4bec-af10-7770fce510b3\/download","text":"URN:NBN:fi:jyu-201302281279.pdf","source":"jyx","mediaType":"application\/pdf"}
publishDate 2012
record_format qdc
source_str_mv jyx
spellingShingle Tapio, Elina Fingerspelling English words in Finnish sign language context : a multimodal view on interaction suomalainen viittomakieli englannin kieli sormittaminen multimodaalinen vuorovaikutus Suomalainen viittomakieli Finnish Sign Language 317 viittomakieli multimodaalisuus vuorovaikutus
title Fingerspelling English words in Finnish sign language context : a multimodal view on interaction
title_full Fingerspelling English words in Finnish sign language context : a multimodal view on interaction
title_fullStr Fingerspelling English words in Finnish sign language context : a multimodal view on interaction Fingerspelling English words in Finnish sign language context : a multimodal view on interaction
title_full_unstemmed Fingerspelling English words in Finnish sign language context : a multimodal view on interaction Fingerspelling English words in Finnish sign language context : a multimodal view on interaction
title_short Fingerspelling English words in Finnish sign language context
title_sort fingerspelling english words in finnish sign language context a multimodal view on interaction
title_sub a multimodal view on interaction
title_txtP Fingerspelling English words in Finnish sign language context : a multimodal view on interaction
topic suomalainen viittomakieli englannin kieli sormittaminen multimodaalinen vuorovaikutus Suomalainen viittomakieli Finnish Sign Language 317 viittomakieli multimodaalisuus vuorovaikutus
topic_facet 317 Finnish Sign Language Suomalainen viittomakieli englannin kieli multimodaalinen vuorovaikutus multimodaalisuus sormittaminen suomalainen viittomakieli viittomakieli vuorovaikutus
url https://jyx.jyu.fi/handle/123456789/41001 http://www.urn.fi/URN:NBN:fi:jyu-201302281279
work_keys_str_mv AT tapioelina fingerspellingenglishwordsinfinnishsignlanguagecontextamultimodalviewoninteraction