Tarkkaavaisuusmekanismien kehittyminen neuroverkkokääntämisessä

Tämä kandidaatintutkielma on toteutettu kirjallisuuskatsauksena, jossa tutkitaan tarkkaavaisuusmekanismeja neuroverkkokääntämisessä. Tarkoituksena on selvittää, miten tarkkaavaisuusmekanismit ovat kehittyneet vuodesta 2015. Tarkasteltavina osa-alueina ovat käännösten laadun, arkkitehtuuristen erojen...

Full description

Bibliographic Details
Main Author: Lehrbäck, Juuso
Other Authors: Informaatioteknologian tiedekunta, Faculty of Information Technology, Informaatioteknologia, Information Technology, Jyväskylän yliopisto, University of Jyväskylä
Format: Bachelor's thesis
Language:fin
Published: 2023
Subjects:
Online Access: https://jyx.jyu.fi/handle/123456789/87977
_version_ 1826225800538488832
author Lehrbäck, Juuso
author2 Informaatioteknologian tiedekunta Faculty of Information Technology Informaatioteknologia Information Technology Jyväskylän yliopisto University of Jyväskylä
author_facet Lehrbäck, Juuso Informaatioteknologian tiedekunta Faculty of Information Technology Informaatioteknologia Information Technology Jyväskylän yliopisto University of Jyväskylä Lehrbäck, Juuso Informaatioteknologian tiedekunta Faculty of Information Technology Informaatioteknologia Information Technology Jyväskylän yliopisto University of Jyväskylä
author_sort Lehrbäck, Juuso
datasource_str_mv jyx
description Tämä kandidaatintutkielma on toteutettu kirjallisuuskatsauksena, jossa tutkitaan tarkkaavaisuusmekanismeja neuroverkkokääntämisessä. Tarkoituksena on selvittää, miten tarkkaavaisuusmekanismit ovat kehittyneet vuodesta 2015. Tarkasteltavina osa-alueina ovat käännösten laadun, arkkitehtuuristen erojen ja tehokkuuden kehittyminen. Tulosten perusteella tarkkaavaisuusmekanismieja hyödynnetään laajemmin, ja niiden avulla saadaan entistä parempia käännöksiä. Lisäksi mekanismit ovat monipuolistuneet ja monimutkaistuneet, mutta niitä on mahdollista tehostaa eri keinoin. This bachelor's thesis is carried out as a literature review and it researches attention mechanisms in neural machine translation. The purpose of this thesis is to find out how attention mechanisms have evolved since 2015. More precisely, this paper concentrates on the progress in translation quality, efficiency and architectural differences. According to the results, attention mechanisms are used more widely within NMT architectures and they have contributed to the improvement in translation quality. Additionally, these mechanisms have become more diverse and complicated, but they can be made more efficient.
first_indexed 2023-06-21T20:14:11Z
format Kandityö
free_online_boolean 1
fullrecord [{"key": "dc.contributor.advisor", "value": "Rossi, Tuomo", "language": "", "element": "contributor", "qualifier": "advisor", "schema": "dc"}, {"key": "dc.contributor.author", "value": "Lehrb\u00e4ck, Juuso", "language": "", "element": "contributor", "qualifier": "author", "schema": "dc"}, {"key": "dc.date.accessioned", "value": "2023-06-21T07:04:25Z", "language": null, "element": "date", "qualifier": "accessioned", "schema": "dc"}, {"key": "dc.date.available", "value": "2023-06-21T07:04:25Z", "language": null, "element": "date", "qualifier": "available", "schema": "dc"}, {"key": "dc.date.issued", "value": "2023", "language": "", "element": "date", "qualifier": "issued", "schema": "dc"}, {"key": "dc.identifier.uri", "value": "https://jyx.jyu.fi/handle/123456789/87977", "language": null, "element": "identifier", "qualifier": "uri", "schema": "dc"}, {"key": "dc.description.abstract", "value": "T\u00e4m\u00e4 kandidaatintutkielma on toteutettu kirjallisuuskatsauksena, jossa tutkitaan tarkkaavaisuusmekanismeja neuroverkkok\u00e4\u00e4nt\u00e4misess\u00e4. Tarkoituksena on selvitt\u00e4\u00e4, miten tarkkaavaisuusmekanismit ovat kehittyneet vuodesta 2015. Tarkasteltavina osa-alueina ovat k\u00e4\u00e4nn\u00f6sten laadun, arkkitehtuuristen erojen ja tehokkuuden kehittyminen. Tulosten perusteella tarkkaavaisuusmekanismieja hy\u00f6dynnet\u00e4\u00e4n laajemmin, ja niiden avulla saadaan entist\u00e4 parempia k\u00e4\u00e4nn\u00f6ksi\u00e4. Lis\u00e4ksi mekanismit ovat monipuolistuneet ja monimutkaistuneet, mutta niit\u00e4 on mahdollista tehostaa eri keinoin.", "language": "fi", "element": "description", "qualifier": "abstract", "schema": "dc"}, {"key": "dc.description.abstract", "value": "This bachelor's thesis is carried out as a literature review and it researches attention mechanisms in neural machine translation. The purpose of this thesis is to find out how attention mechanisms have evolved since 2015. More precisely, this paper concentrates on the progress in translation quality, efficiency and architectural differences. According to the results, attention mechanisms are used more widely within NMT architectures and they have contributed to the improvement in translation quality. Additionally, these mechanisms have become more diverse and complicated, but they can be made more efficient.", "language": "en", "element": "description", "qualifier": "abstract", "schema": "dc"}, {"key": "dc.description.provenance", "value": "Submitted by Paivi Vuorio (paelvuor@jyu.fi) on 2023-06-21T07:04:25Z\nNo. of bitstreams: 0", "language": "en", "element": "description", "qualifier": "provenance", "schema": "dc"}, {"key": "dc.description.provenance", "value": "Made available in DSpace on 2023-06-21T07:04:25Z (GMT). No. of bitstreams: 0\n Previous issue date: 2023", "language": "en", "element": "description", "qualifier": "provenance", "schema": "dc"}, {"key": "dc.format.extent", "value": "25", "language": "", "element": "format", "qualifier": "extent", "schema": "dc"}, {"key": "dc.language.iso", "value": "fin", "language": null, "element": "language", "qualifier": "iso", "schema": "dc"}, {"key": "dc.rights", "value": "In Copyright", "language": "en", "element": "rights", "qualifier": null, "schema": "dc"}, {"key": "dc.subject.other", "value": "tarkkaavaisuusmekanismit", "language": "", "element": "subject", "qualifier": "other", "schema": "dc"}, {"key": "dc.subject.other", "value": "neuroverkkok\u00e4\u00e4nt\u00e4minen", "language": "", "element": "subject", "qualifier": "other", "schema": "dc"}, {"key": "dc.subject.other", "value": "NMT", "language": "", "element": "subject", "qualifier": "other", "schema": "dc"}, {"key": "dc.title", "value": "Tarkkaavaisuusmekanismien kehittyminen neuroverkkok\u00e4\u00e4nt\u00e4misess\u00e4", "language": "", "element": "title", "qualifier": null, "schema": "dc"}, {"key": "dc.type", "value": "bachelor thesis", "language": null, "element": "type", "qualifier": null, "schema": "dc"}, {"key": "dc.identifier.urn", "value": "URN:NBN:fi:jyu-202306214029", "language": "", "element": "identifier", "qualifier": "urn", "schema": "dc"}, {"key": "dc.type.ontasot", "value": "Bachelor's thesis", "language": "en", "element": "type", "qualifier": "ontasot", "schema": "dc"}, {"key": "dc.type.ontasot", "value": "Kandidaatinty\u00f6", "language": "fi", "element": "type", "qualifier": "ontasot", "schema": "dc"}, {"key": "dc.contributor.faculty", "value": "Informaatioteknologian tiedekunta", "language": "fi", "element": "contributor", "qualifier": "faculty", "schema": "dc"}, {"key": "dc.contributor.faculty", "value": "Faculty of Information Technology", "language": "en", "element": "contributor", "qualifier": "faculty", "schema": "dc"}, {"key": "dc.contributor.department", "value": "Informaatioteknologia", "language": "fi", "element": "contributor", "qualifier": "department", "schema": "dc"}, {"key": "dc.contributor.department", "value": "Information Technology", "language": "en", "element": "contributor", "qualifier": "department", "schema": "dc"}, {"key": "dc.contributor.organization", "value": "Jyv\u00e4skyl\u00e4n yliopisto", "language": "fi", "element": "contributor", "qualifier": "organization", "schema": "dc"}, {"key": "dc.contributor.organization", "value": "University of Jyv\u00e4skyl\u00e4", "language": "en", "element": "contributor", "qualifier": "organization", "schema": "dc"}, {"key": "dc.subject.discipline", "value": "Tietotekniikka", "language": "fi", "element": "subject", "qualifier": "discipline", "schema": "dc"}, {"key": "dc.subject.discipline", "value": "Mathematical Information Technology", "language": "en", "element": "subject", "qualifier": "discipline", "schema": "dc"}, {"key": "yvv.contractresearch.funding", "value": "0", "language": "", "element": "contractresearch", "qualifier": "funding", "schema": "yvv"}, {"key": "dc.type.coar", "value": "http://purl.org/coar/resource_type/c_7a1f", "language": null, "element": "type", "qualifier": "coar", "schema": "dc"}, {"key": "dc.rights.accesslevel", "value": "openAccess", "language": null, "element": "rights", "qualifier": "accesslevel", "schema": "dc"}, {"key": "dc.type.publication", "value": "bachelorThesis", "language": null, "element": "type", "qualifier": "publication", "schema": "dc"}, {"key": "dc.subject.oppiainekoodi", "value": "602", "language": "", "element": "subject", "qualifier": "oppiainekoodi", "schema": "dc"}, {"key": "dc.subject.yso", "value": "koneoppiminen", "language": null, "element": "subject", "qualifier": "yso", "schema": "dc"}, {"key": "dc.subject.yso", "value": "neuroverkot", "language": null, "element": "subject", "qualifier": "yso", "schema": "dc"}, {"key": "dc.subject.yso", "value": "teko\u00e4ly", "language": null, "element": "subject", "qualifier": "yso", "schema": "dc"}, {"key": "dc.subject.yso", "value": "konek\u00e4\u00e4nt\u00e4minen", "language": null, "element": "subject", "qualifier": "yso", "schema": "dc"}, {"key": "dc.rights.url", "value": "https://rightsstatements.org/page/InC/1.0/", "language": null, "element": "rights", "qualifier": "url", "schema": "dc"}]
id jyx.123456789_87977
language fin
last_indexed 2025-02-18T10:56:01Z
main_date 2023-01-01T00:00:00Z
main_date_str 2023
online_boolean 1
online_urls_str_mv {"url":"https:\/\/jyx.jyu.fi\/bitstreams\/01d1c953-d0d9-4e0c-8b36-d20a136d53ca\/download","text":"URN:NBN:fi:jyu-202306214029.pdf","source":"jyx","mediaType":"application\/pdf"}
publishDate 2023
record_format qdc
source_str_mv jyx
spellingShingle Lehrbäck, Juuso Tarkkaavaisuusmekanismien kehittyminen neuroverkkokääntämisessä tarkkaavaisuusmekanismit neuroverkkokääntäminen NMT Tietotekniikka Mathematical Information Technology 602 koneoppiminen neuroverkot tekoäly konekääntäminen
title Tarkkaavaisuusmekanismien kehittyminen neuroverkkokääntämisessä
title_full Tarkkaavaisuusmekanismien kehittyminen neuroverkkokääntämisessä
title_fullStr Tarkkaavaisuusmekanismien kehittyminen neuroverkkokääntämisessä Tarkkaavaisuusmekanismien kehittyminen neuroverkkokääntämisessä
title_full_unstemmed Tarkkaavaisuusmekanismien kehittyminen neuroverkkokääntämisessä Tarkkaavaisuusmekanismien kehittyminen neuroverkkokääntämisessä
title_short Tarkkaavaisuusmekanismien kehittyminen neuroverkkokääntämisessä
title_sort tarkkaavaisuusmekanismien kehittyminen neuroverkkokääntämisessä
title_txtP Tarkkaavaisuusmekanismien kehittyminen neuroverkkokääntämisessä
topic tarkkaavaisuusmekanismit neuroverkkokääntäminen NMT Tietotekniikka Mathematical Information Technology 602 koneoppiminen neuroverkot tekoäly konekääntäminen
topic_facet 602 Mathematical Information Technology NMT Tietotekniikka konekääntäminen koneoppiminen neuroverkkokääntäminen neuroverkot tarkkaavaisuusmekanismit tekoäly
url https://jyx.jyu.fi/handle/123456789/87977 http://www.urn.fi/URN:NBN:fi:jyu-202306214029
work_keys_str_mv AT lehrbäckjuuso tarkkaavaisuusmekanismienkehittyminenneuroverkkokääntämisessä