Laajan kielimallin hyödyntäminen kuluttajaneuvonnan tapausten tiivistelmien tuottamisessa

Large language models, such as the GPT language models developed by OpenAI, have recently become widely known and popular, especially due to the success of ChatGPT. The popularity is justified, as these language models have become so advanced that they can be successfully utilized in various demandi...

Full description

Bibliographic Details
Main Author: Suovuori, Johan Kaarlo August
Other Authors: Faculty of Information Technology, Informaatioteknologian tiedekunta, University of Jyväskylä, Jyväskylän yliopisto
Format: Master's thesis
Language:fin
Published: 2024
Subjects:
Online Access: https://jyx.jyu.fi/handle/123456789/95940
_version_ 1826225731490807808
author Suovuori, Johan Kaarlo August
author2 Faculty of Information Technology Informaatioteknologian tiedekunta University of Jyväskylä Jyväskylän yliopisto
author_facet Suovuori, Johan Kaarlo August Faculty of Information Technology Informaatioteknologian tiedekunta University of Jyväskylä Jyväskylän yliopisto Suovuori, Johan Kaarlo August Faculty of Information Technology Informaatioteknologian tiedekunta University of Jyväskylä Jyväskylän yliopisto
author_sort Suovuori, Johan Kaarlo August
datasource_str_mv jyx
description Large language models, such as the GPT language models developed by OpenAI, have recently become widely known and popular, especially due to the success of ChatGPT. The popularity is justified, as these language models have become so advanced that they can be successfully utilized in various demanding use cases. The purpose of this study is to determine whether GPT-3.5 could produce high-quality summaries of different cases submitted to the Finnish Competition and Consumer Authority's consumer advisory services. Annually, the authority receives about 65,000 such cases, so producing summaries for all of them manually would require an enormous amount of work. However, summaries would be useful for internal use and could have other applications beyond internal use, such as responding to media inquiries. The research was conducted as a design science study, with a primary focus on prompt engineering for the language model. In addition to prompt engineering, the study addresses the theory of language models, evaluation of the produced summaries, cost, technical implementation, risks, and operational impacts. The use of the language model for summary creation mostly met the set goals, but there is still room for improvement. Nevertheless, the study laid a good foundation for enhancing the FCCA’s AI capabilities for other use cases in the future. Laajat kielimallit, kuten OpenAI:n kehittämät GPT-kielimallit ovat viime aikoina tulleet myös suurten yleisöjen tietoisuuteen ja suosioon etenkin ChatGPT:n toimesta. Suosio on perusteltua, sillä kielimallit ovat kehittyneet niin laadukkaiksi, että niitä voidaan hyödyntää jo useissa erilaisissa ja vaativissakin käyttötapauksissa onnistuneesti. Tämän tutkimuksen tarkoituksena onkin selvittää, mikäli GPT-3.5 kykenisi tuottamaan Kilpailu- ja Kuluttajavirastolle laadukkaita tiivistelmiä kuluttajaneuvontaan tulevista erilaisista tapauksista. Kyseisiä tapauksia saapuu virastoon vuositasolla noin 65 000 kappaletta, joten ihmisen toimesta tiivistelmien tuottaminen kaikista tapauksista edellyttäisi valtavaa työmäärää. Tiivistelmät olisivat kuitenkin hyödyllisiä sisäisessä käytössä ja niille olisi myös mahdollisia muita käyttökohteita sisäisen käytön lisäksi, kuten median tietopyyntöihin vastaaminen. Tutkimus toteutettiin suunnittelutieteellisenä tutkimuksena, jossa pääpaino oli kielimallille annettavan syötteen suunnittelussa. Syötesuunnittelun lisäksi tutkimus käsittelee kielimallien teoriaa, tuotettujen tiivistelmien arviointia, hintaa, teknistä toteutusta, riskejä sekä vaikutuksia toimintaan. Kielimallin käyttö tiivistelmien tekoon täytti pääosin sille asetetut tavoitteet, mutta myös parantamiselle jäi varaa. Tutkimus loi kuitenkin hyvän pohjan KKV:n tekoälykyvykkyyksien kasvattamiselle myös muihin käyttötapauksiin jatkossa.
first_indexed 2024-06-17T20:00:47Z
format Pro gradu
free_online_boolean 1
fullrecord [{"key": "dc.contributor.advisor", "value": "Marttiin, Pentti", "language": null, "element": "contributor", "qualifier": "advisor", "schema": "dc"}, {"key": "dc.contributor.author", "value": "Suovuori, Johan Kaarlo August", "language": null, "element": "contributor", "qualifier": "author", "schema": "dc"}, {"key": "dc.date.accessioned", "value": "2024-06-17T07:40:00Z", "language": null, "element": "date", "qualifier": "accessioned", "schema": "dc"}, {"key": "dc.date.available", "value": "2024-06-17T07:40:00Z", "language": null, "element": "date", "qualifier": "available", "schema": "dc"}, {"key": "dc.date.issued", "value": "2024", "language": null, "element": "date", "qualifier": "issued", "schema": "dc"}, {"key": "dc.identifier.uri", "value": "https://jyx.jyu.fi/handle/123456789/95940", "language": null, "element": "identifier", "qualifier": "uri", "schema": "dc"}, {"key": "dc.description.abstract", "value": "Large language models, such as the GPT language models developed by OpenAI, have recently become widely known and popular, especially due to the success of ChatGPT. The popularity is justified, as these language models have become so advanced that they can be successfully utilized in various demanding use cases. The purpose of this study is to determine whether GPT-3.5 could produce high-quality summaries of different cases submitted to the Finnish Competition and Consumer Authority's consumer advisory services. Annually, the authority receives about 65,000 such cases, so producing summaries for all of them manually would require an enormous amount of work. However, summaries would be useful for internal use and could have other applications beyond internal use, such as responding to media inquiries. The research was conducted as a design science study, with a primary focus on prompt engineering for the language model. In addition to prompt engineering, the study addresses the theory of language models, evaluation of the produced summaries, cost, technical implementation, risks, and operational impacts. The use of the language model for summary creation mostly met the set goals, but there is still room for improvement. Nevertheless, the study laid a good foundation for enhancing the FCCA\u2019s AI capabilities for other use cases in the future.", "language": "en", "element": "description", "qualifier": "abstract", "schema": "dc"}, {"key": "dc.description.abstract", "value": "Laajat kielimallit, kuten OpenAI:n kehitt\u00e4m\u00e4t GPT-kielimallit ovat viime aikoina tulleet my\u00f6s suurten yleis\u00f6jen tietoisuuteen ja suosioon etenkin ChatGPT:n toimesta. Suosio on perusteltua, sill\u00e4 kielimallit ovat kehittyneet niin laadukkaiksi, ett\u00e4 niit\u00e4 voidaan hy\u00f6dynt\u00e4\u00e4 jo useissa erilaisissa ja vaativissakin k\u00e4ytt\u00f6tapauksissa onnistuneesti. T\u00e4m\u00e4n tutkimuksen tarkoituksena onkin selvitt\u00e4\u00e4, mik\u00e4li GPT-3.5 kykenisi tuottamaan Kilpailu- ja Kuluttajavirastolle laadukkaita tiivistelmi\u00e4 kuluttajaneuvontaan tulevista erilaisista tapauksista. Kyseisi\u00e4 tapauksia saapuu virastoon vuositasolla noin 65 000 kappaletta, joten ihmisen toimesta tiivistelmien tuottaminen kaikista tapauksista edellytt\u00e4isi valtavaa ty\u00f6m\u00e4\u00e4r\u00e4\u00e4. Tiivistelm\u00e4t olisivat kuitenkin hy\u00f6dyllisi\u00e4 sis\u00e4isess\u00e4 k\u00e4yt\u00f6ss\u00e4 ja niille olisi my\u00f6s mahdollisia muita k\u00e4ytt\u00f6kohteita sis\u00e4isen k\u00e4yt\u00f6n lis\u00e4ksi, kuten median tietopyynt\u00f6ihin vastaaminen. Tutkimus toteutettiin suunnittelutieteellisen\u00e4 tutkimuksena, jossa p\u00e4\u00e4paino oli kielimallille annettavan sy\u00f6tteen suunnittelussa. Sy\u00f6tesuunnittelun lis\u00e4ksi tutkimus k\u00e4sittelee kielimallien teoriaa, tuotettujen tiivistelmien arviointia, hintaa, teknist\u00e4 toteutusta, riskej\u00e4 sek\u00e4 vaikutuksia toimintaan. Kielimallin k\u00e4ytt\u00f6 tiivistelmien tekoon t\u00e4ytti p\u00e4\u00e4osin sille asetetut tavoitteet, mutta my\u00f6s parantamiselle j\u00e4i varaa. Tutkimus loi kuitenkin hyv\u00e4n pohjan KKV:n teko\u00e4lykyvykkyyksien kasvattamiselle my\u00f6s muihin k\u00e4ytt\u00f6tapauksiin jatkossa.", "language": "fi", "element": "description", "qualifier": "abstract", "schema": "dc"}, {"key": "dc.description.provenance", "value": "Submitted by jyx lomake-julkaisija (jyx-julkaisija.group@korppi.jyu.fi) on 2024-06-17T07:40:00Z\nNo. of bitstreams: 0", "language": "en", "element": "description", "qualifier": "provenance", "schema": "dc"}, {"key": "dc.description.provenance", "value": "Made available in DSpace on 2024-06-17T07:40:00Z (GMT). No. of bitstreams: 0", "language": "en", "element": "description", "qualifier": "provenance", "schema": "dc"}, {"key": "dc.format.extent", "value": "84", "language": null, "element": "format", "qualifier": "extent", "schema": "dc"}, {"key": "dc.format.mimetype", "value": "application/pdf", "language": null, "element": "format", "qualifier": "mimetype", "schema": "dc"}, {"key": "dc.language.iso", "value": "fin", "language": null, "element": "language", "qualifier": "iso", "schema": "dc"}, {"key": "dc.rights", "value": "CC BY-NC-ND 4.0", "language": "en", "element": "rights", "qualifier": null, "schema": "dc"}, {"key": "dc.title", "value": "Laajan kielimallin hy\u00f6dynt\u00e4minen kuluttajaneuvonnan tapausten tiivistelmien tuottamisessa", "language": null, "element": "title", "qualifier": null, "schema": "dc"}, {"key": "dc.type", "value": "master thesis", "language": null, "element": "type", "qualifier": null, "schema": "dc"}, {"key": "dc.identifier.urn", "value": "URN:NBN:fi:jyu-202406174706", "language": null, "element": "identifier", "qualifier": "urn", "schema": "dc"}, {"key": "dc.contributor.faculty", "value": "Faculty of Information Technology", "language": "en", "element": "contributor", "qualifier": "faculty", "schema": "dc"}, {"key": "dc.contributor.faculty", "value": "Informaatioteknologian tiedekunta", "language": "fi", "element": "contributor", "qualifier": "faculty", "schema": "dc"}, {"key": "dc.contributor.organization", "value": "University of Jyv\u00e4skyl\u00e4", "language": "en", "element": "contributor", "qualifier": "organization", "schema": "dc"}, {"key": "dc.contributor.organization", "value": "Jyv\u00e4skyl\u00e4n yliopisto", "language": "fi", "element": "contributor", "qualifier": "organization", "schema": "dc"}, {"key": "dc.subject.discipline", "value": "Information Systems Science", "language": "en", "element": "subject", "qualifier": "discipline", "schema": "dc"}, {"key": "dc.subject.discipline", "value": "Tietoj\u00e4rjestelm\u00e4tiede", "language": "fi", "element": "subject", "qualifier": "discipline", "schema": "dc"}, {"key": "dc.type.coar", "value": "http://purl.org/coar/resource_type/c_bdcc", "language": null, "element": "type", "qualifier": "coar", "schema": "dc"}, {"key": "dc.rights.copyright", "value": "\u00a9 The Author(s)", "language": null, "element": "rights", "qualifier": "copyright", "schema": "dc"}, {"key": "dc.rights.accesslevel", "value": "openAccess", "language": null, "element": "rights", "qualifier": "accesslevel", "schema": "dc"}, {"key": "dc.type.publication", "value": "masterThesis", "language": null, "element": "type", "qualifier": "publication", "schema": "dc"}, {"key": "dc.format.content", "value": "fulltext", "language": null, "element": "format", "qualifier": "content", "schema": "dc"}, {"key": "dc.rights.url", "value": "https://creativecommons.org/licenses/by-nc-nd/4.0/", "language": null, "element": "rights", "qualifier": "url", "schema": "dc"}]
id jyx.123456789_95940
language fin
last_indexed 2025-02-18T10:55:32Z
main_date 2024-01-01T00:00:00Z
main_date_str 2024
online_boolean 1
online_urls_str_mv {"url":"https:\/\/jyx.jyu.fi\/bitstreams\/1f34cc11-6863-4f90-a2d6-1e0e578a4c2b\/download","text":"URN:NBN:fi:jyu-202406174706.pdf","source":"jyx","mediaType":"application\/pdf"}
publishDate 2024
record_format qdc
source_str_mv jyx
spellingShingle Suovuori, Johan Kaarlo August Laajan kielimallin hyödyntäminen kuluttajaneuvonnan tapausten tiivistelmien tuottamisessa Information Systems Science Tietojärjestelmätiede
title Laajan kielimallin hyödyntäminen kuluttajaneuvonnan tapausten tiivistelmien tuottamisessa
title_full Laajan kielimallin hyödyntäminen kuluttajaneuvonnan tapausten tiivistelmien tuottamisessa
title_fullStr Laajan kielimallin hyödyntäminen kuluttajaneuvonnan tapausten tiivistelmien tuottamisessa Laajan kielimallin hyödyntäminen kuluttajaneuvonnan tapausten tiivistelmien tuottamisessa
title_full_unstemmed Laajan kielimallin hyödyntäminen kuluttajaneuvonnan tapausten tiivistelmien tuottamisessa Laajan kielimallin hyödyntäminen kuluttajaneuvonnan tapausten tiivistelmien tuottamisessa
title_short Laajan kielimallin hyödyntäminen kuluttajaneuvonnan tapausten tiivistelmien tuottamisessa
title_sort laajan kielimallin hyödyntäminen kuluttajaneuvonnan tapausten tiivistelmien tuottamisessa
title_txtP Laajan kielimallin hyödyntäminen kuluttajaneuvonnan tapausten tiivistelmien tuottamisessa
topic Information Systems Science Tietojärjestelmätiede
topic_facet Information Systems Science Tietojärjestelmätiede
url https://jyx.jyu.fi/handle/123456789/95940 http://www.urn.fi/URN:NBN:fi:jyu-202406174706
work_keys_str_mv AT suovuorijohankaarloaugust laajankielimallinhyödyntäminenkuluttajaneuvonnantapaustentiivistelmien