| Summary: | Large language models, such as the GPT language models developed by OpenAI, have recently become widely known and popular, especially due to the success of ChatGPT. The popularity is justified, as these language models have become so advanced that they can be successfully utilized in various demanding use cases. The purpose of this study is to determine whether GPT-3.5 could produce high-quality summaries of different cases submitted to the Finnish Competition and Consumer Authority's consumer advisory services. Annually, the authority receives about 65,000 such cases, so producing summaries for all of them manually would require an enormous amount of work. However, summaries would be useful for internal use and could have other applications beyond internal use, such as responding to media inquiries. The research was conducted as a design science study, with a primary focus on prompt engineering for the language model. In addition to prompt engineering, the study addresses the theory of language models, evaluation of the produced summaries, cost, technical implementation, risks, and operational impacts. The use of the language model for summary creation mostly met the set goals, but there is still room for improvement. Nevertheless, the study laid a good foundation for enhancing the FCCA’s AI capabilities for other use cases in the future.
Laajat kielimallit, kuten OpenAI:n kehittämät GPT-kielimallit ovat viime aikoina tulleet myös suurten yleisöjen tietoisuuteen ja suosioon etenkin ChatGPT:n toimesta. Suosio on perusteltua, sillä kielimallit ovat kehittyneet niin laadukkaiksi, että niitä voidaan hyödyntää jo useissa erilaisissa ja vaativissakin käyttötapauksissa onnistuneesti. Tämän tutkimuksen tarkoituksena onkin selvittää, mikäli GPT-3.5 kykenisi tuottamaan Kilpailu- ja Kuluttajavirastolle laadukkaita tiivistelmiä kuluttajaneuvontaan tulevista erilaisista tapauksista. Kyseisiä tapauksia saapuu virastoon vuositasolla noin 65 000 kappaletta, joten ihmisen toimesta tiivistelmien tuottaminen kaikista tapauksista edellyttäisi valtavaa työmäärää. Tiivistelmät olisivat kuitenkin hyödyllisiä sisäisessä käytössä ja niille olisi myös mahdollisia muita käyttökohteita sisäisen käytön lisäksi, kuten median tietopyyntöihin vastaaminen. Tutkimus toteutettiin suunnittelutieteellisenä tutkimuksena, jossa pääpaino oli kielimallille annettavan syötteen suunnittelussa. Syötesuunnittelun lisäksi tutkimus käsittelee kielimallien teoriaa, tuotettujen tiivistelmien arviointia, hintaa, teknistä toteutusta, riskejä sekä vaikutuksia toimintaan. Kielimallin käyttö tiivistelmien tekoon täytti pääosin sille asetetut tavoitteet, mutta myös parantamiselle jäi varaa. Tutkimus loi kuitenkin hyvän pohjan KKV:n tekoälykyvykkyyksien kasvattamiselle myös muihin käyttötapauksiin jatkossa.
|
|---|