A study on the embedding spaces of the BERT language model
Tässä työssä käsitellään luonnollisen kielen käsittelynä tunnettua tekoälyn osa-aluetta. Työssä keskitytään niin kutsuttuun transformer-arkkitehtuuriin pohjautuvaan BERT-nimiseen tekoälymalliin. Erityisesti työssä tarkastellaan tämän mallin upotusvektoreita, jotka kuvastavat mallin sisäistä luonnoll...
| Main Author: | |
|---|---|
| Other Authors: | , , , |
| Format: | Master's thesis |
| Language: | eng |
| Published: |
2024
|
| Subjects: | |
| Online Access: | https://jyx.jyu.fi/handle/123456789/97810 |
| Summary: | Tässä työssä käsitellään luonnollisen kielen käsittelynä tunnettua tekoälyn osa-aluetta. Työssä keskitytään niin kutsuttuun transformer-arkkitehtuuriin pohjautuvaan BERT-nimiseen tekoälymalliin. Erityisesti työssä tarkastellaan tämän mallin upotusvektoreita, jotka kuvastavat mallin sisäistä luonnollisen tekstin esitysmuotoa.
This thesis considers a subfield of artificial intelligence called Natural Language Processing (NLP). More specifically we study a language model named BERT based on the so called \emph{transformer} architecture, and the internal language representation of BERT called embedding vectors.
|
|---|