A study on the embedding spaces of the BERT language model
Tässä työssä käsitellään luonnollisen kielen käsittelynä tunnettua tekoälyn osa-aluetta. Työssä keskitytään niin kutsuttuun transformer-arkkitehtuuriin pohjautuvaan BERT-nimiseen tekoälymalliin. Erityisesti työssä tarkastellaan tämän mallin upotusvektoreita, jotka kuvastavat mallin sisäistä luonnoll...
| Päätekijä: | |
|---|---|
| Muut tekijät: | , , , |
| Aineistotyyppi: | Pro gradu |
| Kieli: | eng |
| Julkaistu: |
2024
|
| Aiheet: | |
| Linkit: | https://jyx.jyu.fi/handle/123456789/97810 |
| Yhteenveto: | Tässä työssä käsitellään luonnollisen kielen käsittelynä tunnettua tekoälyn osa-aluetta. Työssä keskitytään niin kutsuttuun transformer-arkkitehtuuriin pohjautuvaan BERT-nimiseen tekoälymalliin. Erityisesti työssä tarkastellaan tämän mallin upotusvektoreita, jotka kuvastavat mallin sisäistä luonnollisen tekstin esitysmuotoa.
This thesis considers a subfield of artificial intelligence called Natural Language Processing (NLP). More specifically we study a language model named BERT based on the so called \emph{transformer} architecture, and the internal language representation of BERT called embedding vectors.
|
|---|