Part-of-speech tagging in written slang - Korolainen, Valtteri (2014)
Erilaiset kieliteknologiasovellukset ovat olleet jo vuosikymmeniä arkipäiväises-sä käytössä. Esimerkiksi ennustava tekstinsyöttö ja automaattinen korjaus ovat olleet käytössä jo vuosikymmeniä. Puheen tunnistus ja kielen automaattinen kääntäminen ovat puolestaan hieman uudempia sovelluksia. Tieteenalana kieli-teknologia on vuosikymmeniä vanha, mutta silti koneilla on vielä monesti vai-keuksia ymmärtää luonnollisia kieliä. Tämän tutkimuksen tavoite on kartoittaa koneiden kykyä annotoida tekstiä automaattisesti kun käsiteltävä aineisto sisäl-tää slangia. Tutkimus sisältää empiirisen kokeen automaattisten annotointialgo-rimien toiminnasta. Kielen prosessointi on myös nykyään käytössä olevilla al-goritmeilla verrattain raskasta. Osa sovelluksista voidaan kuitenkin suorittaa pilvipalveluissa. Eurooppalaisten kielien prosessointi nykyalgoritmeilla on koh-tuullisen hyvällä tasolla verrattuna moniin muihin kieliin. Tähän syynä on huomattavasti laajempi taustatyö. Vaikka monet sovellukset onnistuisivat usein ymmärtämään luonnollista yleiskieltä, niin slangin prosessointi on huomatta-vasti hankalampaa. Pääsyyt slangin prosessoinnin haasteellisuudelle ovat slan-gitutkimuksen vähäisyys kieliteknologioihin liittyen sekä slangin monesti kompleksisempi luonne. Automaattinen simultaanitulkkaus on jo jossain mää-rin mahdollista nykyaikaisilla kieliteknologiasovelluksilla. Yksi tapa arvioida tiettyä kieliteknologiaa on analysoida taustalla olevaa sanaluokkajäsentäjää, jonka tehtävä on annotoida tekstifragmentteja. Tämän tutkimuksen tutkimus-ongelmana on selvittää n-gram algoritmin suorityskyky muihin käytössä ole-viin algoritmeihin nähden slangia annotoitaessa. Tilastollisia lähestymistapoja käytettäessä myös taustalla oleva manuaalisen jäsentämisen laajuus vaikuttaa merkittävästi sanaluokkajäsentäjän toimintaan. Eurooppalaiset kielet voidaan prosessoida monesti luotettavammin tilastollisilla menetelmillä, kun taas esi-merkiksi Etelä-Intian kielet, kuten Hindi, ovat monesti luotettavampia proses-soida sääntöihin perustuvilla menetelmillä. Englanninkieli voidaan luonnolli-sessa muodossaan annotoida automaattisesti 97% tarkkudella; englanninkieli-sen slangin automaattinen annotointi saavuttaa puolestaan vain 93% tarkkusta-son. Tutkimustuloksista voidaan todeta, että vaikka algoritmin valinta vaikut-taa osaltaan annotoinnin tarkkuuteen, niin sääntöihin perustuvat menetelmät ovat tärkeä lisä slangin annotoinnissa. Tärkein sääntöihin perustuva lisämene-telmä on sanojen klusterointi.