Impediments to Test Automation Success A Case Study

Ohjelmistotestaus on erittäin tärkeä toiminto sen varmistamiseksi, että tuotettu ohjelmistojärjestelmä käyttäytyy niin kuin sen pitäisi. Useat ohjelmisto-organisaatiot ja -projektit pyrkivät parantamaan testauksen tehokkuutta investoimalla testiautomaatioon. Testiautomaatio voi tarjota monia etuja,...

Täydet tiedot

Bibliografiset tiedot
Päätekijä: Tammenoja, Anton
Muut tekijät: Informaatioteknologian tiedekunta, Faculty of Information Technology, Informaatioteknologia, Information Technology, Jyväskylän yliopisto, University of Jyväskylä
Aineistotyyppi: Pro gradu
Kieli:eng
Julkaistu: 2020
Aiheet:
Linkit: https://jyx.jyu.fi/handle/123456789/69939
_version_ 1828193072423370752
author Tammenoja, Anton
author2 Informaatioteknologian tiedekunta Faculty of Information Technology Informaatioteknologia Information Technology Jyväskylän yliopisto University of Jyväskylä
author_facet Tammenoja, Anton Informaatioteknologian tiedekunta Faculty of Information Technology Informaatioteknologia Information Technology Jyväskylän yliopisto University of Jyväskylä Tammenoja, Anton Informaatioteknologian tiedekunta Faculty of Information Technology Informaatioteknologia Information Technology Jyväskylän yliopisto University of Jyväskylä
author_sort Tammenoja, Anton
datasource_str_mv jyx
description Ohjelmistotestaus on erittäin tärkeä toiminto sen varmistamiseksi, että tuotettu ohjelmistojärjestelmä käyttäytyy niin kuin sen pitäisi. Useat ohjelmisto-organisaatiot ja -projektit pyrkivät parantamaan testauksen tehokkuutta investoimalla testiautomaatioon. Testiautomaatio voi tarjota monia etuja, joita ovat esimerkiksi testien uudelleenkäytettävyys sekä työmäärän säästäminen testien suorittamisessa. On kuitenkin havaittu, että ohjelmisto-organisaatiot ja -projektit kohtaavat monia esteitä liittyen testiautomaation onnistuneeseen käyttöön. Aikaisemmassa tutkimuksessa on todettu, että testiautomaation esteet voivat olla teknisiä, kuten testijärjestelmään liittyvät esteet tai organisatorisia, kuten liiketoimintaan ja suunnitteluun liittyvät esteet. Jotta testiautomaation esteiden olemusta voitaisiin ymmärtää paremmin, tässä tutkielmassa käsitellään esteitä testiautomaation onnistumiselle sekä sitä, kuinka nämä esteet vaikuttavat testiautomaatioon ja miksi nämä esteet ilmenevät. Tämän tutkielman empiirisenä osana toteutettiin laadullinen tapaustutkimus, jotta voitaisiin tarjota testiautomaation käyttöön liittyviä kokemuksia tosielämän ohjelmistoprojektista. Tutkimuksen empiirinen materiaali kerättiin haastattelemalla seitsemää henkilöä, jotka edustivat eri organisaatiotasoja suuressa testiautomaatiota hyödyntävässä ohjelmistoprojektissa. Tutkimuksessa löydettyjä esteitä testiautomaation onnistumiselle ovat esimerkiksi puuttuvat kehitystaidot, testijärjestelmän tekniset rajoitteet ja testidatan hallinta. Merkittävinä esteinä havaittiin myös riittämätön testiautomaation suunnittelu ja testattavan järjestelmän ulkoiset järjestelmät. Monen testiautomaation esteen nähtiin vaikuttavan siten, että testiautomaatio vie enemmän resursseja, kaikkia tarvittavia alueita ei automatisoida tai että testiautomaatiosta tulee monimutkaisempaa. Monien esteiden syiksi löydettiin testiautomaation alhaiset prioriteetit tai resurssit tai se, että testiautomaatiota ei ajatella tarpeeksi projektia aloitettaessa. Tämä tutkimus validoi ja laajentaa aikaisempaa tutkimusta testiautomaation esteistä sekä vahvistaa ajatusta prioriteettien ja resurssien tärkeydestä testiautomaation onnistumiselle. Lisäksi tutkimus tarjoaa hyödyllistä informaatiota ohjelmisto-organisaatioille ja -projekteille suunnitella testiautomaatio asianmukaisesti ja välttää monia esteitä tulevaisuudessa. Software testing is a highly important activity to ensure the produced software system behaves as it should. Various software organizations and projects are striving to improve testing effectiveness by investing in test automation. Test automation can provide many benefits such as reusability of tests and effort saved in test execution. However, it has been observed that software organizations and projects are facing many impediments related to the successful use of test automation. In prior research, it has been found that test automation impediments can be technical, such as test system related impediments or organizational such as business and planning related impediments. In order to better understand the nature of test automation impediments, this thesis discusses impediments to test automation success, how these affect test automation, and why these appear. To provide experiences related to the use of test automation from a real-life software project, a qualitative case study was conducted as an empirical part of the thesis. The empirical data of the study was collected by interviewing seven respondents who were representing different organizational levels in a large-scale software project that was utilizing test automation. It was found in the study that impediments to test automation success are, for example, missing development skills, technical limitations of the test system and test data management. Also, inadequate test automation planning and external systems of the system under test were found as notable impediments. Many of the test automation impediments seem to affect so that test automation takes more resources, all necessary areas are not automated, or test automation gets more complicated. Reasons for many of the impediments were found to be the low priorities or resources of test automation or the fact that test automation is not considered enough when the project is initially started. This study validates and extends the prior research of impediments to test automation and strengthens the idea of the importance of priorities and resources to the success of test automation. In addition, the study provides useful information for software organizations and projects to plan their test automation properly and avoid several impediments in the future.
first_indexed 2020-06-15T20:00:49Z
format Pro gradu
fullrecord [{"key": "dc.contributor.advisor", "value": "Sepp\u00e4nen, Ville", "language": "", "element": "contributor", "qualifier": "advisor", "schema": "dc"}, {"key": "dc.contributor.author", "value": "Tammenoja, Anton", "language": "", "element": "contributor", "qualifier": "author", "schema": "dc"}, {"key": "dc.date.accessioned", "value": "2020-06-15T09:17:49Z", "language": "", "element": "date", "qualifier": "accessioned", "schema": "dc"}, {"key": "dc.date.available", "value": "2020-06-15T09:17:49Z", "language": "", "element": "date", "qualifier": "available", "schema": "dc"}, {"key": "dc.date.issued", "value": "2020", "language": "", "element": "date", "qualifier": "issued", "schema": "dc"}, {"key": "dc.identifier.uri", "value": "https://jyx.jyu.fi/handle/123456789/69939", "language": "", "element": "identifier", "qualifier": "uri", "schema": "dc"}, {"key": "dc.description.abstract", "value": "Ohjelmistotestaus on eritt\u00e4in t\u00e4rke\u00e4 toiminto sen varmistamiseksi, ett\u00e4 tuotettu ohjelmistoj\u00e4rjestelm\u00e4 k\u00e4ytt\u00e4ytyy niin kuin sen pit\u00e4isi. Useat ohjelmisto-organisaatiot ja -projektit pyrkiv\u00e4t parantamaan testauksen tehokkuutta investoimalla testiautomaatioon. Testiautomaatio voi tarjota monia etuja, joita ovat esimerkiksi testien uudelleenk\u00e4ytett\u00e4vyys sek\u00e4 ty\u00f6m\u00e4\u00e4r\u00e4n s\u00e4\u00e4st\u00e4minen testien suorittamisessa. On kuitenkin havaittu, ett\u00e4 ohjelmisto-organisaatiot ja -projektit kohtaavat monia esteit\u00e4 liittyen testiautomaation onnistuneeseen k\u00e4ytt\u00f6\u00f6n. Aikaisemmassa tutkimuksessa on todettu, ett\u00e4 testiautomaation esteet voivat olla teknisi\u00e4, kuten testij\u00e4rjestelm\u00e4\u00e4n liittyv\u00e4t esteet tai organisatorisia, kuten liiketoimintaan ja suunnitteluun liittyv\u00e4t esteet. Jotta testiautomaation esteiden olemusta voitaisiin ymm\u00e4rt\u00e4\u00e4 paremmin, t\u00e4ss\u00e4 tutkielmassa k\u00e4sitell\u00e4\u00e4n esteit\u00e4 testiautomaation onnistumiselle sek\u00e4 sit\u00e4, kuinka n\u00e4m\u00e4 esteet vaikuttavat testiautomaatioon ja miksi n\u00e4m\u00e4 esteet ilmenev\u00e4t. T\u00e4m\u00e4n tutkielman empiirisen\u00e4 osana toteutettiin laadullinen tapaustutkimus, jotta voitaisiin tarjota testiautomaation k\u00e4ytt\u00f6\u00f6n liittyvi\u00e4 kokemuksia tosiel\u00e4m\u00e4n ohjelmistoprojektista. Tutkimuksen empiirinen materiaali ker\u00e4ttiin haastattelemalla seitsem\u00e4\u00e4 henkil\u00f6\u00e4, jotka edustivat eri organisaatiotasoja suuressa testiautomaatiota hy\u00f6dynt\u00e4v\u00e4ss\u00e4 ohjelmistoprojektissa. Tutkimuksessa l\u00f6ydettyj\u00e4 esteit\u00e4 testiautomaation onnistumiselle ovat esimerkiksi puuttuvat kehitystaidot, testij\u00e4rjestelm\u00e4n tekniset rajoitteet ja testidatan hallinta. Merkitt\u00e4vin\u00e4 estein\u00e4 havaittiin my\u00f6s riitt\u00e4m\u00e4t\u00f6n testiautomaation suunnittelu ja testattavan j\u00e4rjestelm\u00e4n ulkoiset j\u00e4rjestelm\u00e4t. Monen testiautomaation esteen n\u00e4htiin vaikuttavan siten, ett\u00e4 testiautomaatio vie enemm\u00e4n resursseja, kaikkia tarvittavia alueita ei automatisoida tai ett\u00e4 testiautomaatiosta tulee monimutkaisempaa. Monien esteiden syiksi l\u00f6ydettiin testiautomaation alhaiset prioriteetit tai resurssit tai se, ett\u00e4 testiautomaatiota ei ajatella tarpeeksi projektia aloitettaessa. T\u00e4m\u00e4 tutkimus validoi ja laajentaa aikaisempaa tutkimusta testiautomaation esteist\u00e4 sek\u00e4 vahvistaa ajatusta prioriteettien ja resurssien t\u00e4rkeydest\u00e4 testiautomaation onnistumiselle. Lis\u00e4ksi tutkimus tarjoaa hy\u00f6dyllist\u00e4 informaatiota ohjelmisto-organisaatioille ja -projekteille suunnitella testiautomaatio asianmukaisesti ja v\u00e4ltt\u00e4\u00e4 monia esteit\u00e4 tulevaisuudessa.", "language": "fi", "element": "description", "qualifier": "abstract", "schema": "dc"}, {"key": "dc.description.abstract", "value": "Software testing is a highly important activity to ensure the produced software system behaves as it should. Various software organizations and projects are striving to improve testing effectiveness by investing in test automation. Test automation can provide many benefits such as reusability of tests and effort saved in test execution. However, it has been observed that software organizations and projects are facing many impediments related to the successful use of test automation. In prior research, it has been found that test automation impediments can be technical, such as test system related impediments or organizational such as business and planning related impediments. In order to better understand the nature of test automation impediments, this thesis discusses impediments to test automation success, how these affect test automation, and why these appear. To provide experiences related to the use of test automation from a real-life software project, a qualitative case study was conducted as an empirical part of the thesis. The empirical data of the study was collected by interviewing seven respondents who were representing different organizational levels in a large-scale software project that was utilizing test automation. It was found in the study that impediments to test automation success are, for example, missing development skills, technical limitations of the test system and test data management. Also, inadequate test automation planning and external systems of the system under test were found as notable impediments. Many of the test automation impediments seem to affect so that test automation takes more resources, all necessary areas are not automated, or test automation gets more complicated. Reasons for many of the impediments were found to be the low priorities or resources of test automation or the fact that test automation is not considered enough when the project is initially started. This study validates and extends the prior research of impediments to test automation and strengthens the idea of the importance of priorities and resources to the success of test automation. In addition, the study provides useful information for software organizations and projects to plan their test automation properly and avoid several impediments in the future.", "language": "en", "element": "description", "qualifier": "abstract", "schema": "dc"}, {"key": "dc.description.provenance", "value": "Submitted by Miia Hakanen (mihakane@jyu.fi) on 2020-06-15T09:17:49Z\r\nNo. of bitstreams: 0", "language": "en", "element": "description", "qualifier": "provenance", "schema": "dc"}, {"key": "dc.description.provenance", "value": "Made available in DSpace on 2020-06-15T09:17:49Z (GMT). No. of bitstreams: 0\r\n Previous issue date: 2020", "language": "en", "element": "description", "qualifier": "provenance", "schema": "dc"}, {"key": "dc.format.extent", "value": "76", "language": "", "element": "format", "qualifier": "extent", "schema": "dc"}, {"key": "dc.format.mimetype", "value": "application/pdf", "language": null, "element": "format", "qualifier": "mimetype", "schema": "dc"}, {"key": "dc.language.iso", "value": "eng", "language": null, "element": "language", "qualifier": "iso", "schema": "dc"}, {"key": "dc.rights", "value": "In Copyright", "language": "en", "element": "rights", "qualifier": null, "schema": "dc"}, {"key": "dc.subject.other", "value": "software testing", "language": "", "element": "subject", "qualifier": "other", "schema": "dc"}, {"key": "dc.subject.other", "value": "test automation", "language": "", "element": "subject", "qualifier": "other", "schema": "dc"}, {"key": "dc.subject.other", "value": "impediments", "language": "", "element": "subject", "qualifier": "other", "schema": "dc"}, {"key": "dc.subject.other", "value": "case study", "language": "", "element": "subject", "qualifier": "other", "schema": "dc"}, {"key": "dc.title", "value": "Impediments to Test Automation Success : A Case Study", "language": "", "element": "title", "qualifier": null, "schema": "dc"}, {"key": "dc.type", "value": "master thesis", "language": null, "element": "type", "qualifier": null, "schema": "dc"}, {"key": "dc.identifier.urn", "value": "URN:NBN:fi:jyu-202006154183", "language": "", "element": "identifier", "qualifier": "urn", "schema": "dc"}, {"key": "dc.type.ontasot", "value": "Pro gradu -tutkielma", "language": "fi", "element": "type", "qualifier": "ontasot", "schema": "dc"}, {"key": "dc.type.ontasot", "value": "Master\u2019s thesis", "language": "en", "element": "type", "qualifier": "ontasot", "schema": "dc"}, {"key": "dc.contributor.faculty", "value": "Informaatioteknologian tiedekunta", "language": "fi", "element": "contributor", "qualifier": "faculty", "schema": "dc"}, {"key": "dc.contributor.faculty", "value": "Faculty of Information Technology", "language": "en", "element": "contributor", "qualifier": "faculty", "schema": "dc"}, {"key": "dc.contributor.department", "value": "Informaatioteknologia", "language": "fi", "element": "contributor", "qualifier": "department", "schema": "dc"}, {"key": "dc.contributor.department", "value": "Information Technology", "language": "en", "element": "contributor", "qualifier": "department", "schema": "dc"}, {"key": "dc.contributor.organization", "value": "Jyv\u00e4skyl\u00e4n yliopisto", "language": "fi", "element": "contributor", "qualifier": "organization", "schema": "dc"}, {"key": "dc.contributor.organization", "value": "University of Jyv\u00e4skyl\u00e4", "language": "en", "element": "contributor", "qualifier": "organization", "schema": "dc"}, {"key": "dc.subject.discipline", "value": "Tietoj\u00e4rjestelm\u00e4tiede", "language": "fi", "element": "subject", "qualifier": "discipline", "schema": "dc"}, {"key": "dc.subject.discipline", "value": "Information Systems Science", "language": "en", "element": "subject", "qualifier": "discipline", "schema": "dc"}, {"key": "yvv.contractresearch.funding", "value": "0", "language": "", "element": "contractresearch", "qualifier": "funding", "schema": "yvv"}, {"key": "dc.type.coar", "value": "http://purl.org/coar/resource_type/c_bdcc", "language": null, "element": "type", "qualifier": "coar", "schema": "dc"}, {"key": "dc.rights.accesslevel", "value": "restrictedAccess", "language": null, "element": "rights", "qualifier": "accesslevel", "schema": "dc"}, {"key": "dc.type.publication", "value": "masterThesis", "language": null, "element": "type", "qualifier": "publication", "schema": "dc"}, {"key": "dc.subject.oppiainekoodi", "value": "601", "language": "", "element": "subject", "qualifier": "oppiainekoodi", "schema": "dc"}, {"key": "dc.format.content", "value": "fulltext", "language": null, "element": "format", "qualifier": "content", "schema": "dc"}, {"key": "dc.rights.url", "value": "https://rightsstatements.org/page/InC/1.0/", "language": null, "element": "rights", "qualifier": "url", "schema": "dc"}, {"key": "dc.rights.accessrights", "value": "The author has not given permission to make the work publicly available electronically. Therefore the material can be read only at the archival workstation at Jyv\u00e4skyl\u00e4 University Library (https://kirjasto.jyu.fi/en/workspaces/facilities).", "language": "en", "element": "rights", "qualifier": "accessrights", "schema": "dc"}, {"key": "dc.rights.accessrights", "value": "Tekij\u00e4 ei ole antanut lupaa avoimeen julkaisuun, joten aineisto on luettavissa vain Jyv\u00e4skyl\u00e4n yliopiston kirjaston arkistoty\u00f6semalta. Ks. https://kirjasto.jyu.fi/fi/tyoskentelytilat/laitteet-ja-tilat..", "language": "fi", "element": "rights", "qualifier": "accessrights", "schema": "dc"}, {"key": "dc.type.okm", "value": "G2", "language": null, "element": "type", "qualifier": "okm", "schema": "dc"}]
id jyx.123456789_69939
language eng
last_indexed 2025-03-31T20:02:39Z
main_date 2020-01-01T00:00:00Z
main_date_str 2020
publishDate 2020
record_format qdc
source_str_mv jyx
spellingShingle Tammenoja, Anton Impediments to Test Automation Success : A Case Study software testing test automation impediments case study Tietojärjestelmätiede Information Systems Science 601
title Impediments to Test Automation Success : A Case Study
title_full Impediments to Test Automation Success : A Case Study
title_fullStr Impediments to Test Automation Success : A Case Study Impediments to Test Automation Success : A Case Study
title_full_unstemmed Impediments to Test Automation Success : A Case Study Impediments to Test Automation Success : A Case Study
title_short Impediments to Test Automation Success
title_sort impediments to test automation success a case study
title_sub A Case Study
title_txtP Impediments to Test Automation Success : A Case Study
topic software testing test automation impediments case study Tietojärjestelmätiede Information Systems Science 601
topic_facet 601 Information Systems Science Tietojärjestelmätiede case study impediments software testing test automation
url https://jyx.jyu.fi/handle/123456789/69939 http://www.urn.fi/URN:NBN:fi:jyu-202006154183
work_keys_str_mv AT tammenojaanton impedimentstotestautomationsuccessacasestudy