Hakurobotti ja robots.txt-tiedosto

Tutkielmassani esitellään kuinka hakurobotti toimii ja mitkä ovat sen keskeisiä käyttötarkoituksia. Lisäksi tutkitaan hakurobottien toiminnan sääntelemiseen kehitettyä tämänhetkistä de facto-standardia: Robots Exclusion -protokollaa, sekä mitä haasteita hakurobottien epäeettisestä toiminnasta voi ko...

Täydet tiedot

Bibliografiset tiedot
Päätekijä: Saarnio, Tapio
Muut tekijät: Informaatioteknologian tiedekunta, Faculty of Information Technology, Informaatioteknologia, Information Technology, Jyväskylän yliopisto, University of Jyväskylä
Aineistotyyppi: Kandityö
Kieli:fin
Julkaistu: 2023
Aiheet:
Linkit: https://jyx.jyu.fi/handle/123456789/87056
Kuvaus
Yhteenveto:Tutkielmassani esitellään kuinka hakurobotti toimii ja mitkä ovat sen keskeisiä käyttötarkoituksia. Lisäksi tutkitaan hakurobottien toiminnan sääntelemiseen kehitettyä tämänhetkistä de facto-standardia: Robots Exclusion -protokollaa, sekä mitä haasteita hakurobottien epäeettisestä toiminnasta voi koitua sekä yksilöille että yhteiskunnalle. In my thesis we focus on the Web Crawler, how does it work and for what purposes are they used for. Additionally the de facto standard in the industry, the Robots Exclusion Protocol is presented. We also discuss what challenges does Web Crawler present to both individuals and for the society as whole.