Daugelis interneto svetainių savininkų turbūt nė neįtaria, jog didžiąją dalį duomenų srauto į jų svetaines sugeneruoja įvairaus pobūdžio robotai. Kita vertus, įvertinti nereikalingo ir netgi kenksmingo duomenų srauto mastą gana keblu, kadangi nei „Google Analytics“, nei kitos priemonės tokio pobūdžio duomenų srauto neskaičiuoja.
Vis tik šios problemos ėmėsi kompanija „Incapsula“, kuri atliko maždaug 1000 interneto svetainių monitoringą. Kiekvieną iš jų kasdien aplankydavo nuo 50 000 iki 100 000 žmonių. Jei tikėtume gautais duomenimis, apie 51 proc. tinklalapių duomenų srauto sugeneruoja įvairūs robotai, tuo tarpu net iki 31 proc. – potencialiai pavojingos programos.
Tinklalapius, priklausančius didelėms ir mažoms kompanijoms, gana dažnai atakuoja įvairūs automatizuoti įsilaužimo instrumentai. Taip siekiama surasti pažeidžiamumų, per kuriuos pavyktų įsilaužti ir perimti tinklalapio valdymą, pavogti konfidencialius duomenis ir išplatinti kenkėjišką kodą. „Incapsula“ duomenimis, įsilaužimo instrumentų generuojamas duomenų srautas vidutiniškai sudaro apie 5 proc. viso srauto.
Dar 5 proc. srauto sugeneruoja „scraper“ tipo programos, renkančios el. pašto adresus ir turinį. Dauguma tokių instrumentų reguliariai peržiūri forumus, naujienų puslapius ir svetaines, skirtas kelionėms. Surinkti el. pašto adresai vėliau naudojami el. šiukšlėms (spam) siuntinėti, o tinklalapių turinys – automatiniam kitų puslapių užpildymui.
Tinklalapiai, leidžiantis komentuoti, ypatingai populiarūs tarp automatizuotų robotų. Jei svetainėje, kur skelbiami komentarai, nėra jokios apsaugos nuo el. šiukšlių, arba ji labai silpna, interneto puslapis po truputį užsipildo el. šiukšlėmis, kol galiausiai jis gali būti visiškai išbrauktas iš paieškos rezultatų, pavyzdžiui, „Google Search“, „Bing“, „Yahoo“ ir t. t.. El. šiukšles siuntinėjančių robotų generuojamas duomenų srautas vidutiniškai sudaro apie 2 proc. viso srauto.
Gana didelę dalį duomenų srauto generuoja robotai, užsiimantys vadybos žvalgyba ir įvairios teminės informacijos rinkimu – tokie robotai atsakingi už maždaug 19 proc. viso duomenų srauto.
Taigi, kompanijos „Incapsula“ tyrimas byloja, jog tinklalapių savininkams ir administratoriams derėtų atidžiau analizuoti „negyvą“ duomenų srautą ir blokuoti nepageidaujamus robotus.
