Robots op uw website

Een belangrijk onderdeel van je website is een klein tekstbestandje genaamd: robots.txt. Het doel van dit bestand is het geven van instructies aan zogenaamde ''robots'' die het web doorzoeken. Robots vragen vaak onnodig veel capaciteit van je website maar kunnen ook heel functioneel zijn. Hieronder leggen wij je uit welke vormen van verkeer er zijn en hoe jij je website nog beter met robots om kunt laten gaan.

61% van al het verkeer op internet is afkomstig van robots. Vorig jaar was dit nog maar 49%. Bot verkeer komt tot stand door computers die automatisch het internet afzoeken. +- 31% van de robots zijn robots met goede bedoelingen. Het doel van bots is verschillend. Er zijn goedaardige en kwaadaardige robots te onderscheiden. Onderstaand worden de bedoelingen van bots uitgelicht.

1. Zoekmachines
Zoekmachines proberen steeds beter uw zoekopdracht te koppelen aan de pagina. Daarvoor is het noodzakelijk dat uw volledige website wordt doorgelicht. Dit gebeurt onwillekeurig en onregelmatig. 

2. SEO tools
Seo tools helpen uw website beter te optimaliseren voor zoekmachines. Deze tools scannen uw website (vaak op commando) op min of meer dezelfde criteria als de zoekmachine zelf. 

3. Online bedrijvengidsen (telefoongids, startpagina's)
De online bedrijfsgids zoekt het internet af naar bedrijfsgegevens om deze toe te voegen of aan te passen binnen de bedrijvengids.

5.  Mens imitators
Robots die mensgedrag nadoen. Dit doen zij niet altijd met een directe reden, echter slokt dit wel de capaciteit van uw website op.

6. Mogelijk kwaadwillende (4,5%)
Mogelijk kwaadwillende bots proberen oneigenlijk toegang te verschaffen tot een website, dan wel server. Vaak zijn dit gespecialiseerde scripts die inspelen op een lek binnen een bepaalde extensie. Het is niet altijd duidelijk of een bot kwaadwillend is of niet. Soms is het niet eens duidelijk wat het doel is van een bepaalde bot. De server hermetisch afsluiten lijkt een oplossing. U zou natuurlijk kunnen vragen aan alle robots of ze uw website niet meer willen bezoeken. Echter is een groot deel van de robots die uw websites bezoeken direct (zoekmachines of scans) of indirect (bedrijfsverzamelwebsites) van waarde voor uw website.