Een belangrijk onderdeel van je website is een klein tekstbestandje genaamd: robots.txt. Het doel van dit bestand is het geven van instructies aan zogenaamde ''robots'' die het web doorzoeken. Robots vragen vaak onnodig veel capaciteit van je website maar kunnen ook heel functioneel zijn. Hieronder leggen wij je uit welke vormen van verkeer er zijn en hoe jij je website nog beter met robots om kunt laten gaan.

61% van al het verkeer op internet is afkomstig van robots. Vorig jaar was dit nog maar 49%. Bot verkeer komt tot stand door computers die automatisch het internet afzoeken. +- 31% van de robots zijn robots met goede bedoelingen. Het doel van bots is verschillend. Er zijn goedaardige en kwaadaardige robots te onderscheiden. Onderstaand worden de bedoelingen van bots uitgelicht.

1. Zoekmachines
Zoekmachines proberen steeds beter uw zoekopdracht te koppelen aan de pagina. Daarvoor is het noodzakelijk dat uw volledige website wordt doorgelicht. Dit gebeurt onwillekeurig en onregelmatig. 

2. SEO tools
Seo tools helpen uw website beter te optimaliseren voor zoekmachines. Deze tools scannen uw website (vaak op commando) op min of meer dezelfde criteria als de zoekmachine zelf. 

3. Online bedrijvengidsen (telefoongids, startpagina's)
De online bedrijfsgids zoekt het internet af naar bedrijfsgegevens om deze toe te voegen of aan te passen binnen de bedrijvengids.

5.  Mens imitators
Robots die mensgedrag nadoen. Dit doen zij niet altijd met een directe reden, echter slokt dit wel de capaciteit van uw website op.

6. Mogelijk kwaadwillende (4,5%)
Mogelijk kwaadwillende bots proberen oneigenlijk toegang te verschaffen tot een website, dan wel server. Vaak zijn dit gespecialiseerde scripts die inspelen op een lek binnen een bepaalde extensie. Het is niet altijd duidelijk of een bot kwaadwillend is of niet. Soms is het niet eens duidelijk wat het doel is van een bepaalde bot. De server hermetisch afsluiten lijkt een oplossing. U zou natuurlijk kunnen vragen aan alle robots of ze uw website niet meer willen bezoeken. Echter is een groot deel van de robots die uw websites bezoeken direct (zoekmachines of scans) of indirect (bedrijfsverzamelwebsites) van waarde voor uw website. 

Lijst met Bots
Hieronder treft u een lijst aan van bots die veel verkeer opleveren maar vaak niet gewenst zijn. Graag willen wij deze voor u gaan uitsluiten.

AlphaBot: website analyse voor marketingdoeleinden
Baidu: Zoekmachine uit China
Blexbot: Website analyse voor marketingdoeleinden
Domain: Re-Animator Bot Verzameld data van verlopen domeinnamen
HubSpot: Sales leads tool
Linguee: Online woordenboek
Ltx71: Website-analyse voor veiligheidsonderzoeken
Mail.ru: Zoekmachine uit Rusland
MegaIndex:.ru Zoekmachine uit Rusland
OpenLinkProfiler: Researchtool voor backlinks
Qwant: Zoekmachine uit Frankrijk
Rogerbot: SEO Marketingtool
SEMrushBot: Dataverzameling voor marketingdoeleinden
Seoscanners: SEO Marketingtool
Seznam: Zoekmachine uit Tsjechië
TurnitinBot: Tool om plagiaat te voorkomen
Vagabondo: Dataverzameling voor diverse doeleinden
Yandex: Zoekmachine uit Rusland
corpora.informatik.uni-leipzig.de/crawler Onderzoeksproject Universiteit Leipzig
dotbot: Website-analyse voor marketing doeleinden

 

Selenium

Bij GJ-R Webdevelopment ontwikkelen we sinds kort test-applicaties voor webshops genaamd Selenium! Met de testapplicatie kunt u testbestellingen maken op uw webshop, handig om te gebruiken na bijvoorbeeld een Magento update; snel en gemakkelijk een test te draaien om te kijken of alles nog naar behoren werkt. Maar ook ideaal om herhalende werkzaamheden op uw webshop te automatiseren / tests eenvoudig en snel uit te voeren.

Hoe werkt Selenium?
Selenium is een Java uitbreidingspakket waarmee u d.m.v. een zelfgeschreven script acties kunt uitvoeren op uw webshop zoals bijvoorbeeld:

• Producten aanmaken
• Testbestelling plaatsen
• Producten verwijderen
• Account registreren

Het script loopt dan alle stappen na op uw webshop die een normale gebruiker ook zou nalopen, deze stappen kunt u live meevolgen.