Als crawlers (ook wel bots genoemd) het internet crawlen, doorzoeken ze websites om die vervolgens te kunnen indexeren en tonen in de zoekresultaten. Zoekmachines willen de beste zoekresultaten tonen aan de gebruiker. Om dit voor elkaar te krijgen laten ze eerst bots naar websites crawlen. Via interne links verwijs je de crawlers naar de verschillende pagina's op je website. Tijdens het crawlen kijken ze naar de inhoud van de pagina's, is deze volgens de richtlijnen van de zoekmachine?
Crawlers worden ook wel spiders genoemd, omdat je het kan zien alsof ze naar alle pagina's ‘kruipen’. Op basis van deze info indexeren ze de pagina's die ze hebben gecrawld. Het doel van crawlen is dus om de inhoud van website te begrijpen en ze te indexeren, zodat de zoekmachine de gebruikers van relevante en actuele content kan voorzien.
Het robots.txt bestand is hierbij leidend. Door middel van dit bestand communiceer je met de crawlers. In dit bestand geef je het aan als er bepaalde pagina's niet gecrawld hoeven te worden. Hiermee voorkom je dat er onnodige pagina's gecrawld worden. Te veel onnodige pagina's laten crawlen kan namelijk ten koste gaan van je crawlbudget. Een crawlbudget is het aantal pagina's dat de bots van zoekmachines crawlt in een bepaald tijdsbestek. Aan elke website wordt een crawlbudget toegekend. Dit wordt gedaan op basis van hoeveel de website zelf kan verwerken en hoeveel de pagina's waard zijn, gebaseerd op hoe populair de pagina is. Overschrijd je het budget? Dan stopt de bot met crawlen, waardoor de kans bestaat dat Google niet al je pagina's zal indexeren. Maar geen stress, een crawlbudget is alleen belangrijk bij:
Crawlen is zeer belangrijk. Word je website niet gecrawld? Dan kan deze ook niet geïndexeerd worden en in de zoekresultaten van zoekmachines terechtkomen.
Crawlen kun je beïnvloeden door ervoor te zorgen dat je website voldoet aan de richtlijnen van de zoekmachine. Dit doe je door middel van de 3 belangrijkste pijlers: content, autoriteit en techniek. Voldoet je website aan de richtlijnen op basis van deze pijlers? Dan is de kans groot dat je website gecrawld wordt en vervolgens geïndexeerd. Het is echter niet mogelijk om het crawlen te manipuleren. De crawlers van zoekmachines zijn de laatste jaren veel slimmer geworden. Waar ze eerst nog op basis van metadata de pagina's crawlden, kunnen ze nu zelf de hele pagina inzien en beoordelen.
Wil je beter vindbaar worden in de zoekresultaten in Google? We helpen je graag!