Screaming Frog is een onmisbare tool voor iedere (technisch) SEO-specialist. Je kunt er websites mee crawlen zoals Googlebot en andere webcrawlers dat ook doen (mits je ze niet blokkeert in je robots.txt bestand). Screaming Frog heeft echter heel veel verschillende opties en kan daardoor, zeker in het begin, overwhelming overkomen. Wanneer er op zo’n moment ook nog iets fout gaat met je crawl, dan kan dat heel frustrerend zijn.

Inmiddels heb ik vele jaren ervaring in het gebruik van Screaming Frog en heb ik bijna alle mogelijke issues weleens meegemaakt. Hieronder leg ik de meest voorkomende issues uit en vertel ik je hoe je ze gemakkelijk op kunt lossen.

De user agent van Screaming Frog wordt geblokkeerd

Sommige webmasters willen niet dat hun website door (SEO-) tooling als ahrefs, SEMrush en Screaming Frog gecrawld wordt. Dit zou de performance van de website namelijk negatief kunnen beïnvloeden en/of concurrenten in staat stellen om waardevolle informatie te vergaren. Daarom blokkeren ze deze bots in de instellingen van de server.

Wanneer het bovenstaande het geval is, dan merk je dat doordat Screaming Frog de response code 403 - Forbidden teruggeeft. In dat geval kun je de crawl afbreken en in het menu Configuration > User-Agent de user agent op ‘Custom’ instellen. Vaak verhelpt dit het probleem.

De crawl speed van Screaming Frog staat te hoog

Om te voorkomen dat een webserver overbelast raakt, stellen sommige beheerders van websites een limiet in voor het aantal request dat een client binnen een bepaalde tijd kan doen. Wanneer je de standaardinstellingen van Screaming Frog gebruikt, dan zal de crawler een website zo snel mogelijk gaan crawlen. Het gevolg is dat de tool meerdere requests per seconde zal doen, waardoor de ingestelde limiet bereikt kan worden.

Je merkt dat dit het geval is, wanneer screaming frog de response code 429 - Too many requests aangeeft. Wanneer je dit ziet, kun je het best de crawl afbreken en de instelling ‘Spider Speed Configuration’ veranderen in het menu Configuration > Speed. Hier kun je het maximum aantal requests per seconde instellen onder het vinkje ‘Max URI/s’.

Screaming Frog blijft oneindig crawlen

Een website bestaat vaak voor het grootste gedeelte uit statische URL’s die altijd hetzelfde blijven. Voor sommige opties wordt echter gebruik gemaakt van URL’s die dynamisch gegenereerd worden. Denk bijvoorbeeld aan de interne zoekfunctie van een website, waarbij de gebruikte zoekterm in de URL wordt meegegeven of de account sectie, waarbij een session ID aan de URL wordt toegevoegd.

Wanneer je Screaming Frog een website laat crawlen zonder gebruik te maken van uitsluitingen, dan kan het gebeuren dat de bot ‘verdwaald’ raakt in dynamische URL’s. Deze blijft dan bijvoorbeeld de account sectie bezoeken, aangezien de URL elke keer anders is wanneer de desbetreffende link gevolgd wordt. Het gevolg is dat de crawl oneindig blijft duren, zonder dat er echt nieuwe unieke URL’s gecrawld worden.

Wil je dit voorkomen? Ga dan naar het menu Configuration > Exclude en geef hier aan welke URL’s Screaming Frog niet magcrawlen. Je kunt hier gebruikmaken van Regular Expressions, waardoor catalogsearch.* bijvoorbeeld betekent dat alle URL’s met de slug catalogsearch erin niet worden gecrawld, ongeacht de positie van de slug in de URL.

URL’s worden niet gecrawld of de kolommen blijven leeg

Start je een crawl en stopt de crawler er naar het crawlen van de homepage mee? Of zie je dat de crawler wel URL’s bezoekt, maar blijven de kolommen met de gebruikelijke informatie zoals meta tags, headers en canonicals leeg?

Dan heb je waarschijnlijk te maken met een website die gebruikmaakt van een single page application / client side rendering. In dat geval bestaat de broncode bijna volledig uit JavaScript en wordt de website niet door de server opgebouwd, maar door de browser van de gebruiker.

Wil je zo’n website crawlen, dan zal je Screaming Frog in moeten stellen op ‘JavaScript Rendering Mode’. Je doet dit in het menu Configuration > Spider > Rendering.

Screaming Frog hulp

Hopelijk kun je bovenstaande tips gebruiken om zonder problemen gebruik te maken van Screaming Frog voor jouw website(s). Loop je toch nog ergens tegenaan? Dan kun je altijd even contact met mij opnemen. Ik help je graag verder.