Robots.txt is een belangrijk bestand voor SEO. Met het bestand kun je namelijk URL’s blokkeren voor crawlers. Een fout is echter zo gemaakt, dus lees deze blog over de meest voorkomende robots.txt fouten.