Wat is robots.txt?

Robots.txt is een bestand dat zoekmachines instructies geeft welke pagina’s niet gecrawld mogen worden door zoekmachines. Een robots.txt bestand kan worden gevonden via de website URL, gevolgd door /robots.txt. 

Een regel in het robots.txt-bestand zorgt ervoor dat zoekmachines de content van je website niet mogen crawlen, maar kan niet voorkomen dat je website helemaal niet in de zoekresultaten verschijnt. Als er veel backlinks naar desbetreffende pagina verwijzen, dan zal de pagina alsnog in Google verschijnen, maar zonder meta-omschrijving.

Wil je helemaal voorkomen dat Google een pagina indexeert, maak dan gebruik van een no-index tag op de pagina zelf, in plaats van een regel in het robots.txt-bestand.

Online marketingbureau

Heb je andere vragen over robots.txt bestanden? Stel je vraag aan online marketing bureau Sageon. Wij helpen je graag!