Hallo zusammen, ich habe ständig die Meldung in google das „URL wird von der „robots.txt“-Datei blockiert.“ So sieht meine robots.txt aus User-agent: \* Disallow: /compare Disallow: /checkout Disallow: /register Disallow: /account Disallow: /note Sitemap: http://www.site.tld/sitemap.xml Die Links, die robots.txt blockiert kann ich aber ohne Probleme aufrufen. Hat jemand auch das Problem oder weiß was man dagegen machen kann?
Da musst Du nichts machen. In der robots.txt wird festgelegt, dass Suchmaschinen die aufgeführten Seiten nicht besuchen und in den Index aufnehmen sollen. Google zeigt das vielleicht als Problem an, es ist aber keines.
1 „Gefällt mir“