# Seiten laut Google aufgrund von robots.txt nicht crawlbar, obwohl alles in Ordnung ist
**URL:** https://forum.shopware.com/t/seiten-laut-google-aufgrund-von-robots-txt-nicht-crawlbar-obwohl-alles-in-ordnung-ist/61826
**Category:** Sonstiges
**Created:** [18. September 2019 um 06:48 UTC](https://forum.shopware.com/t/seiten-laut-google-aufgrund-von-robots-txt-nicht-crawlbar-obwohl-alles-in-ordnung-ist/61826 "2019-09-18T06:48:19Z")
**Posts on this page:** 9
**Page:** 1
### Author:  [@MCube](https://forum.shopware.com/u/MCube)
#### Post date: [18. September 2019 um 06:48 UTC](https://forum.shopware.com/t/seiten-laut-google-aufgrund-von-robots-txt-nicht-crawlbar-obwohl-alles-in-ordnung-ist/61826/1 "2019-09-18T06:48:19Z")
Hallo zusammen,
für mehrere einzelne Seiten wird in den Google Suchergebnissen keine Meta Description angezeigt. (Fehlermeldung: Für diese Seite sind keine Informationen verfügbar.) In der Search Console wird mir dann folgender Fehler angezeigt: Indexiert, obwohl durch robots.txt-Datei blockiert.
Bei Überprüfung der robots.txt Datei ist allerdings alles in Ordnung. Ein manueller Test zeigt an, dass die Seite durch den Bot gecrawlt werden kann. Im Quelltext selbst steht die Seite auf index und follow.
Ich hatte diesen Fehler vor ein paar Wochen schon einmal. Es waren vereinzelte Seiten betroffen. Nach einem erneuten Crawl durch Google war alles wieder „normal“. In dieser Zeit hatte unsere Seite allerdings einiges an Rankings einbüßen müssen. Deswegen wäre ich froh, wenn mir jemand weiter helfen könnte.
Betroffene Seite: [http://bit.ly/2lTeh6f](http://bit.ly/2lTeh6f)
Robots.txt: [http://bit.ly/2kM8X4s](http://bit.ly/2kM8X4s)
Viele Grüße,
MCube
---
### Author:  [@NextMike](https://forum.shopware.com/u/NextMike)
#### Post date: [18. September 2019 um 08:52 UTC](https://forum.shopware.com/t/seiten-laut-google-aufgrund-von-robots-txt-nicht-crawlbar-obwohl-alles-in-ordnung-ist/61826/2 "2019-09-18T08:52:10Z")
Kann leider nicht viel helfen. 2 Punkte sind mir aufgefallen:
- es ist keine Standard robots.txt. Aus welchen Grund werden andere Pfade gesperrt und widerum mehr zugelassen? Hier ist eine Standard: [https://www.shopwaredemo.de/robots.txt](https://www.shopwaredemo.de/robots.txt)
- die Seite ist nicht auf Deutsch, sie wird wohl kaum im deutschen Index landen
---
### Author:  [@MCube](https://forum.shopware.com/u/MCube)
#### Post date: [18. September 2019 um 09:11 UTC](https://forum.shopware.com/t/seiten-laut-google-aufgrund-von-robots-txt-nicht-crawlbar-obwohl-alles-in-ordnung-ist/61826/3 "2019-09-18T09:11:18Z")
Die robots.txt wird ja zum teil von Shopware selbst erstellt, wenn ich das richtig verstanden habe. Ich würde gerne das Crawl Delay rausnehmen, habe aber hier im Forum keine Antwort gefunden wie ich es kann. Die index Datei auf dem Server, auf welcher ich die ausgeschlossenen Seiten eintrage, beinhaltet die Infos gar nicht.
Die Seite war ja ne ganze Zeit lang indexiert und ist es momentan auch noch. Nur die robots.txt hindert Google alle zwei Wochen daran die Seite zu crawlen. Kann da weder ein Muster noch eine bestimmte Zeit festellen.
---
### Author:  [@NextMike](https://forum.shopware.com/u/NextMike)
#### Post date: [18. September 2019 um 09:39 UTC](https://forum.shopware.com/t/seiten-laut-google-aufgrund-von-robots-txt-nicht-crawlbar-obwohl-alles-in-ordnung-ist/61826/4 "2019-09-18T09:39:50Z")
Liegt eine robots.txt auf dem Server? Hast du ein Projekt übernommen oder alles selbst gemacht? Geh noch mal auf meine Punkte aus ersten Antwort ein.
---
### Author:  [@MCube](https://forum.shopware.com/u/MCube)
#### Post date: [18. September 2019 um 10:01 UTC](https://forum.shopware.com/t/seiten-laut-google-aufgrund-von-robots-txt-nicht-crawlbar-obwohl-alles-in-ordnung-ist/61826/5 "2019-09-18T10:01:19Z")
Ich hab auf dem Server eine index Datei dort kann ich die gesperrten Pfade eintragen. Also nicht die komplette Datei bearbeiten. Die Pfade sind deshalb gesperrt, da /us/ /reseller/ einfach nur duplizierte Seiten mit anderer Währung sind, so sind diese Seiten teilweise doppelt in den Suchergebnissen erschienen bzw. haben sich abgewechselt. Mittelfristig will ich das mit hreflangs lösen, aber kurzfristig will ich erstmal dass unsere Rankings nicht all zwei Wochen einbrechen. Ne ich habe das übernommen und derjenige, der das gemacht hat, ist momentan nicht zu erreichen.
---
### Author:  [@NextMike](https://forum.shopware.com/u/NextMike)
#### Post date: [18. September 2019 um 10:33 UTC](https://forum.shopware.com/t/seiten-laut-google-aufgrund-von-robots-txt-nicht-crawlbar-obwohl-alles-in-ordnung-ist/61826/6 "2019-09-18T10:33:23Z")
Sorry, da fällt mir leider nichts ein. Vielleicht mal Google kontaktieren?
---
### Author:  [@msslovi0](https://forum.shopware.com/u/msslovi0)
#### Post date: [18. September 2019 um 10:41 UTC](https://forum.shopware.com/t/seiten-laut-google-aufgrund-von-robots-txt-nicht-crawlbar-obwohl-alles-in-ordnung-ist/61826/7 "2019-09-18T10:41:57Z")
Kann es sein, dass deine /frontend/robots\_txt/index.tpl nicht vom Bare-Theme erbt bzw. {$smarty.block.parent}-Anweisungen fehlen und sie deshalb Elemente nicht enthält, die eigentlich enthalten sein sollten?
Für mich sieht das ja nach einem internen DC-Problem aus.
[https://cube-biotech.com/products/nanodisc-products/synthetic-polymers/diisobutylene-maleic-acid-dibma/](https://cube-biotech.com/products/nanodisc-products/synthetic-polymers/diisobutylene-maleic-acid-dibma/)
[https://cube-biotech.com/de/products/nanodisc-products/synthetic-polymers/diisobutylene-maleic-acid-dibma/](https://cube-biotech.com/de/products/nanodisc-products/synthetic-polymers/diisobutylene-maleic-acid-dibma/)
Sind beide indiziert, sind aber identisch.
Gruß
Matt
---
### Author:  [@MCube](https://forum.shopware.com/u/MCube)
#### Post date: [18. September 2019 um 11:46 UTC](https://forum.shopware.com/t/seiten-laut-google-aufgrund-von-robots-txt-nicht-crawlbar-obwohl-alles-in-ordnung-ist/61826/8 "2019-09-18T11:46:43Z")
@NextMike das habe ich getan bevor ich hier geschrieben habe, weil ich dachte, dass es eventuell ein Shopware Problem ist. Gerade eben habe ich die Antwort erhalten, dass alle Anfragen aus den USA automatisch auf /us weitergeleitet werden und das steht nun mal im robots.txt …
@msslovi0 Du scheinst recht zu haben. Die Datei im Bar-Theme enthält auch einige Einschränkungen, welche nicht in der robots.txt auftauchen. Ich weiß ehrlich gesagt nicht wie ich dann an die andere Datei rankommen soll.
Das DC-Problem versuche ich dann über hreflang in den Griff zu bekommen.
Danke jedenfalls für eure Antworten,
MCube
---
### Author:  [@msslovi0](https://forum.shopware.com/u/msslovi0)
#### Post date: [18. September 2019 um 15:15 UTC](https://forum.shopware.com/t/seiten-laut-google-aufgrund-von-robots-txt-nicht-crawlbar-obwohl-alles-in-ordnung-ist/61826/9 "2019-09-18T15:15:54Z")
Die Datei in deinem Theme muss vom Bare-Theme extenden und du musst dann den entsprechenden Block erweitern. Wie das geht ist hier beschrieben:
[https://docs.shopware.com/de/shopware-5-de/tutorials-und-faq/aenderungen-am-template-vornehmen](https://docs.shopware.com/de/shopware-5-de/tutorials-und-faq/aenderungen-am-template-vornehmen)
Gruß
Matt