für mehrere einzelne Seiten wird in den Google Suchergebnissen keine Meta Description angezeigt. (Fehlermeldung: Für diese Seite sind keine Informationen verfügbar.) In der Search Console wird mir dann folgender Fehler angezeigt: Indexiert, obwohl durch robots.txt-Datei blockiert.
Bei Überprüfung der robots.txt Datei ist allerdings alles in Ordnung. Ein manueller Test zeigt an, dass die Seite durch den Bot gecrawlt werden kann. Im Quelltext selbst steht die Seite auf index und follow.
Ich hatte diesen Fehler vor ein paar Wochen schon einmal. Es waren vereinzelte Seiten betroffen. Nach einem erneuten Crawl durch Google war alles wieder „normal“. In dieser Zeit hatte unsere Seite allerdings einiges an Rankings einbüßen müssen. Deswegen wäre ich froh, wenn mir jemand weiter helfen könnte.
Kann leider nicht viel helfen. 2 Punkte sind mir aufgefallen:
es ist keine Standard robots.txt. Aus welchen Grund werden andere Pfade gesperrt und widerum mehr zugelassen? Hier ist eine Standard: https://www.shopwaredemo.de/robots.txt
die Seite ist nicht auf Deutsch, sie wird wohl kaum im deutschen Index landen
Die robots.txt wird ja zum teil von Shopware selbst erstellt, wenn ich das richtig verstanden habe. Ich würde gerne das Crawl Delay rausnehmen, habe aber hier im Forum keine Antwort gefunden wie ich es kann. Die index Datei auf dem Server, auf welcher ich die ausgeschlossenen Seiten eintrage, beinhaltet die Infos gar nicht.
Die Seite war ja ne ganze Zeit lang indexiert und ist es momentan auch noch. Nur die robots.txt hindert Google alle zwei Wochen daran die Seite zu crawlen. Kann da weder ein Muster noch eine bestimmte Zeit festellen.
Ich hab auf dem Server eine index Datei dort kann ich die gesperrten Pfade eintragen. Also nicht die komplette Datei bearbeiten. Die Pfade sind deshalb gesperrt, da /us/ /reseller/ einfach nur duplizierte Seiten mit anderer Währung sind, so sind diese Seiten teilweise doppelt in den Suchergebnissen erschienen bzw. haben sich abgewechselt. Mittelfristig will ich das mit hreflangs lösen, aber kurzfristig will ich erstmal dass unsere Rankings nicht all zwei Wochen einbrechen. Ne ich habe das übernommen und derjenige, der das gemacht hat, ist momentan nicht zu erreichen.
Kann es sein, dass deine /frontend/robots_txt/index.tpl nicht vom Bare-Theme erbt bzw. {$smarty.block.parent}-Anweisungen fehlen und sie deshalb Elemente nicht enthält, die eigentlich enthalten sein sollten?
Für mich sieht das ja nach einem internen DC-Problem aus.
@NextMike das habe ich getan bevor ich hier geschrieben habe, weil ich dachte, dass es eventuell ein Shopware Problem ist. Gerade eben habe ich die Antwort erhalten, dass alle Anfragen aus den USA automatisch auf /us weitergeleitet werden und das steht nun mal im robots.txt …
@msslovi0 Du scheinst recht zu haben. Die Datei im Bar-Theme enthält auch einige Einschränkungen, welche nicht in der robots.txt auftauchen. Ich weiß ehrlich gesagt nicht wie ich dann an die andere Datei rankommen soll.
Das DC-Problem versuche ich dann über hreflang in den Griff zu bekommen.