robots.txt-Datei

Shopware 5
1

Hallo und guten morgen,
ich bekomme immer wieder von Google die Meldung,
Indexiert, obwohl durch robots.txt-Datei blockiert
wer kann mir helfen?
Vielen Dank
Gruß
Stefan

2

Bist du dir sicher, dass es „indexiert“ ist? Google Crawlt auch Webseiten, die durch nofollow, noindex und robots.txt ausgeschlossen sind. Diese werden lediglich nicht in den Index übernommen.

Vermutlich wird die robots.txt dann falsch sein. Was sagt denn die Seach Console zur robots.txt?

3

hier die ganze Nachricht,

An den Inhaber von https://www.elektro-hausmann.de/:

Die Search Console hat festgestellt, dass Ihre Website von 1 Problem(en) des Typs „Seitenindexierung“ betroffen ist. Auf Ihrer Website wurden die folgenden Probleme gefunden. Wir empfehlen, diese Probleme nach Möglichkeit zu beheben, damit die Google Suche optimal funktioniert und eine hohe Reichweite hat.

Häufigste nicht kritische Probleme**

Indexiert, obwohl durch robots.txt-Datei blockiert

**Nicht kritische Probleme sind Verbesserungsvorschläge. Sie verhindern nicht, dass eine Seite oder Funktion in den Ergebnissen der Google Suche angezeigt wird. Einige nicht kritische Probleme wirken sich negativ auf die Darstellung in der Suche aus, andere könnten später zu kritischen Problemen hochgestuft werden.

4

Zitat aus GSC: Indexiert, obwohl durch robots.txt-Datei blockiert und Meta noindex gesetzt - Google Search Central-Community

Um die Seiten aus dem Index zu bekommen muß der Crawler das „canonical“ oder das „noindex“ sehen können, das geht nur wenn du ihm nicht mittels robots.txt das Crawlen verbietest. Aber das hat dir ja Google auch schon so mitgeteilt wie du in deinem Post ja schreibst. Dazu gibt es keine Alternative, außer natürlich, diese URLs erst gar nicht zu erzeugen.

5

Vielen Dank
Gruß
T. Hausmann

6

Hallo,
ich muss mich noch einmal zu meinem Problem melden,
GSC: Indexiert, obwohl durch robots.txt-Datei blockiert und Meta noindex gesetzt
Wie kann ich dieses robot-Problem lösen. Wo wurde es installiert. Kannst du mir da etwas zu sagen, wie das Programm finden???
Gruß
Stefan

7

Hallo,

ohne Details, welche URL´s konkret blockiert werden, kann Dir hier niemand helfen und ist eher Frage für die Glaskugel.

Viele Grüße

8

Hallo,
das heißt, wenn Ihr so ein Problem haben solltet, werft Ihr den PC aus dem Fenster und hängt Euch auf.
Oder wie soll ich das verstehen. Da muss es doch eine Lösung geben.
Gruß
Stefan

9

Naja, wenn Du keine Details lieferst, welche Seiten vom Index ausgeschlossen werden (zu sehen in den Google Webmaster Tools) bzw. wie denn Deine robots.txt überhaupt aussieht, kannst Du hier auch keine Hilfe erwarten.

10
11

Immer wenn ich eine URL schicken will, kommt die Meldung: Ein Fehler ist aufgetreten: Entschuldige, leider kannst du keinen Link zu diesem Host posten.

12

OK, Deine robots.txt (https://www.elektro-hausmann.de/robots.txt) sieht also wie folgt aus:

User-agent: *

Disallow: /compare
Disallow: /checkout
Disallow: /register
Disallow: /account
Disallow: /note

Allow: /widgets/emotion

Wenn in Deinen Google Webmaster Tools die o.a. „Disallow“ Links auftauchen, kannst Du das ignorieren, da diese für die Indexierung Deines Shops unrelevant sind (= sind nur Links zu Shop-Funktionen wie Artikel-Vergleich, zur Kasse, Kunden-Registrierung, Kunden-Konto und Notizen). Falls Dich die Google Meldung stört, kannst Du aber auch entsprechend Deine robots.txt im Hauptverzeichnis Deiner Shop-Installation anpassen und z.B. diese Disallow Einträge entfernen.

Viele Grüße

13

OK
Danke
Gruß
Stefan