Hallo, ich habe eine Webseite in den Google-Webmastertools eingetragen. Dort wird mir nun folgende Meldung angezeigt: „Der Googlebot hat keinen Zugriff auf Ihre Website“ Weiter heißt es: „In den letzten 24 Stunden hat der Googlebot 5 Fehler beim Zugreifen auf Ihre robots.txt-Datei festgestellt. Damit keine Seiten gecrawlt werden, die in dieser Datei aufgeführt sind, wurde das Crawling verschoben. Die Gesamtfehlerquote für die robots.txt Ihrer Website liegt bei 100.0 %.“ Die robots-Datei sieht wie folgt aus: User-agent: * Disallow: /de/compare Disallow: /de/checkout Disallow: /de/register Disallow: /de/account Disallow: /de/note Sitemap: http://www.meinedomain.com/de/sitemap.xml Nun weiß ich nicht genau, was es mit dieser Meldung auf sich hat oder inwiefern das Auswirkungen auf das Indexieren der Webseite hat. Weiß da jemand mehr?
Warscheinlich war die Website zu Anfang durch die robots.txt geblockt. Bis der Google Bot die neue robots.txt lädt kann es einige Tage oder auch Wochen dauern. Da hilft nur abwarten und Tee trinken. An der robots.txt liegt es nicht. Die ist so wie sie ist völlig in Ordnung.
Erstmal danke für die schnelle Antwort. Also die Webseite ist schon seit 2-3 Monaten online und taucht auch in Google auf wenn man danach sucht. Sprich, ist ist eigentlich nichts wichtiges geblockt. Daher eben die Frage, auf was genau sich das auswirkt bzw. ob dadurch meine Webseite was die Suche betrifft beeinflusst wird? Als Hilfestellung wird von Google folgendes genannt: 1. Versuchen Sie, mit einem Webbrowser auf http://www.meinedomain.com/robots.txt zuzugreifen. Falls dies möglich ist, ist Ihre Website möglicherweise so konfiguriert, dass dem Googlebot der Zugriff verweigert wird. Überprüfen Sie die Konfiguration Ihrer Firewall und Ihrer Website, um sich zu vergewissern, dass dem Googlebot nicht der Zugriff verweigert wird. (auf die Robots-Datei kann ich über den Link zugreifen) 2. Handelt es sich bei Ihrer robots.txt-Datei um eine statische Seite, überprüfen Sie, ob Ihr Webdienst die für den Zugriff auf die Datei erforderlichen Berechtigungen besitzt. 3. Falls Ihre robots.txt-Datei dynamisch erstellt wird, vergewissern Sie sich, dass die Skripts, die sie erstellen, ordnungsgemäß konfiguriert sind und zur Ausführung berechtigt sind. Überprüfen Sie in den Protokollen für Ihre Website, ob es bei der Ausführung Ihrer Skripts Fehler gibt. Ist dies der Fall, versuchen Sie, die Ursache der Fehler zu ermitteln.“
Wenn dieses Problem bestehen bleibt, wird die Seite bei den Suchergebnissen rausgenommen, weil sie von den bots überhaupt nicht betreten werden kann. Allerdings sieht die robots.txt eigentlich in Ordnung aus. Ist sie wirklich genau so oder steht da noch etwas anderes drin? Oder hast du sie zwischenzeitlich geändert?
Das was ich hier eingefügt habe, ist der komplette Inhalt der robots-Datei. Habe ihn 1:1 kopiert. An der robots-Datei selbst habe ich auch noch nie etwas verändert. Hier ist z.b. ein Screenshot aus den Webmastertools im Bereich „Crawling > Crawling-Fehler“.
Hallo, das ist ja sehr ungewöhnlich. Was hast du denn bei dem Zeitraum bzw. ein Tag vorher gemacht? Einstellungen im Shop oder vielleicht direkt in Google geändert? So habe ich da auch keine Erklärung für. Bisher hatte ich so einen Fall auch nicht, dass das komplett einbricht. Da muss ja grundsätzlich was nicht mehr passen. Sebastian
Das weiß ich ehrlich gesagt nicht mehr. Aber großartig wurde da nichts verändert. Kann es sein dass die Meldung eventuell durch serverbedingte Ausfälle entstanden ist? Zum anderen sehe ich, dass die Meldung mir zwar in den Webmastertools noch angezeigt wird, aber sie ist vom 25. Mai 2014. Und wie im Diagram zu sehen scheint es da ja nur Problem im Zeitraum vom 22. - 26. Mai gegeben zu haben und danach sieht es doch ok aus. Oder interpretiere ich das falsch? Sprich, dann könnte man die Meldung doch eigentlich ignorieren (da erledigt)?