habe grade mal einen Blick in die Google-Webmaster-Tools riskiert und zu meinem Erstaunen spuckt google für unseren Shop über 4000 Crawling-Fehler (503 - Service unavailable) raus(!)
Die Fehlerliste fängt schon an bei unserer Domain, zieht sich durch alle Kategorien und Artikel durch.
Habe alles geprüft und mir ist irgendwie total unklar woher das kommt. Unser Server war die ganze Zeit über zu erreichen.
Hat jemand sowas schonmal erlebt oder kann mir was dazu sagen wo ich den Fehler suchen kann?
zum Zeitpunkt des Crawlings waren die Links zumindest nicht erreichbar.
Du könntest das Verhalten für die __escaped_fragment_ _Technologie überprüfen. Damit ist es möglich per Ajax generierte Seiten für den Crawler zugänglich zu machen. Es gibt Plugins, die dabei zu einem 503-Error führen.
zum Zeitpunkt des Crawlings waren die Links zumindest nicht erreichbar.
Ja das dachte ich zuerst auch, jedoch wird mein Server die permanent überwacht und ich bekommen status-emails, wenn sich was auf der Kiste ändert oder es Downtimes gibt. Dem war nicht so. Google-Webmaster-Tools meldet, dass sogar die Domain, also „/“ einen 503 zurückgegeben hat.
zum Zeitpunkt des Crawlings waren die Links zumindest nicht erreichbar.
Ja das dachte ich zuerst auch, jedoch wird mein Server die permanent überwacht und ich bekommen status-emails, wenn sich was auf der Kiste ändert oder es Downtimes gibt. Dem war nicht so. Google-Webmaster-Tools meldet, dass sogar die Domain, also „/“ einen 503 zurückgegeben hat.
Daher ja auch der Vorschlag das Verhalten für escaped_fragment Ausliefrung zu testen. Das „sieht“ ein Monitoring Tool in der Regel nicht, aber der GoogleBot und es kommt bei den Einkaufwelten zum Einsatz. Auf der Startseite sollte es dann einen 503-error geben, wenn dies die Ursache ist. Die Plugins als Ursache habe ich schon bei Kunden gehabt und es ist hier auch schon im Forum aufgetaucht.
Meldet das Monitoring denn 503 oder „misst“ es nur die Erreichbarkeit auf z. B. Port 80 einer index.html?Dann würde ein Fehler in Shopware nicht bemerkt und es ist eine gängige Methode nur die Erreichbarkeit des Webservers und nicht das Funktionieren einer bestimmten Software zu messen.
Hey, habe es mit escaped_fragment getestet und es ist sieht alles ok aus.
Was noch sehr auffällig ist, dass ich den Serverlogs sehen kann, dass der Googlebot einige Seiten problemlos erreichen kann (HTTP 200) und andere, die meisten, eben nicht (HTTP 503). Es handelt sich größtenteils um Produktdetailseiten. Auch hier habe ich, so blöd es auch erscheinen mag, mal den Quellcode verglichen in der Hoffnung etwas zu finden, aber nichts
Hey, habe es mit escaped_fragment getestet und es ist sieht alles ok aus.
Was noch sehr auffällig ist, dass ich den Serverlogs sehen kann, dass der Googlebot einige Seiten problemlos erreichen kann (HTTP 200) und andere, die meisten, eben nicht (HTTP 503). Es handelt sich größtenteils um Produktdetailseiten. Auch hier habe ich, so blöd es auch erscheinen mag, mal den Quellcode verglichen in der Hoffnung etwas zu finden, aber nichts
Sind denn alle 503-Errors im Server-Log mit dem Useragent-String des Googlebots? Falls ja, greift vielleicht ein Plugin so in das System ein, dass es mit diesem UA zu einem 503-Fehler kommt. Gibt es Unterschiede in den Seiten mit 200- und 503-Response . Vielleicht liegt das Problem auch gar nicht in Shopware, sondern in irgendeiner Art von Firewall/IDS-Software, die den Googlebot blockiert. Obwohl ich das eigentlich nicht glaube.
Ich gehe mal davon aus, dass die 503-Errors nicht zu Zeiten auftreten, wo viele Zugriffe (echte Nutzer/Bots) den Server/Shopware lahmlegen .
Kannst Du den 503-Fehler eigentlich reproduzieren, wenn Du als UA den Userstring des Googlebot verwendest?
Habe robots.txt, .htaccess, die ganze Server-Konfiguration überprüft. Hier dran liegt es nicht. Nachdem ich die beiden Threads hier zu dem Thema genaustens unter die Lupe genommen habe und alle Plugins und Widgets nach und nach abgeschaltet habe, zeigt “Aufruf wie durch Google” endlich ein günes Häkchen an(!) …
TATSACHE:
Shopware liefert dem googlebot einen 503-Error, wenn z.b. die Funktion sCheckUser() aufgerufen wird. Jetzt stellt sich das Problem, dass diese Funktion unbedingt gebraucht wird damit der Shop funktioniert.
Hat jemand eine Idee wie man den Login-Status sonst abfragen kann?
Habe robots.txt, .htaccess, die ganze Server-Konfiguration überprüft. Hier dran liegt es nicht. Nachdem ich die beiden Threads hier zu dem Thema genaustens unter die Lupe genommen habe und alle Plugins und Widgets nach und nach abgeschaltet habe, zeigt „Aufruf wie durch Google“ endlich ein günes Häkchen an(!) …
TATSACHE:
Shopware liefert dem googlebot einen 503-Error, wenn z.b. die Funktion sCheckUser() aufgerufen wird. Jetzt stellt sich das Problem, dass diese Funktion unbedingt gebraucht wird damit der Shop funktioniert.
Hat jemand eine Idee wie man den Login-Status sonst abfragen kann?
Es fängt damit an, dass wir eingeloggte Kunden begrüßen und hört damit auf, dass wir je nach “eingeloggt als EK oder H”, verschiedene Parameter an sie Suche übrgeben damit unsere B2B-Kunden z.T. andere Artikel angezeigt bekommen.
Das Session-Problem beim Bot habe ich nun gelöst. Jedoch besteht das 503-Problem noch bei allen Detailseiten
Hier habe ich leider keinen Schimmer was das verursachen könnte.
