# 4000 Crawling-Fehler (503) **URL:** \ **Category:** Allgemein\ **Created:** [6. Mai 2016 um 11:13 UTC](https://forum.shopware.com/t/4000-crawling-fehler-503/36590 "2016-05-06T11:13:52Z")\ **Posts on this page:** 9\ **Page:** 1
**Author:** ![Mogly](https://avatars.discourse-cdn.com/v4/letter/m/b3f665/32.png) [@Mogly](https://forum.shopware.com/u/Mogly)\ **Post date:** [6. Mai 2016 um 11:13 UTC](https://forum.shopware.com/t/4000-crawling-fehler-503/36590/1 "2016-05-06T11:13:52Z")
Hi, habe grade mal einen Blick in die Google-Webmaster-Tools riskiert und zu meinem Erstaunen spuckt google für unseren Shop über 4000 Crawling-Fehler (503 - Service unavailable) raus(!) Die Fehlerliste fängt schon an bei unserer Domain, zieht sich durch alle Kategorien und Artikel durch. Habe alles geprüft und mir ist irgendwie total unklar woher das kommt. Unser Server war die ganze Zeit über zu erreichen.   Hat jemand sowas schonmal erlebt oder kann mir was dazu sagen wo ich den Fehler suchen kann? ---
**Author:** ![hth](https://avatars.discourse-cdn.com/v4/letter/h/b77776/32.png) [@hth](https://forum.shopware.com/u/hth)\ **Post date:** [6. Mai 2016 um 11:31 UTC](https://forum.shopware.com/t/4000-crawling-fehler-503/36590/2 "2016-05-06T11:31:56Z")
Hallo, zum Zeitpunkt des Crawlings waren die Links zumindest nicht erreichbar.  Du könntest das Verhalten für die \_\_escaped\_fragment\_ \_Technologie überprüfen. Damit ist es möglich per Ajax generierte Seiten für den Crawler zugänglich zu machen. Es gibt Plugins, die dabei zu einem 503-Error führen.  > **[Full Specification  |  AJAX Crawling (Deprecated)  | ...](https://developers.google.com/search/docs/ajax-crawling/docs/specification)** Zur Überprüfung:  [Deinedomain.de/?\_escaped\_fragment\_](http://Deinedomain.de/?_escaped_fragment_) ---
**Author:** ![Mogly](https://avatars.discourse-cdn.com/v4/letter/m/b3f665/32.png) [@Mogly](https://forum.shopware.com/u/Mogly)\ **Post date:** [6. Mai 2016 um 13:51 UTC](https://forum.shopware.com/t/4000-crawling-fehler-503/36590/3 "2016-05-06T13:51:20Z")
Hi, > zum Zeitpunkt des Crawlings waren die Links zumindest nicht erreichbar.    Ja das dachte ich zuerst auch, jedoch wird mein Server die permanent überwacht und ich bekommen status-emails, wenn sich was auf der Kiste ändert oder es Downtimes gibt. Dem war nicht so. Google-Webmaster-Tools meldet, dass sogar die Domain, also „/“ einen 503 zurückgegeben hat. ---
**Author:** ![hth](https://avatars.discourse-cdn.com/v4/letter/h/b77776/32.png) [@hth](https://forum.shopware.com/u/hth)\ **Post date:** [6. Mai 2016 um 14:30 UTC](https://forum.shopware.com/t/4000-crawling-fehler-503/36590/4 "2016-05-06T14:30:31Z")
> [@Mogly schrieb:](https://forum.shopware.com/profile/22694/Mogly "Mogly") > > Hi, > > > zum Zeitpunkt des Crawlings waren die Links zumindest nicht erreichbar.  > >   > > Ja das dachte ich zuerst auch, jedoch wird mein Server die permanent überwacht und ich bekommen status-emails, wenn sich was auf der Kiste ändert oder es Downtimes gibt. Dem war nicht so. Google-Webmaster-Tools meldet, dass sogar die Domain, also „/“ einen 503 zurückgegeben hat. Daher ja auch der Vorschlag das Verhalten für escaped\_fragment Ausliefrung zu testen. Das „sieht“ ein Monitoring Tool in der Regel nicht, aber der GoogleBot und es kommt bei den Einkaufwelten zum Einsatz. Auf der Startseite sollte es dann einen 503-error geben, wenn dies die Ursache ist. Die Plugins als Ursache habe ich schon bei Kunden gehabt und es ist hier auch schon im Forum aufgetaucht.  Meldet das Monitoring denn 503 oder „misst“ es nur die Erreichbarkeit auf z. B. Port 80 einer index.html?Dann würde ein Fehler in Shopware nicht bemerkt und es ist eine gängige Methode nur die Erreichbarkeit des Webservers und nicht das Funktionieren einer bestimmten Software zu messen. ---
**Author:** ![Mogly](https://avatars.discourse-cdn.com/v4/letter/m/b3f665/32.png) [@Mogly](https://forum.shopware.com/u/Mogly)\ **Post date:** [9. Mai 2016 um 10:47 UTC](https://forum.shopware.com/t/4000-crawling-fehler-503/36590/5 "2016-05-09T10:47:04Z")
Hey, habe es mit _escaped\_fragment_ getestet und es ist sieht alles ok aus. Was noch sehr auffällig ist, dass ich den Serverlogs sehen kann, dass der Googlebot einige Seiten problemlos erreichen kann (HTTP 200)  und andere, die meisten, eben nicht (HTTP 503). Es handelt sich größtenteils um Produktdetailseiten. Auch hier habe ich, so blöd es auch erscheinen mag, mal den Quellcode verglichen in der Hoffnung etwas zu finden, aber nichts 😕 ---
**Author:** ![hth](https://avatars.discourse-cdn.com/v4/letter/h/b77776/32.png) [@hth](https://forum.shopware.com/u/hth)\ **Post date:** [9. Mai 2016 um 11:21 UTC](https://forum.shopware.com/t/4000-crawling-fehler-503/36590/6 "2016-05-09T11:21:18Z")
> [@Mogly schrieb:](https://forum.shopware.com/profile/22694/Mogly "Mogly") > > Hey, habe es mit _escaped\_fragment_ getestet und es ist sieht alles ok aus. > > Was noch sehr auffällig ist, dass ich den Serverlogs sehen kann, dass der Googlebot einige Seiten problemlos erreichen kann (HTTP 200)  und andere, die meisten, eben nicht (HTTP 503). Es handelt sich größtenteils um Produktdetailseiten. Auch hier habe ich, so blöd es auch erscheinen mag, mal den Quellcode verglichen in der Hoffnung etwas zu finden, aber nichts ![:/](https://dub1.discourse-cdn.com/flex013/resources/emoji/confused.png ":/") Sind denn alle 503-Errors im Server-Log mit dem Useragent-String des Googlebots? Falls ja, greift vielleicht ein Plugin so in das System ein, dass es mit diesem UA zu einem 503-Fehler kommt. Gibt es Unterschiede in den Seiten mit 200- und 503-Response . Vielleicht liegt das Problem auch gar nicht in Shopware, sondern in irgendeiner Art von Firewall/IDS-Software, die den Googlebot blockiert. Obwohl ich das eigentlich nicht glaube.  Ich gehe mal davon aus, dass die 503-Errors nicht zu Zeiten auftreten, wo viele Zugriffe (echte Nutzer/Bots) den Server/Shopware lahmlegen .  Kannst Du den 503-Fehler eigentlich reproduzieren, wenn Du als UA den Userstring des Googlebot verwendest? ---
**Author:** ![Mogly](https://avatars.discourse-cdn.com/v4/letter/m/b3f665/32.png) [@Mogly](https://forum.shopware.com/u/Mogly)\ **Post date:** [9. Mai 2016 um 12:24 UTC](https://forum.shopware.com/t/4000-crawling-fehler-503/36590/7 "2016-05-09T12:24:57Z")
Habe robots.txt, .htaccess, die ganze Server-Konfiguration überprüft. Hier dran liegt es nicht. Nachdem ich die beiden Threads hier zu dem Thema genaustens unter die Lupe genommen habe und alle Plugins und Widgets nach und nach abgeschaltet habe, zeigt “Aufruf wie durch Google” endlich ein günes Häkchen an(!) … TATSACHE: Shopware liefert dem googlebot einen 503-Error, wenn z.b. die Funktion **sCheckUser()** aufgerufen wird. Jetzt stellt sich das Problem, dass diese Funktion unbedingt gebraucht wird damit der Shop funktioniert. Hat jemand eine Idee wie man den Login-Status sonst abfragen kann? ---
**Author:** ![hth](https://avatars.discourse-cdn.com/v4/letter/h/b77776/32.png) [@hth](https://forum.shopware.com/u/hth)\ **Post date:** [9. Mai 2016 um 12:44 UTC](https://forum.shopware.com/t/4000-crawling-fehler-503/36590/8 "2016-05-09T12:44:41Z")
> [@Mogly schrieb:](https://forum.shopware.com/profile/22694/Mogly "Mogly") > > Habe robots.txt, .htaccess, die ganze Server-Konfiguration überprüft. Hier dran liegt es nicht. Nachdem ich die beiden Threads hier zu dem Thema genaustens unter die Lupe genommen habe und alle Plugins und Widgets nach und nach abgeschaltet habe, zeigt „Aufruf wie durch Google“ endlich ein günes Häkchen an(!) … > > TATSACHE: > > Shopware liefert dem googlebot einen 503-Error, wenn z.b. die Funktion **sCheckUser()** aufgerufen wird. Jetzt stellt sich das Problem, dass diese Funktion unbedingt gebraucht wird damit der Shop funktioniert. > > Hat jemand eine Idee wie man den Login-Status sonst abfragen kann? Wie und wo verwendet ihr die Funktion denn?  ---
**Author:** ![Mogly](https://avatars.discourse-cdn.com/v4/letter/m/b3f665/32.png) [@Mogly](https://forum.shopware.com/u/Mogly)\ **Post date:** [10. Mai 2016 um 06:24 UTC](https://forum.shopware.com/t/4000-crawling-fehler-503/36590/9 "2016-05-10T06:24:36Z")
Auf jeder Seite 😕 Es fängt damit an, dass wir eingeloggte Kunden begrüßen und hört damit auf, dass wir je nach “eingeloggt als EK oder H”, verschiedene Parameter an sie Suche übrgeben damit unsere B2B-Kunden z.T. andere Artikel angezeigt bekommen. Das Session-Problem beim Bot habe ich nun gelöst. Jedoch besteht das 503-Problem noch bei allen Detailseiten 😕 Hier habe ich leider keinen Schimmer was das verursachen könnte.