Einkaufwelt wird nicht gecrawlt!

Hallo liebes Forum,

 

mir ist soeben aufgefallen, dass die komplette Einkaufswelt nicht vom Google-Bot gecrawlt werden kann. Dies habe ich erkannt als ich in einem SEO Online Tool nur einen Bruchteil von meinem Text angezeigt wurde. Dann habe ich im Webmaster Tools nachgeschaut und tatsächlich, Google sieht den kompletten Content von der Einkaufswelt nicht. 

Wer es auch nachschauen möchte: Webmaster Tools -> Crawling -> Abruf wie durch Google -> Abrufen -> dann auf “/” klicken

Nun ist die Frage liegt es an meinem Theme (DashOneV2) oder liegt es an Shopware 5.x?

Und was wäre ein Lösungsansatz? Die Einkaufswelt wird mit JavaScript (nach-)geladen, wie könnte man dies ändern?

 

Beste Grüße,

 

Ray

 

Hierzu gibt es schon diverse Beiträge, einfach googlen:

https://www.google.de/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=shopware%20google%20einkaufswelt

 

An der Ajax Lösung liegt es nicht, da Google diese indexieren kann, aber wie gesagt einfach mal die Google Links durchforsten.

1 „Gefällt mir“

Wahrscheinlich liegt es an Deiner „robots.txt“

Einfach mal „widgets“ aus der disallow Regel entfernen . :wink:

Dann sollte es bei „Abruf wie durch Google“ wieder funzen.

Hi bioweg,

 

kayyy hatte richtigen Link gepostet um für Klarheit zu sorgen. Einfach anklicken und durchlesen, dann macht alles wieder Sinn :wink:

 

Beste Grüße,

Ray

Will uns Shopware verarschen?

 

GOOGLE ANTWORT:

 

F: Meine Website folgt derzeit eurer Empfehlung und unterstützt das Format „_escaped_fragment_“. Wird meine Website nun nicht mehr indexiert, da eure Empfehlung eingestellt wurde?
A: Nein, die Website wird weiterhin indexiert. Im Allgemeinen empfehlen wir euch jedoch, beim nächsten Update eurer Website die Best Practices der Branche zu implementieren. Anstelle von URLs im Format „_escaped_fragment_“ crawlen, rendern und indexieren wir in der Regel URLs im Format #!.

F: Wird das Abrücken vom AJAX-Crawlingschema zu den Best Practices der Branche als Websiteverschiebung betrachtet? Muss ich Weiterleitungen implementieren?
A: Wenn die aktuelle Konfiguration im Moment für euch gut funktioniert, muss man nicht sofort wechseln. Wenn ihr eine neue Website aufbaut, oder eine bestehende restrukturiert, empfehlen wir, „_escaped_fragment_“ URLs zu vermeiden.

 

Somit könnt ihr aber gaaaanz schnell euer escaped_fragment in die Tonne kloppen und etwas neues bauen. Von wegen ihr revolutioniert die Branche.

Somit könnt ihr aber gaaaanz schnell euer escaped_fragment in die Tonne kloppen und etwas neues bauen. Von wegen ihr revolutioniert die Branche.

Ich denke nicht, dass man etwas „neues bauen“ muss - denn google schreibt ja auf seinen eigenen Seiten bereits selbst, dass der Bot in der Lage ist den Content auch ohne escaped_fragment zu crawlen. Das Ganze wird ja auch durch die Thematik mit der robots.txt die hier im Forum in den letzten Wochen immer mal wieder aufkam bestätigt (Siehe auch: http://community.shopware.com/Shopware-SEO-Guide\_detail\_1397.html#robots.txt\_-\_Blockierte\_Ressourcen\_in\_Google\_Search\_Console ). Die /widgets werden nur angefragt, wenn die Seite ohne _escaped_fragment aufgerufen wird. Du kannst natürlich gerne vorab auch dein _escaped_fragment ausbauen - das ist erstmal nur ein Meta-Tag im Quellcode.

Quelle: Official Google Webmaster Central Blog: Deprecating our AJAX crawling scheme

In 2009, we made a proposal to make AJAX pages crawlable. Back then, our systems were not able to render and understand pages that use JavaScript to present content to users. Because „crawlers … [were] not able to see any content … created dynamically,“ we proposed a set of practices that webmasters can follow in order to ensure that their AJAX-based applications are indexed by search engines.

Times have changed. Today, as long as you’re not blocking Googlebot from crawling your JavaScript or CSS files, we are generally able to render and understand your web pages like modern browsers. To reflect this improvement, we recently updated our technical Webmaster Guidelines to recommend against disallowing Googlebot from crawling your site’s CSS or JS files.

Eine wirkliche Anpassung oder ein Umbau ist da also erstmal nicht nötig. Der Bot ist mitlerweile so schlau und kann das Ajax auch ähnlich wie der User zunächst rendern und dann mit Crawlen.  

3 „Gefällt mir“