Hallo, ich hatte das Problem dass bei google viele checkout seiten im Index waren und einige seiten mit Core id zusätzlich zu den eigentlichen seo urls. Auf hinweis vom shopware support der mir einen link ähnlichen beiträgen im forum schickte habe ich eine robts.txt mit folgendem Inhalt auf den server geladen: User-agent: * Disallow: /recommendation/ Disallow: /account/ Disallow: /checkout/ Disallow: /register/ Disallow: /303/ Disallow: /admin/ Jetzt hat sich google aber beschwert, dass der bot keinen zugriff auf die Seite mehr hat. Was ist falsch bzw. muss geändert werden? Bitte DRINGEND um Hilfe
Hier ist meine Robots.txt # robots.txt fuer http://www.icover-shop.de # exclude folders User-Agent: * Disallow: /cache/ Disallow: /engine/ Disallow: /files/ Disallow: /templates/ Disallow: /uploads/ Disallow: /newsletter/ Disallow: /shopware.php/sViewport,admin Disallow: /shopware.php/sViewport,note Disallow: /shopware.php/sViewport,basket Disallow: /shopware.php/sViewport,rma Disallow: /shopware.php/sViewport,support Disallow: /shopware.php/sViewport,ticket Disallow: /shopware.php/sViewport,newsletter Disallow: /shopware.php/sViewport,tellafriend Sitemap: http://www.icover-shop.de/sitemap.xml Sitemap: http://www.icover-shop.de/sitemap-2.xml
[quote=“fliesen”]Jetzt hat sich google aber beschwert, dass der bot keinen Zugriff auf die Seite mehr hat. Was ist falsch bzw. muss geändert werden?[/quote] Es ist doch in Ordnung, wenn sich Google jetzt beschwert, dass er auf die Checkout Seiten nicht mehr drauf darf, die er vorher indiziert hatte. Die robots.txt hat auf jeden Fall nichts drin, was ihn davon abhalten würde, die regulären Seiten zu crawlen, was auch ein Blick in die URL Struktur Deiner Sitemap zeigt.