# vernünftige robots.txt

**URL:** <https://forum.shopware.com/t/vernunftige-robots-txt/8485>\
**Category:** Shopware 3.5\
**Tags:** general\
**Created:** [7. September 2012 um 10:59 UTC](https://forum.shopware.com/t/vernunftige-robots-txt/8485 "2012-09-07T10:59:38Z")\
**Posts on this page:** 3\
**Page:** 1

<div class="post-metadata">

**Author:** ![fliesen](https://avatars.discourse-cdn.com/v4/letter/f/22d042/32.png) [@fliesen](https://forum.shopware.com/u/fliesen)\
**Post date:** [7. September 2012 um 10:59 UTC](https://forum.shopware.com/t/vernunftige-robots-txt/8485/1 "2012-09-07T10:59:38Z")

</div>

Hallo, ich hatte das Problem dass bei google viele checkout seiten im Index waren und einige seiten mit Core id zusätzlich zu den eigentlichen seo urls. Auf hinweis vom shopware support der mir einen link ähnlichen beiträgen im forum schickte habe ich eine robts.txt mit folgendem Inhalt auf den server geladen: User-agent: \* Disallow: /recommendation/ Disallow: /account/ Disallow: /checkout/ Disallow: /register/ Disallow: /303/ Disallow: /admin/ Jetzt hat sich google aber beschwert, dass der bot keinen zugriff auf die Seite mehr hat. Was ist falsch bzw. muss geändert werden? Bitte DRINGEND um Hilfe

---

<div class="post-metadata">

**Author:** ![icovershop](https://avatars.discourse-cdn.com/v4/letter/i/35a633/32.png) [@icovershop](https://forum.shopware.com/u/icovershop)\
**Post date:** [5. Oktober 2012 um 20:31 UTC](https://forum.shopware.com/t/vernunftige-robots-txt/8485/2 "2012-10-05T20:31:17Z")

</div>

Hier ist meine Robots.txt # robots.txt fuer [http://www.icover-shop.de](http://www.icover-shop.de) # exclude folders User-Agent: \* Disallow: /cache/ Disallow: /engine/ Disallow: /files/ Disallow: /templates/ Disallow: /uploads/ Disallow: /newsletter/ Disallow: /shopware.php/sViewport,admin Disallow: /shopware.php/sViewport,note Disallow: /shopware.php/sViewport,basket Disallow: /shopware.php/sViewport,rma Disallow: /shopware.php/sViewport,support Disallow: /shopware.php/sViewport,ticket Disallow: /shopware.php/sViewport,newsletter Disallow: /shopware.php/sViewport,tellafriend Sitemap: [http://www.icover-shop.de/sitemap.xml](http://www.icover-shop.de/sitemap.xml) Sitemap: [http://www.icover-shop.de/sitemap-2.xml](http://www.icover-shop.de/sitemap-2.xml)

---

<div class="post-metadata">

**Author:** ![tschersich](https://avatars.discourse-cdn.com/v4/letter/t/a9adbd/32.png) [@tschersich](https://forum.shopware.com/u/tschersich)\
**Post date:** [5. Oktober 2012 um 20:45 UTC](https://forum.shopware.com/t/vernunftige-robots-txt/8485/3 "2012-10-05T20:45:46Z")

</div>

[quote=“fliesen”]Jetzt hat sich google aber beschwert, dass der bot keinen Zugriff auf die Seite mehr hat. Was ist falsch bzw. muss geändert werden?[/quote] Es ist doch in Ordnung, wenn sich Google jetzt beschwert, dass er auf die Checkout Seiten nicht mehr drauf darf, die er vorher indiziert hatte. Die robots.txt hat auf jeden Fall nichts drin, was ihn davon abhalten würde, die regulären Seiten zu crawlen, was auch ein Blick in die URL Struktur Deiner Sitemap zeigt.