# robots.txt

**URL:** <https://forum.shopware.com/t/robots-txt/4089>\
**Category:** Shopware 3.5\
**Tags:** other\
**Created:** [29. August 2011 um 12:28 UTC](https://forum.shopware.com/t/robots-txt/4089 "2011-08-29T12:28:04Z")\
**Posts on this page:** 3\
**Page:** 1

<div class="post-metadata">

**Author:** ![artep](https://avatars.discourse-cdn.com/v4/letter/a/aca169/32.png) [@artep](https://forum.shopware.com/u/artep)\
**Post date:** [29. August 2011 um 12:28 UTC](https://forum.shopware.com/t/robots-txt/4089/1 "2011-08-29T12:28:04Z")

</div>

Hi, in der robots.txt habe ich einige Seiten wie AGb etc. ausgesperrt. Diese werden aber trotzdem von google indexiert. Richtig eingetragen ist alles. Weiß jemand hier warum das trotzdem gecrawlt wird? Ich bin ratlos! User-agent: \* Disallow: /datenschutz Disallow: /agb-unternehmer Disallow: /agb-endverbraucher

---

<div class="post-metadata">

**Author:** ![Holger\_Fuchter](https://avatars.discourse-cdn.com/v4/letter/h/13edae/32.png) [@Holger\_Fuchter](https://forum.shopware.com/u/Holger_Fuchter)\
**Post date:** [29. August 2011 um 12:46 UTC](https://forum.shopware.com/t/robots-txt/4089/2 "2011-08-29T12:46:39Z")

</div>

Der Robot kommt etwa alle 4 Wochen, hat er einmal Indexiert bleiben die Ergebnisse bestehen- auch wenn im Nachhinein die [Robots.txt](http://www.google.com/support/webmasters/bin/answer.py?hl=de&answer=156449) angepasst wurde. Du wirst, um schneller ein Ergebnis zu bekommen, einen [Löschantrag stellen](http://www.google.com/support/webmasters/bin/answer.py?hl=de&answer=164734) müssen. Danach kann man das Crawlen auch manuell beantragen, geht schneller als den Crawling Interval abzuwarten ([=\>Crawlen beantragen](http://www.google.com/support/webmasters/bin/answer.py?hl=de&answer=1352276)). Wie der Googlebot Deine Seite sieht kannst Du [hier prüfen](http://www.google.com/support/webmasters/bin/answer.py?hl=de&answer=158587). Im Quellcode kannst Du natürlich auch etwas machen, den es gibt für Links speziell den [NoFollow Tag](http://www.google.com/support/webmasters/bin/answer.py?hl=de&answer=96569), der sich besonders für Statische Seiten anbietet. Mit etwas Geduld wird das was 😉

---

<div class="post-metadata">

**Author:** ![artep](https://avatars.discourse-cdn.com/v4/letter/a/aca169/32.png) [@artep](https://forum.shopware.com/u/artep)\
**Post date:** [29. August 2011 um 12:50 UTC](https://forum.shopware.com/t/robots-txt/4089/3 "2011-08-29T12:50:09Z")

</div>

Hi, danke. Ich hatte die robots.txt ja vor längerer Zeit geändert und nun ist alles wieder indiziert worden. Sieht man ja am Datum in Cache! Werde die Links mal durchgehen, mal sehen was das bringt!