# robots.txt auf dem Server?

**URL:** <https://forum.shopware.com/t/robots-txt-auf-dem-server/50245>\
**Category:** Sonstiges\
**Created:** [3. Januar 2018 um 11:44 UTC](https://forum.shopware.com/t/robots-txt-auf-dem-server/50245 "2018-01-03T11:44:51Z")\
**Posts on this page:** 3\
**Page:** 1

<div class="post-metadata">

**Author:** ![Mike\_W](https://avatars.discourse-cdn.com/v4/letter/m/a87d85/32.png) [@Mike\_W](https://forum.shopware.com/u/Mike_W)\
**Post date:** [3. Januar 2018 um 11:44 UTC](https://forum.shopware.com/t/robots-txt-auf-dem-server/50245/1 "2018-01-03T11:44:51Z")

</div>

Hallo, ich habe bereits bei 2 Kunden eine robots.txt auf einem frisch installierten Shopware Projekt entdeckt.  
Ich habe keine Ahnung woher die Datei kommt. Sie ist ja im Installer nicht vorhanden…  
Hosting ist bei Profihost, ich könnte mir nöchstens vorstellen das die Datei schon zuvor dort lag und ich sie nicht beachtet habe.

Inhalt:

```
User-agent: *
Crawl-delay: 10

```

Also Augen auf 🙂

---

<div class="post-metadata">

**Author:** ![brettvormkopp](https://dub1.discourse-cdn.com/flex013/user_avatar/forum.shopware.com/brettvormkopp/32/7788_2.png) [@brettvormkopp](https://forum.shopware.com/u/brettvormkopp)\
**Post date:** [3. Januar 2018 um 12:13 UTC](https://forum.shopware.com/t/robots-txt-auf-dem-server/50245/2 "2018-01-03T12:13:56Z")

</div>

Vll noch als Tip. Wenn der DocumentRoot änderbar ist, man nicht in der Ordnerhierarchie hoch gehen kann, dann statt alles in den Standardordner&nbsp;zu schieben und Restdateien drin zu haben:

```
/
-bin
-engine
-themes
-var
-shopware.php
-irgendeinerobots.txt
-willkommenbeiprofihost.index.html

```

ist es komfortabler einen Subordner zu erstellen und dort den Shop zu erstellen. Macht sich leichter für Parallele Installationen

```
/Shop1/
-bin
-engine
-themes
-var
-shopware.php

/Shop2/
-bin
-engine
-themes
-var
-shopware.php

/irgendwasanderes/
-index.html

```

\*Sinngemäß

---

<div class="post-metadata">

**Author:** ![PStadtfeld](https://avatars.discourse-cdn.com/v4/letter/p/3bc359/32.png) [@PStadtfeld](https://forum.shopware.com/u/PStadtfeld)\
**Post date:** [22. Januar 2018 um 15:24 UTC](https://forum.shopware.com/t/robots-txt-auf-dem-server/50245/3 "2018-01-22T15:24:13Z")

</div>

Die Robots.txt wird von Shopware automatisch generiert auf Basis der Konfigurationen.

Wenn du die Datei löschst und dann versuchst per URL auf die Datei zuzugreiffen wird diese wie durch Geisterhand wieder erscheinen 😉

&nbsp;

Die Datei ist aber auch nicht schlimm, die sagt bloss deinen Seitenbesuchern, Crawlern und Bots welche Ordner Tabu sind und so.