Hallo, ich habe bereits bei 2 Kunden eine robots.txt auf einem frisch installierten Shopware Projekt entdeckt.
Ich habe keine Ahnung woher die Datei kommt. Sie ist ja im Installer nicht vorhanden…
Hosting ist bei Profihost, ich könnte mir nöchstens vorstellen das die Datei schon zuvor dort lag und ich sie nicht beachtet habe.
Inhalt:
User-agent: *
Crawl-delay: 10
Also Augen auf 
Vll noch als Tip. Wenn der DocumentRoot änderbar ist, man nicht in der Ordnerhierarchie hoch gehen kann, dann statt alles in den Standardordner zu schieben und Restdateien drin zu haben:
/
-bin
-engine
-themes
-var
-shopware.php
-irgendeinerobots.txt
-willkommenbeiprofihost.index.html
ist es komfortabler einen Subordner zu erstellen und dort den Shop zu erstellen. Macht sich leichter für Parallele Installationen
/Shop1/
-bin
-engine
-themes
-var
-shopware.php
/Shop2/
-bin
-engine
-themes
-var
-shopware.php
/irgendwasanderes/
-index.html
*Sinngemäß
Die Robots.txt wird von Shopware automatisch generiert auf Basis der Konfigurationen.
Wenn du die Datei löschst und dann versuchst per URL auf die Datei zuzugreiffen wird diese wie durch Geisterhand wieder erscheinen 
Die Datei ist aber auch nicht schlimm, die sagt bloss deinen Seitenbesuchern, Crawlern und Bots welche Ordner Tabu sind und so.