Hallo liebe Community,
ich habe mit dem shop www.e-smoke4you.de folgendes Problem.
siehe auch hier
Laut Google gibt es ein Problemk mit der Robot txt. Was muss ich da beachten bzw. warum wird der Shop nicht richtig indexiert.
Muss ich die Robot.txt selber erstellen oder muss ich im System was einstellen? KOmme leider nicht weiter.
Danke für jede Hilfe im Vorraus,
LG Nico
keiner der helfen kann oder will. Falls jemand ne Agentur kennt die das lösen kann, vorschläge bitte an mich.
Na hast du eine robots.txt in deinem Shop-Root oder nicht?
Aufrufen kann man deine robots.txt, aber wer das verzapft hat, …:
User-agent: \* Disallow: /
Du sperrst alle Crawler aus.
Schau mal per ftp in das Root-Verzeichnis, ob da eine robots.txt liegt. Wenn ja, kannst Du die löschen wenn
die index.tpl unter themes/Frontend/Bare/frontend/robots_txt/ original ist
wie hier beschrieben: http://community.shopware.com/Eigene-robots.txt-erstellen_detail_1328.html
und wenn sich unter themes/Frontend/DEIN-THEME/frontend/robots_txt/ keine index.tpl befindet.
Wenn sich dort eine befindet, lösche die index.tpl auf dem Server und leere den Shop-Cache.
Ich stehe vor demselben Problem. Ich habe an der Installation keine Anpassungen vorgenommen.
Im root liegt keine robots.txt. Wenn ich allerdings www.shop.de/robots.txt aufrufe, kommt
User-agent: \* Disallow: /Shopware-Standard ist das nicht.
Du hast also entweder deine robots.txt angepasst (über das Theme) oder eine liegt in deinem document root - andere Möglichkeiten gibt es nicht.
Ich hatte bis gestern eine im Root liegen um den Shop zu sperren. Die ist aber gelöscht. Ich sehe sie per FTP auch nicht mehr.
Trotzdem wird mir diese über Linkaufruf und Google Abfrage angezeigt. Der Root wird doch nicht gecached?
Ich sehe nun Folgendes:
User-agent: \* Disallow: /compare Disallow: /checkout Disallow: /register Disallow: /account Disallow: /note Sitemap: http://www.e-smoke4you.de/sitemap.xml
Das sieht schon besser aus. 
Timme Hosting - schnelles nginx-Hosting
???
Um e-smoke geht es hier doch nicht mehr, wollte nur keinen neuen Thread eröffnen. Allerdings ist die meine Seite auch bei Euch gehostet. Ist die Robots.txt im Cache? Vor 3 tagen gelöscht und trotzdem erscheint diese, wenn ich sie aufrufe und Google meint auch, dass er nicht crawlen darf.