Hallo, benötigt man bei diesen Shopsystem eine robots.txt, falls ja, welche Verzeichnisse müssen gesperrt werden. Viele Grüße Rainer
Also zwingend benötigt wird die nicht - wichtig ist, dass du das Directory-Listing deaktiviert hast (das ist aber eigentlich immer der Fall), somit kommt der Spider auch nicht an Files, die nicht relevant für die Suchmaschine sind.
Also zwingend benötigt wird die nicht - [quote]wichtig ist, dass du das Directory-Listing deaktiviert hast (das ist aber eigentlich immer der Fall), somit kommt der Spider auch nicht an Files, die nicht relevant für die Suchmaschine sind.[/quote] das sollte dann in der robots.txt dann so aussehen - oder? User-agent: * Disallow: /directory Allow: / lg sven
hallo, nochmal zur o.a. anfrage. es wäre sicherlich sehr hilfreich, wenn ihr (shopware) hier im forum mal eine art muster-robots.txt zur weiteren verwendung anlegen könntet. die fehlende robots.txt wird in der regel von allen SEO-analyse-tools incl. google webmastertools abgefragt und bis dato als fehlend bemängelt 
evtl. könnte man ja auch über eine disallow einstellung auch das folgende problem in den griff kriegen - oder? allgemeines-f2/crawling-fehler-http-in-webmaster-tools-t5078-40.html dankeschön! sven
Gute Idee, wenn mal eine Muster-robots.txt zur Verfügung gestellt werden würde. Als Neuling hab ich mir zwar schon einige Parameter zusammengesammelt, möchte allerdings nichts vergessen. Wenn ich andere Postings korrekt verstanden habe, ist eine robots.txt nicht zwingend erforderlich, weil das shopintern geregelt wird und der bei entsprechender Einstellungim header ausgegeben wird. Korrekt? Nicht desto trotz würde ich die robots.txt dennoch mit entsprechenden Infos füllen.