Moin.
Für meinen Shop (SW 5.2.6) ist die robots.txt nur mit großem R, also als Robots.txt aufrufbar. Soweit ich weiss, muss sie aber robots.txt (kleines r) heissen und so behauptet Google dann auch, ich hätte keine robots.txt.
Wie kommt sowas? Was kann ich tun?
Edit: Ich hab noch ein paar andere Shops mit unterschiedlichen SW-Versionen probiert, das ist überall so. Bin ich jetzt auf dem völlig falschen Dampfer?
Kann ich nicht bestätigen. Habe gerade mal ein paar durchgeschaut und die robots.txt funktioniert mit großem und kleinem R
Ursache gefunden:
In der nginx-Konfiguration gab es dies hier:
## robots.txt support.
location = /robots.txt {
log_not_found off;
access_log off;
}
Das hab ich auskommentiert, seitdem gehts. Ich würde zwar behaupten, dass damit lediglich das Logging für die robots.txt ausgeschaltet wird, aber das ist offensichtlich nicht der Fall. Die von mir getesteten drei Shops nutzen alle diese globale Shopware-nginx-Konfiguration, deshalb war das bei allen so.
Ich häng mich hier gerade mal dran, weil ich in unserem Shop mal getestet habe, was passiert, wenn ich die robots.txt mir großem R aufrufe.
Da wird dann tatsächlich eine Robots.txt angezeigt, die sich von der robots.txt unterscheidet.
Dann hab ich das mal mit dem Shopware-Demoshop gemacht.
Beim Aufruf von robots.txt kommt eine nginx-Fehlermeldung, warum auch immer.
Bei Aufruf von Robots.txt kommt die Datei mit dem Inhalt, der im Bare-Theme unter robots_txt definiert ist.
Der Aufruf der Robots.txt sollte einen Fehler 404 ausgeben.
So wie beim Demoshop war es bei mir auch. Die nginx-global-conf hatte ich seinerzeit von hier: GitHub - bcremer/shopware-with-nginx: Running shopware using NGINX Wahrscheinlich ist der SW-DemoShop-Nginx genauso konfiguriert.
Interessant ist die Sache mit unterschiedlichen Ausgaben. Kommt eine davon evtl. vom Bare- und eine vom individuellen Theme?
Ach, stimmt ja. Aber ist ja Shopware’s Problem. 
Nichts desto trotz sollte die Robots.txt, also die mit dem großen R, nicht aufrufbar sein.
Robots.txt und robots.txt geht auch beim reinen Apache - aber nur mit R/r. Andere Variationen führen zum 404
Allerdings sind bei mir beide gleich - habe aber auch im Theme nichts angepasst.
Ich habe eine physikalische robots.txt und lasse die vom Shop generierte aussen vor.
Bisher wurde die Robots.txt auch nicht aufgerufen von irgendeinem Crawler, aber man weiß ja nie.
Hi zusammen,
der Beitrag ist ist schon was älter, aber ich muss hier leider mal “Totengräber” spielen.
Wir hosten unseren Shop bei @TimmeHosting und haben derzeitig folgendes Problem.
Wir können die robots.txt im Hauptordner nicht nutzen, da wir Subshops einsetzen und gerne über die robots.txt die Sitemap.xml mit ausgeben wollen.
Deshalb wollen wir die “dynamisch” erzeugte robots.txt von Shopware nutzen. Klappt soweit auch ganz gut, jedoch ist hier nach wie vor das Problem das sich die robots.txt nur über R obots.txt aufrufen lässt und nicht über r obots.txt. Der Aufruf von Robots.txt führt zum gewünschten Ergebnis, der Aufruf von robots.txt liefert uns einen 404 Not Found - nginx Fehler.
Ist das normal ? liegt das hier am Nginx Server oder am Shopware Shop, der die dynamische robots.txt nur (fehlerhafterweise?) beim Aufruf per R obots.txt ausgibt ?
Grüße
Stefan
Hallo,
kann man ja pragmatisch im Reiter Umleitungen bei Timme lösen:
rewrite ^/robots\.txt$ /Robots.txt permanent;
Hi,
danke, habs es jetzt erst mal wie von dir geschrieben gelöst
Grüße
Stefan