Robots.txt mit und ohne User-agent: *

Ich habe das gleiche Problem wie im Thread: Domain spezifische robots.txt Regeln

Die Einträge dich in der Box einträge werden 1x mit 1x ohne das “User-agent: *” eingetragen.

Hier das ist in der Box eingetragen:

Und das kommt im Browser raus:

Wieso wird der Abschnitt mal mit und ohne User-Agent ausgeliefert?

Sicher gestellt, dass im oben Tab der Verkaufskanal ausgewählt oder und nicht auf Alle stehe bzw. das der Verkaufskanal Alle nicht überschreibt.

Bei mir funktioniert es.

Ja ist sichergestellt.

Interessant ist auch das wenn ich was dazu schreibe es dann auch in beiden Blöcken vorkommt.

in allen Kanälen ist es ausgestellt also generiert nur der “alle”

Welche Shopware Version?

Irgendein Plugin, das etwas in Richtig SEO macht?

Nein auch nichts.

Wie gesagt das scheint von Shopware in der 6.7.6.2 von Haus aus so zu sein. Sie nehmen das in der Textarea und setzen einmal das mit den Agent davor und einmal nicht.

Aber wie ist das bei Google was sagt Google zu dieser “robots.txt”

Wie sind eure Erfahrungen?

Also bei mir steht in Shopware 6.7.8.2 etwas anderes drin in der robots.txt. Einfach mal auf die neuste Version aktualisieren.

Stimmt in der 6.7.8.2 scheint sich was geändert zu haben!!