Hallo,
es gibt hier schon mehrere Themen dazu, allerdings hat nichts zum Erfolg geführt.
Ich versuche zu Testzwecken einzelne Seiten in der robots.txt ein- bzw. auszuschließen. Das hat wunderbar funktioniert, als ich in der schon bestehenden Datei einen Eintrag von Disallow zu Allow geschoben habe.
Allerdings scheint das bei Produktseiten nicht zu funktionieren.
Ich hab es versucht, in dem ich die komplette URL und nur den Pfad angegeben habe. Das wird mir auch in der generierten robots.txt angezeigt (ich kann also ausschließen, dass meine Datei nicht gelesen wird), allerdings ändert sich nichts im Quellcode. Da steht weiterhin „index“, statt dem gewünschten „noindex“.
Jetzt weiß ich nicht, ob das speziell an den Produktseiten hängt, dass die vielleicht explizit irgendwo auf „allow“ stehen und mein Eintrag dadurch ignoriert wird. Allerdings weiß ich nicht, wo ich sonst schauen könnte. Hat jemand eine Idee?
Edit: Und jetzt denke ich gerade, das liegt wahrscheinlich daran, dass Disallow nur das crawlen verbietet, aber nicht das indexen. Kann mir jemand sagen wo ich spezifisch „noindex“ einstellen kann?