Ich habe eine physikalische robots.txt und lasse die vom Shop generierte aussen vor.
Bisher wurde die Robots.txt auch nicht aufgerufen von irgendeinem Crawler, aber man weiß ja nie.
Ich habe eine physikalische robots.txt und lasse die vom Shop generierte aussen vor.
Bisher wurde die Robots.txt auch nicht aufgerufen von irgendeinem Crawler, aber man weiß ja nie.