Hallo ! Hatten heute mal ein eigenartiges Ereignis: bing bot / msn bot hat mit 10-12 IP Adressen gleichzeitg die ganzen Produktfilter-Links abgetastet. Fazit: 2 Stunden > 7 GB traffic und dann war es aus für den mysql server. > server offline wer kennt ähnliches Verahlten bei Einsatz von Produktfilter ? Bing ignoriert das nofollow ! prov. Lösung derzeit, in die robots.txt das eintragen: User-agent: msnbot Crawl-delay: 5 Wer hat Ähnliches erlebt ? bzw gibt es eine Funktion den bots alles mit dem paramter “[size=150]f[/size]” in der URL zu untersagen ?? einer von tausenden Einträgen in der accesslog: 157.55.16.57 - - [17/Jun/2012:12:16:29 +0200] “GET /keycontrol?[color=red][size=150]f[/size][/color]=258%7C249%7C256 HTTP/1.1” 200 9336 506402 “-” “Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”
Das sollte funktionieren: Disallow: /*?f=*
Hi, danke für den Vorschlag, Befehl wird aber leider ignoriert, auch vom pixray-seeker Habe die Delayzeit nun auf 25 gesetzt und es ist etwas besser…
Hallo! Wo muss ich denn bei Shopware 3.5 die Robots.txt erstellen? In der Hilfe steht nur was von Shopware 4.