Hallo zusammen, habe heute extrem mit Ausfällen zu kämpfen (s.u.) und möchten daher verhindern das URL´s mit dem Parameter “sFilterProperties” gecrawlt werden (vorallem der bingbot stürzt sich wie blöd drauf). Meine robots.txt: [quote]User-agent: bingbot Crawl-delay: 10 User-agent: msnbot Crawl-delay: 10 User-agent: * Disallow: /Piwik/ Disallow: /compare Disallow: /checkout Disallow: /register Disallow: /account Disallow: /note Disallow: /shopware.php/sViewport,admin Disallow: /shopware.php/sViewport,note Disallow: /shopware.php/sViewport,basket Disallow: /shopware.php/sViewport,rma Disallow: /shopware.php/sViewport,support Disallow: /shopware.php/sViewport,ticket Disallow: /shopware.php/sViewport,newsletter Disallow: /shopware.php/sViewport,tellafriend Sitemap: http://www.meinedomain.com/sitemap.xml[/quote] Die Mail vom HE-Support: [quote]Das Problem ist anscheinend ein bestimmtes Query, das über diese URL abgesetzt wird: 13102 W 41 0.01 http://www.meinedomain.com 157.55.34.180 GET /Deutsch_cat_3.html?sFilterProperties=1112%7C1117%7C1122%7C Da hängt dann der Client (in diesem Fall der MSN-Bot) einige Minuten oder länger drin. Laufzeit der o.g. Query ist aktuell einige hundert Sekunden (s.u). Kommen dann weitere Anfragen rein, geht der Server aufgrund der MySQL-Verbindungen und langsamen Querys OOM. Der Server wurde vorhin auch rebooted. Wenn Sie den MSN-Bot kurzfristig aussperren möchten, können Sie das über eine htaccess machen. IP-Ranges der Search-Engines finden Sie z.B. über Google. Ansonsten empfehlen wir die Queries zu optimieren. [/quote] Kann ich das über die robots.txt steuern bzw. wie müsste ich diese ergänzen damit alles was sFilterProperties enthält gar nicht erst gecrawlt wird? Wäre [quote]Disallow: /*sFilterProperties*[/quote] richtig?