# Bad Bots via htaccess oder robots.txt aussperren

**URL:** <https://forum.shopware.com/t/bad-bots-via-htaccess-oder-robots-txt-aussperren/43101>\
**Category:** Allgemein\
**Created:** [25. Januar 2017 um 11:44 UTC](https://forum.shopware.com/t/bad-bots-via-htaccess-oder-robots-txt-aussperren/43101 "2017-01-25T11:44:33Z")\
**Posts on this page:** 6\
**Page:** 1

<div class="post-metadata">

**Author:** ![pram16359](https://avatars.discourse-cdn.com/v4/letter/p/9de053/32.png) [@pram16359](https://forum.shopware.com/u/pram16359)\
**Post date:** [25. Januar 2017 um 11:44 UTC](https://forum.shopware.com/t/bad-bots-via-htaccess-oder-robots-txt-aussperren/43101/1 "2017-01-25T11:44:33Z")

</div>

Hallo alle zusammen,

ich versuche bisher erfolglos unerwünschte Bots auf unserer Seite auszusperren. Erst habe ich es mit der robots.txt mit Folgenden versucht:

```
 User-agent: MJ12bot Disallow: /

```

etc. Dies hat nicht funktioniert, daher habe ich es nun mit der htaccess versucht. Da steht Folgendes:

RewriteEngine On  
RewriteCond %{SERVER\_PORT} !=443  
RewriteRule ^(.\*)$ [https://www.domain.com/$1](https://www.domain.com/%241) [R=301,L]  
RewriteCond %{HTTP\_USER\_AGENT} ^MJ12bot [OR]  
RewriteCond %{HTTP\_USER\_AGENT} ^BaiDuSpider [OR]  
RewriteCond %{HTTP\_USER\_AGENT} ^Sogou [OR]  
RewriteCond %{HTTP\_USER\_AGENT} ^SeznamBot [OR]  
RewriteCond %{HTTP\_USER\_AGENT} ^Yandex  
RewriteRule ^.\* - [F,L]

Leider hält auch das die unerwünschten Bots nicht fern und sie crawlen fleißig weiter. Habt ihr eine Idee oder steckt ein Fehler in der htaccess?

&nbsp;

---

<div class="post-metadata">

**Author:** ![kulli](https://avatars.discourse-cdn.com/v4/letter/k/a3d4f5/32.png) [@kulli](https://forum.shopware.com/u/kulli)\
**Post date:** [25. Januar 2017 um 12:08 UTC](https://forum.shopware.com/t/bad-bots-via-htaccess-oder-robots-txt-aussperren/43101/2 "2017-01-25T12:08:24Z")

</div>

Wie kommst Du überhaupt drauf, dass die überhaupt was abhält ? ![Smile](https://forum.shopware.com/plugins/CKEditor/plugins/smiley/images/smile.png "Smile")

versuchs mal damit:&nbsp;

```
	# SetEnvIfNoCase User-Agent ^$ keep_out
	SetEnvIfNoCase User-Agent (binlar|casper|cmsworldmap|comodo|diavol|dotbot|feedfinder|flicky|ia_archiver|kmccrew|nutch|planetwork|purebot|pycurl|skygrid|sucker|turnit|vikspider|zmeu) keep_out
	
		Order Allow,Deny
		Allow from all
		Deny from env=keep_out

```

den entsprechenden bot natürlich dazu eintragen; Achtung: keine Gewähr dass es die bots auch abhält!

und Datensicherung nicht vergessen.

Ansonsten hilft nur Sperrren der jeweiligen IP´s, was aber sehr zeitaufwendig sein kann.

---

<div class="post-metadata">

**Author:** ![Shopwareianer](https://avatars.discourse-cdn.com/v4/letter/s/b4bc9f/32.png) [@Shopwareianer](https://forum.shopware.com/u/Shopwareianer)\
**Post date:** [25. Januar 2017 um 12:28 UTC](https://forum.shopware.com/t/bad-bots-via-htaccess-oder-robots-txt-aussperren/43101/3 "2017-01-25T12:28:07Z")

</div>

Ein Bot lässt sich nicht von irgendeiner robot.txt abhalten.

Ein effektives Blocken von Bots wäre simpel bspw. auch via Cloudflare.

Die IP`s der einzelnen Bots blocken geht natürlich immer, aber diese ändern sich ja bei “bösen” sowieso täglich.

---

<div class="post-metadata">

**Author:** ![RobKot](https://avatars.discourse-cdn.com/v4/letter/r/7ab992/32.png) [@RobKot](https://forum.shopware.com/u/RobKot)\
**Post date:** [25. Januar 2017 um 15:56 UTC](https://forum.shopware.com/t/bad-bots-via-htaccess-oder-robots-txt-aussperren/43101/4 "2017-01-25T15:56:02Z")

</div>

Hallo pram16359,

versuch es mal hiermit: Ich vermute deine RewriteRule ist der Übeltäter.

```
RewriteEngine On

RewriteCond %{SERVER_PORT} !=443
RewriteRule ^(.*)$ https://www.domain.com/$1 [R=301,L]

RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^BaiDuSpider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Sogou [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^SeznamBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Yandex [NC,OR]
RewriteRule .* - [F]

```

&nbsp;

---

<div class="post-metadata">

**Author:** ![TimmeHosting](https://dub1.discourse-cdn.com/flex013/user_avatar/forum.shopware.com/timmehosting/32/15580_2.png) [@TimmeHosting](https://forum.shopware.com/u/TimmeHosting)\
**Post date:** [25. Januar 2017 um 16:11 UTC](https://forum.shopware.com/t/bad-bots-via-htaccess-oder-robots-txt-aussperren/43101/5 "2017-01-25T16:11:38Z")

</div>

Falls Du nginx nutzt, schau’ Dir mal das hier an: [https://www.howtoforge.com/nginx-how-to-block-exploits-sql-injections-file-injections-spam-user-agents-etc](https://www.howtoforge.com/nginx-how-to-block-exploits-sql-injections-file-injections-spam-user-agents-etc)

![](https://europe1.discourse-cdn.com/flex013/uploads/shopware/original/1X/385eaa628505df573ebf33722f780335f53ac1b2.png)

Timme Hosting - schnelles nginx-Hosting

[www.timmehosting.de](https://timmehosting.de/)

---

<div class="post-metadata">

**Author:** ![pram16359](https://avatars.discourse-cdn.com/v4/letter/p/9de053/32.png) [@pram16359](https://forum.shopware.com/u/pram16359)\
**Post date:** [27. Januar 2017 um 09:28 UTC](https://forum.shopware.com/t/bad-bots-via-htaccess-oder-robots-txt-aussperren/43101/6 "2017-01-27T09:28:21Z")

</div>

> [@RobKot schrieb:](https://forum.shopware.com/profile/20179/RobKot "RobKot")
> 
> Hallo pram16359,
> 
> versuch es mal hiermit: Ich vermute deine RewriteRule ist der Übeltäter.
> 
> RewriteEngine On
> 
> RewriteCond %{SERVER\_PORT} !=443  
> RewriteRule ^(.\*)$ [https://www.domain.com/$1](https://www.domain.com/$1) [R=301,L]
> 
> RewriteCond %{HTTP\_USER\_AGENT} ^MJ12bot [NC,OR]  
> RewriteCond %{HTTP\_USER\_AGENT} ^BaiDuSpider [NC,OR]  
> RewriteCond %{HTTP\_USER\_AGENT} ^Sogou [NC,OR]  
> RewriteCond %{HTTP\_USER\_AGENT} ^SeznamBot [NC,OR]  
> RewriteCond %{HTTP\_USER\_AGENT} ^Yandex [NC,OR]  
> RewriteRule .\* - [F]
> 
> &nbsp;
> 
> &nbsp;
> 
> &nbsp;

Hallo RobKot,

bei deiner Version fehlt in der letzten Zeile ein ^ vor dem .\* oder? Und in der vorletzten Zeile muss das OR weg oder? Leider hält das bisher nur den `Sogou `Spider ab. Alle anderen interessiert das offenbar nicht ☹