# archive.org robots.txt Verbieten **URL:** \ **Category:** Allgemein\ **Created:** [18. Dezember 2017 um 21:10 UTC](https://forum.shopware.com/t/archive-org-robots-txt-verbieten/50091 "2017-12-18T21:10:16Z")\ **Posts on this page:** 10\ **Page:** 1
**Author:** ![doitauto](https://avatars.discourse-cdn.com/v4/letter/d/dbc845/32.png) [@doitauto](https://forum.shopware.com/u/doitauto)\ **Post date:** [18. Dezember 2017 um 21:10 UTC](https://forum.shopware.com/t/archive-org-robots-txt-verbieten/50091/1 "2017-12-18T21:10:16Z")
Hallo, was? und wo? muss ich was Einstellen das Wayback Machine ([archive.org](http://archive.org)) kein Zugriff auf meine Shop hat? würde mich wirklich auf ein Anwort freuen. Grüsse ---
**Author:** ![brettvormkopp](https://dub1.discourse-cdn.com/flex013/user_avatar/forum.shopware.com/brettvormkopp/32/7788_2.png) [@brettvormkopp](https://forum.shopware.com/u/brettvormkopp)\ **Post date:** [18. Dezember 2017 um 22:18 UTC](https://forum.shopware.com/t/archive-org-robots-txt-verbieten/50091/2 "2017-12-18T22:18:04Z")
Eine Email an [info@archive.org](mailto:info@archive.org) schicken und sie bitten deine Inhalte zu löschen und das künftige Crawlen zu untelassen hast du noch nicht probiert? ---
**Author:** ![doitauto](https://avatars.discourse-cdn.com/v4/letter/d/dbc845/32.png) [@doitauto](https://forum.shopware.com/u/doitauto)\ **Post date:** [18. Dezember 2017 um 22:32 UTC](https://forum.shopware.com/t/archive-org-robots-txt-verbieten/50091/3 "2017-12-18T22:32:00Z")
das habe ich bereits gemacht, jedoch wollte ich auch in robots.txt auch eintragen damit es nicht mehr versucht ---
**Author:** ![brettvormkopp](https://dub1.discourse-cdn.com/flex013/user_avatar/forum.shopware.com/brettvormkopp/32/7788_2.png) [@brettvormkopp](https://forum.shopware.com/u/brettvormkopp)\ **Post date:** [18. Dezember 2017 um 22:35 UTC](https://forum.shopware.com/t/archive-org-robots-txt-verbieten/50091/4 "2017-12-18T22:35:04Z")
nach dem folgenden Artikel zu urteilen pfeifen die auf deine robots.txt: [https://blog.archive.org/2017/04/17/robots-txt-meant-for-search-engines-dont-work-well-for-web-archives/](https://blog.archive.org/2017/04/17/robots-txt-meant-for-search-engines-dont-work-well-for-web-archives/) und [Heise.de](http://Heise.de) schrieb das gleiche: [https://www.heise.de/newsticker/meldung/Archivierung-des-Internets-Internet-Archive-ignoriert-kuenftig-robots-txt-3693558.html](https://www.heise.de/newsticker/meldung/Archivierung-des-Internets-Internet-Archive-ignoriert-kuenftig-robots-txt-3693558.html) ---
**Author:** ![doitauto](https://avatars.discourse-cdn.com/v4/letter/d/dbc845/32.png) [@doitauto](https://forum.shopware.com/u/doitauto)\ **Post date:** [18. Dezember 2017 um 23:14 UTC](https://forum.shopware.com/t/archive-org-robots-txt-verbieten/50091/5 "2017-12-18T23:14:03Z")
ich glaube nicht so weil wenn ich [archive.org](http://archive.org) meine forum Adresse eingebe, kommt folgende Fehlermeldung: ``` Page cannot be displayed due to robots.txt. See forum.doitauto.de robots.txt page. Learn more about robots.txt. ```   ---
**Author:** ![brettvormkopp](https://dub1.discourse-cdn.com/flex013/user_avatar/forum.shopware.com/brettvormkopp/32/7788_2.png) [@brettvormkopp](https://forum.shopware.com/u/brettvormkopp)\ **Post date:** [18. Dezember 2017 um 23:18 UTC](https://forum.shopware.com/t/archive-org-robots-txt-verbieten/50091/6 "2017-12-18T23:18:06Z")
Na da hast du ja zumindest schon folgendes drin: ``` User-agent: ia_archiver Disallow: / ``` Ggf wird das „noch“ akzeptiert? ---
**Author:** ![doitauto](https://avatars.discourse-cdn.com/v4/letter/d/dbc845/32.png) [@doitauto](https://forum.shopware.com/u/doitauto)\ **Post date:** [18. Dezember 2017 um 23:23 UTC](https://forum.shopware.com/t/archive-org-robots-txt-verbieten/50091/7 "2017-12-18T23:23:07Z")
Shopware habe ich es auch hinzugefügt unter inx.tpl aber ohne erfolg ☹ ---
**Author:** ![brettvormkopp](https://dub1.discourse-cdn.com/flex013/user_avatar/forum.shopware.com/brettvormkopp/32/7788_2.png) [@brettvormkopp](https://forum.shopware.com/u/brettvormkopp)\ **Post date:** [18. Dezember 2017 um 23:27 UTC](https://forum.shopware.com/t/archive-org-robots-txt-verbieten/50091/8 "2017-12-18T23:27:05Z")
Vieleicht liegt es daran, dass die robots.txt in [doitauto.de](http://doitauto.de) komisch aufgebaut ist: ``` User-agent: * User-agent: Mediapartners-Google Allow: / User-agent: facebookexternalhit Disallow: / User-agent: ia_archiver Disallow: / ``` Erst erlaubst du alles und dann weiter unten doch nicht. Versuch mal:  ``` User-agent: Mediapartners-Google Allow: / User-agent: facebookexternalhit Disallow: / User-agent: ia_archiver Disallow: / ```   ---
**Author:** ![doitauto](https://avatars.discourse-cdn.com/v4/letter/d/dbc845/32.png) [@doitauto](https://forum.shopware.com/u/doitauto)\ **Post date:** [18. Dezember 2017 um 23:42 UTC](https://forum.shopware.com/t/archive-org-robots-txt-verbieten/50091/9 "2017-12-18T23:42:51Z")
was ist mit robots.txt hier **/ [themes](https://doitauto.de:8443/smb/file-manager/list?currentDir=%2Fhttpdocs%2Fthemes) / [Frontend](https://doitauto.de:8443/smb/file-manager/list?currentDir=%2Fhttpdocs%2Fthemes%2FFrontend) / [Bare](https://doitauto.de:8443/smb/file-manager/list?currentDir=%2Fhttpdocs%2Fthemes%2FFrontend%2FBare) / [frontend](https://doitauto.de:8443/smb/file-manager/list?currentDir=%2Fhttpdocs%2Fthemes%2FFrontend%2FBare%2Ffrontend) / [robots\_txt](https://doitauto.de:8443/smb/file-manager/list?currentDir=%2Fhttpdocs%2Fthemes%2FFrontend%2FBare%2Ffrontend%2Frobots_txt) / index.tpl** ``` {block name="frontend_robots_txt_user_agent"} User-agent: * {/block} {block name="frontend_robots_txt_disallows"} Disallow: /ia_archiver Disallow: /User-agent: ia_archiver User-agent: ia_archiver Disallow: / Disallow: {url controller=compare fullPath=false} Disallow: {url controller=checkout fullPath=false} Disallow: {url controller=register fullPath=false} Disallow: {url controller=account fullPath=false} Disallow: {url controller=address fullPath=false} Disallow: {url controller=note fullPath=false} Disallow: {url controller=widgets fullPath=false} Disallow: {url controller=listing fullPath=false} Disallow: {url controller=ticket fullPath=false} {/block} {block name="frontend_robots_txt_allows"} Allow: {url module=widgets controller=emotion fullPath=false} {/block} {block name="frontend_robots_txt_sitemap"} Sitemap: {url controller=index}sitemap.xml {/block} {block name="frontend_robots_txt_sitemap_mobile"} {if {config name=mobileSitemap}} Sitemap: {url controller=index}sitemapMobile.xml {/if} {/block} ```   ---
**Author:** ![brettvormkopp](https://dub1.discourse-cdn.com/flex013/user_avatar/forum.shopware.com/brettvormkopp/32/7788_2.png) [@brettvormkopp](https://forum.shopware.com/u/brettvormkopp)\ **Post date:** [18. Dezember 2017 um 23:49 UTC](https://forum.shopware.com/t/archive-org-robots-txt-verbieten/50091/10 "2017-12-18T23:49:32Z")
Ich glaube nicht, dass du diese robots.txt nutzt bzw dein Theme greift nicht. Schau mal ob du im FTP in deinem Shopware-Ordner eine /robots.txt hast. Diese übertrumpft sozusagen deine Theme-robots-txt.