# Unsere Einkaufswelt Widgets sind im Google Index - Robots.txt Allow /widgets?

**URL:** https://forum.shopware.com/t/unsere-einkaufswelt-widgets-sind-im-google-index-robots-txt-allow-widgets/91986
**Category:** Programmierung
**Tags:** administration, programming, themes--design
**Created:** [16. Dezember 2021 um 06:10 UTC](https://forum.shopware.com/t/unsere-einkaufswelt-widgets-sind-im-google-index-robots-txt-allow-widgets/91986 "2021-12-16T06:10:10Z")
**Posts on this page:** 1
**Page:** 1

<div class="post-metadata">

### Author: ![HenryAuf318](https://dub1.discourse-cdn.com/flex013/user_avatar/forum.shopware.com/henryauf318/32/12392_2.png) [@HenryAuf318](https://forum.shopware.com/u/HenryAuf318)
#### Post date: [16. Dezember 2021 um 06:10 UTC](https://forum.shopware.com/t/unsere-einkaufswelt-widgets-sind-im-google-index-robots-txt-allow-widgets/91986/1 "2021-12-16T06:10:10Z")

</div>

Hallo zusammen,

wir haben bei uns im Google Index URLs mit folgenden Format:  
… /widgets/emotion/index/emotionId/1/controllerName/index

In unserer Robots.txt (diese sollte dem Shopware Standard entsprechen) wird folgendes ausgegeben:

```auto
Allow: /en/widgets
Allow: /fr/widgets
Allow: /it/widgets
Allow: /es/widgets
Allow: /nl/widgets
Allow: /widgets

```

Hier der Code in der robots\_txt/index.tpl die diese Datei generiert:

```auto
{block name="frontend_robots_txt_allows"}
    {$robotsTxt->setAllow('/widgets')}
    {block name="frontend_robots_txt_allows_output"}
        {foreach $robotsTxt->getAllows() as $allow}
            {$allow}
        {/foreach}
    {/block}
{/block}

```

Meine Frage lautet: Warum macht Shopware das so? Warum müssen diese Widget URLs crawlbar für den Google Bot sein? Handelt es sich um die Widgets der Einkaufswelten, welche auf der Seite nachgeladen werden und deshalb für den Google Bot erreichbar sein müssen?  
Habt ihr auch das Problem bei euch im Index, solche URLs auftauchen? Zur Überprüfung könnt ihr bei euch folgendes bei Google suchen: `site:https://<url-einfügen>/widgets/`  
(\<url-einfügen\> durch eure URL ersetzen!)