Unsere Einkaufswelt Widgets sind im Google Index - Robots.txt Allow /widgets?

Shopware 5 Programmierung
, ,
1

Hallo zusammen,

wir haben bei uns im Google Index URLs mit folgenden Format:
… /widgets/emotion/index/emotionId/1/controllerName/index

In unserer Robots.txt (diese sollte dem Shopware Standard entsprechen) wird folgendes ausgegeben:

Allow: /en/widgets
Allow: /fr/widgets
Allow: /it/widgets
Allow: /es/widgets
Allow: /nl/widgets
Allow: /widgets

Hier der Code in der robots_txt/index.tpl die diese Datei generiert:

{block name="frontend_robots_txt_allows"}
    {$robotsTxt->setAllow('/widgets')}
    {block name="frontend_robots_txt_allows_output"}
        {foreach $robotsTxt->getAllows() as $allow}
            {$allow}
        {/foreach}
    {/block}
{/block}

Meine Frage lautet: Warum macht Shopware das so? Warum müssen diese Widget URLs crawlbar für den Google Bot sein? Handelt es sich um die Widgets der Einkaufswelten, welche auf der Seite nachgeladen werden und deshalb für den Google Bot erreichbar sein müssen?
Habt ihr auch das Problem bei euch im Index, solche URLs auftauchen? Zur Überprüfung könnt ihr bei euch folgendes bei Google suchen: site:https://<url-einfügen>/widgets/
(<url-einfügen> durch eure URL ersetzen!)