Ich habe es in einigen Shops ausprobiert und es ist tatsächlich ein Problem. Also habe ich mit der Fehlersuche begonnen und herausgefunden, dass das Problem darin besteht, dass Shopware einfach die erste Domain aus der Kombination SalesChannel+ Sprache auswählt, die wahrscheinlich zufällig http ist.
Am Ende war die Lösung ein einfaches Core-Override.Ich habe es in meinem Blog dokumentiert, so dass jeder es von dort kopieren kann und es sollte funktionieren: https://shopwarian.com/solved-shopware-6-sitemap-generates-urls-with-http-instead-of-https/