Hallo, am Wochenende haben wir unseren Shop neu gelauncht (Wechsel von modified). Soweit hat die Migration auch funktioniert und der Shop läuft nun. Allerdings kommt nun dies: Googlebot can’t access your site Es gibt wohl eine robots.txt, die ich allerdings selbst nicht finden kann im Root Verzeichnis des Shops?, die sieht aber bei Abruf durch Google so aus: User-agent: * Disallow: /compare Disallow: /checkout Disallow: /register Disallow: /account Disallow: /note Sitemap: http://www.lille-sted.de/sitemap.xml Da stimmt doch was nicht!? Kann mir hier jemand bitte helfen, denn ein Shop der nicht gefunden wird ist ja nun irgendwie nicht Sinn der Sache. Danke und Gruß Frank
Die Robots.txt stellt lediglich sicher, dass der GoogleBot nicht ausversehen z.B. Artikel auf die Merkliste oder in den Warenkorb packt. Das ist aber vollkommen in Ordnung. Wenn dort nicht mehr steht, dann liegt das Problem mit dem GoogleBot nicht an der robots.txt.
Wie dirk_designverign bereits erwähnt hat, an der robots.txt liegt es nicht. Meine aktuell naheliegenste Vermutung ist, dass die Seite beim Wechsel etwas länger nicht erreichbar war (vllt mehrere Stunden?) Und Google in der Zeit versucht hat die Seite zu crawlen. Das Beste was Du machen kannst ist die Tools in den Webmastertools von Google zu nutzen und damit Deine Seite zu testen.
Vielen Dank für eure Hinweise! Mittlerweile kann die Seite wieder gecralt werden, die Umstellung hatte eine Verzögerung der Erreichbar zur Folge. Gruß Frank