Hi, in der robots.txt habe ich einige Seiten wie AGb etc. ausgesperrt. Diese werden aber trotzdem von google indexiert. Richtig eingetragen ist alles. Weiß jemand hier warum das trotzdem gecrawlt wird? Ich bin ratlos! User-agent: * Disallow: /datenschutz Disallow: /agb-unternehmer Disallow: /agb-endverbraucher
Der Robot kommt etwa alle 4 Wochen, hat er einmal Indexiert bleiben die Ergebnisse bestehen- auch wenn im Nachhinein die Robots.txt angepasst wurde. Du wirst, um schneller ein Ergebnis zu bekommen, einen Löschantrag stellen müssen. Danach kann man das Crawlen auch manuell beantragen, geht schneller als den Crawling Interval abzuwarten (=>Crawlen beantragen). Wie der Googlebot Deine Seite sieht kannst Du hier prüfen. Im Quellcode kannst Du natürlich auch etwas machen, den es gibt für Links speziell den NoFollow Tag, der sich besonders für Statische Seiten anbietet. Mit etwas Geduld wird das was 
1 „Gefällt mir“
Hi, danke. Ich hatte die robots.txt ja vor längerer Zeit geändert und nun ist alles wieder indiziert worden. Sieht man ja am Datum in Cache! Werde die Links mal durchgehen, mal sehen was das bringt!