Keine direkte Antwort zu deiner Frage, aber bestimmt gute Info am Rande.
https://t3n.de/news/robotstxt-google-schafft-andere-1175830/
Fazit :
In Zukunft sollen einige bisher angewandte Regeln in der Robots.txt nicht mehr unterstützt werden. Ab 1. September 2019 sollen sie durch den Google-Bot keine Beachtung mehr finden. Betroffen sind die Anweisungen:
- Noindex
- Nofollow
- Crawl-delay