User-agent: *
Disallow: /docs
# запрещает скачивать все страници начинающиеся с '/docs'