Большая поваренная книга программиста.
На главную
/
→
www
→
robots.txt
→
пример #2
№
2
User-Agent: * Disallow: /subdir/