Большая поваренная книга программиста.
На главную
/
→
www
→
robots.txt
→
пример #1
№
1
User-agent: * Disallow: /