Пример robots.txt

Пример файла, подходящего одновременно для Яндекса и Гугла:

User-agent: Yandex
Disallow: /some/url/1
Disallow: /some/url/2

User-agent: *
Disallow: /some/url/1
Disallow: /some/url/2
Sitemap: http://example.com/sitemap.xml
Sitemap: http://example.com/sitemap1.xml
Sitemap: http://example.com/sitemap2.xml