Пример robots.txt для яндекс и Google - несколько Sitemap

Пример файла, подходящего одновременно для Яндекса и Гугла:

User-agent: Yandex
Disallow: /some/url/1
Disallow: /some/url/2

User-agent: *
Disallow: /some/url/1
Disallow: /some/url/2
Sitemap: http://example.com/sitemap.xml
Sitemap: http://example.com/sitemap1.xml
Sitemap: http://example.com/sitemap2.xml

Comments

vedro-compota's picture

Для Яндекса рекомендуется прописывать директиву "Host"
Получается яндекс уже на директиву Host в robots.txt и не смотрит: https://yandex.ru/support/webmaster/cont...

_____________
матфак вгу и остальная классика =)