robots.txt

seo Сканирование и Индексирование - какая разница, зачем нужен Robots.txt что он запрещает, а что нет

Сканирование и Индексирование - какая разница

Сканирование - процесс обхода страниц поисоковым ботом, на этом этапе бот качает страницы, то что скачал, еще не означает, что страница будет проиндексирована и окажется в поисковой выдаче

Индексирование - можно понимать как "помещение в поисковую выдачу", т.е. по какому-то запросу в поисковике эта страница может быть показана

Пример robots.txt для яндекс и Google - несколько Sitemap

Пример файла, подходящего одновременно для Яндекса и Гугла:

User-agent: Yandex
Disallow: /some/url/1
Disallow: /some/url/2

User-agent: *
Disallow: /some/url/1
Disallow: /some/url/2
Sitemap: http://example.com/sitemap.xml
Sitemap: http://example.com/sitemap1.xml
Sitemap: http://example.com/sitemap2.xml

Subscribe to RSS - robots.txt