robots.txt слэш и без слеша - формат путей/ пути - нужна ли черта в конце
Primary tabs
По поводу:
Disallow: /cgi-bin/
Обратите внимание на / в конце названия директории! Чтобы запрещать посещение именно каталога "/dir", инструкция должна иметь вид: "Disallow: /dir/". А строка "Disallow: /dir" запрещает посещение всех страниц сервера, полное имя которых (от корня сервера) начинается с "/dir". Например: "/dir.html", "/dir/index.html", "/directory.html".
- vedro-compota's blog
- Log in to post comments
- 4955 reads