robots.txt слэш и без слеша - формат путей/ пути - нужна ли черта в конце

Уже упоминали об этом

По поводу:

Disallow: /cgi-bin/

Ребята пишут:

Обратите внимание на / в конце названия директории! Чтобы запрещать посещение именно каталога "/dir", инструкция должна иметь вид: "Disallow: /dir/". А строка "Disallow: /dir" запрещает посещение всех страниц сервера, полное имя которых (от корня сервера) начинается с "/dir". Например: "/dir.html", "/dir/index.html", "/directory.html".