Что почитать по поисковой оптимизации SEO - документация гугла и яндекса

1) Выставлена ли оптимальная скорость сканирования в google console, может частоту можно повысить а не только снизить? https://developers.google.com/search/doc...
2) Гугл не рекомендует разрешать сканирование и, видимо, индексирование страниц поиска ""Не рекомендуем Разрешать сканирование страниц, на которых выводятся результаты поиска по вашему сайту"" https://developers.google.com/search/doc...

Примечания:
1) JS выполяется, но все же рекомендуется серверный рендеринг https://developers.google.com/search/doc...
2) Блог центра гугл поиска (новости) https://developers.google.com/search/blo...
3) Гугл в явной форме пишет о том, что может работать "вручную" особенно в случае если нужно снизить позицию сайта https://support.google.com/webmasters/an...
4) Для слов в URL гугл любит дефисы, а не нижние подчеркивания https://developers.google.com/search/doc...
5) На страницах поиска необходимо упорядочивать GET-параметры, и вообще чем понятнее и однозначнее URL тем лучше
6) Ссылки (внешние) на другие сайты могут даже улучшить позицию страницы, если эти ссылки к месту https://developers.google.com/search/doc...
7) Дополнительно подтвердить то, что бот являятся гуглботом, можно сопоставляя IP https://developers.google.com/search/doc...
8) Гугл не рекомендую использовать noindex. тк для этого требуется страницу выкачать https://developers.google.com/search/doc... возм. тут предлагается (подразумевается) использовать заголовок http
9) Полезно работать с заголовками http чтобы сразу на их уровне рассказать боту о том, когда последний раз менялась страница https://developers.google.com/search/doc...
10) Сканирование - основной способ для бота узнать не только о том, что нужно добавить в индекс, но и о том что нужно выкинуть из индекса, поэтому для уже добавленных ресурсов, которые **нужно удалить**, **нельзя** запрещать сканирование https://developers.google.com/search/doc...
11) Если ссылки закрые в роботс будут встречены на других открытых страницах того же сайта или других сайтах, они все равно могут попасть в поисковый индекс, но без описания: https://developers.google.com/search/doc... -- чтобы избавиться надо передавать с этой страницы статус noindex
12) У гугла есть инструменты для определения того, какая верссия страницы является канонической на деле (а не по желанию вебмастера) https://developers.google.com/search/doc...
13) Для клиенской маршрутизации на JS важно использовать history api https://developers.google.com/search/doc...
14) Постраничная загрузка важна для ботов (в противовес бесконечной ленте) https://developers.google.com/search/doc...

Вопрос 1:
"""Поисковые системы могут предлагать пользователям заблокированные вами URL (только их, но не связанные с ними заголовки и описания страниц, если ссылки на эти URL есть в интернете, например в журналах переходов. "

-- получается что сканирование в смысле выдачи ссылки (без описания) эквивалентно индексированию? https://developers.google.com/search/doc...

--------
Вопрос 2
404-ю страницу рекомендуют разрешить сканировать, но не индексировать? Зачем нужно ее сканирование? https://developers.google.com/search/doc... + тут не очень ясно это страница со своим URL или просто ответ для любого ненайденного URL с соответствующим дизайном и кодом
Ответ: сокрее всего сканировать надо потому, что иначе поисковый бот не сможет узнать, что это страницу пора убирать из поискового индеса (см. примечания выше)