Запросы "от лица" поискового бота в google chrome

Рассмотрим как можно эмулировать работу гугл-бота, используя браузер Хром.

Действуем так:

1. Запускаем браузер гугл хром
2. Открываем нужную нам страницу в Сети
3. Открываем инструменты разработчика (напр. через нажатие клавиши F12)
4. Открываем вкладку сеть (Network)
5. В верхней панели этой вкладки ближе к правой есть значок похожий на символ Wi-Fi с манелькой шестеренкой, если навести на него него мышь, всплывает подсказка "More network conditions" -- кликаем по нему
6. Откроется еще одна панель "Network conditions" -- в ней чтобы эмулировать поискового бота (через заголовки http-запроса), нужно снять галочку c чекбокса "Use browser default" в строке User Agent
7. Готово, теперь можно слать запросы так, как будто ваш браузер гугл-бот (точнее теперь так его могут начать восприниматься сайты)