Аккаунт

  1. Питання, що часто ставляться

Питання, що часто ставляться


Навантаження від пошукових систем

Поисковые системы могут вызвать большую нагрузку.
Часто нужно установить Таймаут, ограничив время между запросами поискового робота.
Таймаут для Googlebot
Для Googlebot таймаут задается прямо в интерфейсе для вебмастеров – Google Search Console.
Необходимо чтобы ваш сайт уже был добавлен в ваш аккаунт в Google Search Console.
Зайдя в свой аккаунт и выбрав необходимый сайт, нужно нажать на пиктограмму шестеренки, а затем пункт меню Настройки сайта.
В разделе Частота сканирования нужно выбрать пункт Ограничить максимальную скорость сканирования Google, а затем переместить ползунок на более низкий таймаут, скажем, на 100.

Таймаут для Yandexbot
Для решения проблемы нужно указать в robots.txt директиву Crawl-delay.
Директива Crawl-delay указывает поисковому роботу, чтобы он загружал страницы вашего сайта с интервалом не менее 90 секунд, другими словами просто выдерживал паузу во время индексации страниц сайта.

Пример
В корне сайта создать файл robots.txt и записать в него:
User-agent: *
Crawl-delay: 90

+38 (067) 587-66-22

Ми будемо раді відповісти на ваші питання, надати додаткову інформацію, вислухати побажання і пропозиції по роботі X-HOST.UA