Поисковые системы могут вызвать большую нагрузку.
Часто нужно установить Таймаут, ограничив время между запросами поискового робота.
Таймаут для Googlebot
Для Googlebot таймаут задается прямо в интерфейсе для вебмастеров – Google Search Console.
Необходимо чтобы ваш сайт уже был добавлен в ваш аккаунт в Google Search Console.
Зайдя в свой аккаунт и выбрав необходимый сайт, нужно нажать на пиктограмму шестеренки, а затем пункт меню Настройки сайта.
В разделе Частота сканирования нужно выбрать пункт Ограничить максимальную скорость сканирования Google, а затем переместить ползунок на более низкий таймаут, скажем, на 100.

Таймаут для Yandexbot
Для решения проблемы нужно указать в robots.txt директиву Crawl-delay.
Директива Crawl-delay указывает поисковому роботу, чтобы он загружал страницы вашего сайта с интервалом не менее 90 секунд, другими словами просто выдерживал паузу во время индексации страниц сайта.

Пример
В корне сайта создать файл robots.txt и записать в него:
User-agent: *
Crawl-delay: 90