Как снизить нагрузку на сайт от Netpeak Spider?

Изменено Пн, 9 Окт, 2023 на 7:44 PM

В некоторых случаях настройки Netpeak Spider, используемые по умолчанию, не подходят. Обычно это происходит при сканировании:

  • медленных сайтов — с низкой скоростью обработки запросов;
  • сайтов с дополнительной защитой от парсинга — с ограничением по количеству одновременных запросов к серверу.


Чтобы снизить нагрузку на сайт, можно применить следующие настройки:

  • на вкладке «Основные»: 
    • Значительно уменьшить количество потоков сканирования (например, до одного или двух потоков). По умолчанию установлено 10 потоков, что обеспечивает достаточно быстрое сканирование для большинства сайтов. Если данный способ не сработал, то попробуйте установить сканирование в один поток с задержкой между запросами в 1500-3000 мс, чтобы максимально уменьшить скорость сканирования.
    • Отключить сканирования изображений, PDF, CSS и других типов файлов, а также рендеринг JavaScript, что уменьшит количество запросов во время сканирования. Обратите внимание, что в таком случае проверка этих файлов на основные SEO-параметры проводиться не будет.

Снижение нагрузки в основных настройках

  • на вкладке «Ограничения» вы можете задать:
    • максимальное количество сканируемых URL;
    • максимальную глубину сканирования (расстояние в кликах от начального URL до анализируемого);
    • максимальную вложенность URL (количество сегментов в URL у анализируемой страницы).

Снижение нагрузки в настройках ограничений

  • на вкладке «Правила»:
    • ограничить область сканирования, исключив из неё определённые типы страниц или целые разделы.

Снижение нагрузки в настройках правил

Статья помогла?

Отлично!

Спасибо за ваш отзыв

Извините, что не удалось помочь!

Спасибо за ваш отзыв

Расскажите, как мы можем улучшить эту статью!

Выберите хотя бы одну причину
Требуется проверка CAPTCHA.

Комментарий отправлен

Мы ценим вашу помощь и постараемся исправить статью