Як знизити навантаження на сайт від Netpeak Spider?

Змінено Mon, 09 Oct 2023 о 07:44 PM

У деяких випадках параметри Netpeak Spider, які використовуються за замовчуванням, не підходять. Зазвичай це відбувається при скануванні:

повільних сайтів - з низькою швидкістю обробки запитів;
сайтів з додатковим захистом від парсингу - з обмеженням кількості одночасних запитів до сервера.

Щоб знизити навантаження на сайт, можна застосувати такі установки:

На вкладці «Основні»:
- Значно зменшити кількість потоків сканування (наприклад, до одного або двох потоків). За замовчуванням встановлено 10 потоків, що забезпечує швидке сканування для більшості сайтів. Якщо цей спосіб не спрацював, спробуйте встановити сканування в один потік із затримкою між запитами в 1500-3000 мс, щоб максимально зменшити швидкість сканування;
- Вимкнути сканування зображень, PDF, CSS та інших типів файлів, а також рендеринг JavaScript, що зменшить кількість запитів під час сканування. Зверніть увагу, що у такому разі перевірка цих файлів на основні SEO-параметри не проводитиметься.

на вкладці «Обмеження» можна задати:
- максимальна кількість сканованих URL;
- максимальну глибину сканування (відстань у кліках від початкового URL до аналізованого);
- максимальну вкладеність URL (кількість сегментів URL в аналізованої сторінки).

на вкладці «Правила»:
- обмежити область сканування, виключивши певні типи сторінок або цілі розділи.