Як сканувати сайти на платформі Shopify і уникнути помилки 430 Unassigned?

Змінено Ср., 20 Бер. на 4:01 ПІСЛЯ ПОЛУДНЯ

Доволі часто під час сканування сайтів на платформі Shopify програма Netpeak Spider починає отримувати код відповіді '430 Unassigned'.

Це виникає через блокування запитів зі сторони сервера. Нижче ми дамо декілька порад як уникнути або мінімізувати такі обмеження.

Нам вдалося просканувати 9 тисяч URL-адрес Shopify-сайту дотримуючись наступних порад:

1. Зменшіть кількість потоків

Меньше потоків — меньше навантаження на сайт з боку Netpeak Spider. В ідеалі, варто використовувати 1 потік для сканування з однієї IP-адреси.

Подробиці з налаштування потоків читайте в статті 'Як знизити навантаження на сайт від Netpeak Spider?'

2. Використовуйте проксі

Проксі дозволяють розподіляти навантаження між кількома IP-адресами і знизити ймовірність блокування сервером.

При цьому, вам не потрібні дорогі виділені проксі. Наприклад ми користуємося semi-dedicated проксі в сервісі buyproxies.org.

Під час сканування сайту із прикладу вище ми використали 5 потоків і 5 проксі, тобто один проксі на потік.

3. Скануйте лише важливі вам сторінки

Чим меньше сторінок треба просканувати, тим меньше програма зробить запитів на сервер.

Якщо вам потрібно сканувати лише певну частину веб-сайту, вкажіть це в налаштуваннях. Це допоможе уникнути сканування непотрібних сторінок і заощадити час і ресурси. Деталі з налаштування дивіться в окремій статті 'Налаштування правил сканування'.