Чому Netpeak Spider не сканує мій сайт?

Список причин, через які певні сайти можуть не скануватися:

1. Сайт закритий від індексації одним або кількома можливими способами — robots.txt, Meta Robots, X-Robots-Tag.

   Рішення:
   • вимкнути облік цих правил у налаштуваннях на вкладці «Просунуті»;
   • відкрити сайт до індексації, тому що інакше висока ймовірність, що сайт матиме великі проблеми з трафіком з пошукових систем.
     
     

2. На сайті не коректно прописаний canonical. Це часто трапляється при переїзді на новий протокол.  

   Рішення:
   • відключити облік інструкції canonical у налаштуваннях на вкладці «Просунуті»;
   • прописати коректне посилання на сайті.
     
     

3. На сайті заборонено доступ для певних User Agent (наприклад Googlebot). 

   Рішення: змінити поточний User Agent у налаштуваннях Netpeak Spider.
   
   

4. З якихось причин ваша IP-адреса була заблокована на сканованому сайті.

   Рішення: використовувати проксі.
   
   

5. На сканованому сайті потрібна авторизація. 

   Рішення: прописати дані для входу (логін та пароль) у налаштуваннях сканування у розділі «Автентифікація». Цей спосіб працює тільки для базової аутентифікації, яка включається до HTTP-запиту і найчастіше використовується на етапі розробки сайту.
   
   

6. Помилка ‘SendFailure’ може виявитися на сайтах з HTTPS-протоколом, якщо ви використовуєте Netpeak Spider на Windows версії нижче 7 SP2, оскільки такі версії операційних систем не підтримують шифрування TLS 1.2.

   Solutions:
   • запустити Netpeak Spider на пристрої з Windows 7 SP2 та пізніших версій;

   • якщо ви власник сайту, налаштувати підтримку ранніх версій шифрування (TLS 1.0).

7. Помилка ‘ConnectFailure’ означає, що з'єднання з сервером неможливо встановити. Найчастіше вона з'являється під час сканування сайтів із HTTP-протоколом. Якщо в полі «Початковий URL» ви ввели лише ім'я домену, спрацьовує автоматичне встановлення префікса захищеного протоколу HTTPS, що не дає встановити з'єднання. 

   Вирішення: достатньо в початковому URL змінити префікс на http://.
   
   
8. Сканований сайт написаний на JavaScript. За замовчуванням Netpeak Spider сканує лише статичний HTML-код без рендерингу JavaScript-коду.
   
   Рішення: позначити галочкою пункт "Рендерити JavaScript" на вкладці основних налаштувань. За потреби змініть Ajax Timeout (за замовчуванням встановлено затримку 2 секунди).
   

9. Сторінки сканованого сайту від початку або з певного моменту віддають 5хх код відповіді сервера. Ця проблема може бути пов'язана з тим, що сервер, на якому розташований даний сайт, некоректно працює при отриманні великої кількості запитів, або на ньому встановлено захист від великої кількості одночасних запитів.

   Рішення:

   • пересканувати лише сторінки з 5хх кодом відповіді сервера: зменшити кількість потоків у налаштуваннях на вкладці «Основні», відфільтрувати сторінки з 5хх кодом відповіді та в контекстному меню вибрати пункт «Поточна таблиця» → «Пересканувати таблицю»;

   • пересканувати весь проект: аналогічно зменшити кількість потоків та повторити сканування, натиснувши кнопку «Рестарт».

     Ми рекомендуємо встановити значення у 2 потоки. Якщо проблема повториться знову, слід виставити значення в один потік, а також встановити додаткову затримку між запитами в 2000 мс. Сканування займе більше часу, але такі налаштування дозволять уникнути надмірного навантаження на сервер.

Зверніть увагу, що навантаження в 5-10 потоків не є надто великим: ми радимо забезпечити коректну роботу сервера при такому навантаженні, щоб відвідувачі сайту могли швидко та комфортно пересуватися по ньому без тривалого очікування відповіді. Якщо ви часто зустрічаєтеся з такими проблемами, рекомендуємо провести оптимізацію швидкості відповіді сервера та/або вибрати потрібний хостинг.