Налаштування User Agent

User Agent — це ідентифікатор, який є частиною HTTP-запиту та містить інформацію про пристрій, через який буде відбуватися з'єднання із сервером сайту.

За замовчуванням Netpeak Spider здійснює сканування за допомогою User Agent Google Chrome. За допомогою зміни User Agent можна тестувати доступність сайту для роботів пошукових систем, різних браузерів, або для різних пристроїв, наприклад, для смартфона або планшета.

Налаштування User Agent відбувається в окремій вкладці з відповідною назвою меню налаштувань.

User agent categories

Netpeak Spider → User Agent для ідентифікації програми. До сервера сайту краулер звертатиметься відкрито з перевіркою ботом NetpeakSpiderBot.

Пошукові системи → User Agent цієї категорії використовуються для перевірки правильності прописаних інструкцій індексації для роботів пошукових систем у файлі robots.txt, у тегу Meta Robots та у HTTP-заголовках X-Robots-Tag.

У налаштуваннях User Agent можна вибрати такі пошукові системи:

• Google
• Bing
• Yahoo
• DuckDuckGo
• Seznam
• Qwant
• Baidu
• Naver

Браузер → дозволяє імітувати відвідування реальних користувачів. Також перевіряти:

• чи немає небажаних редиректів, посилань чи цілих блоків у окремих браузерах;
• чи відображається спеціальний контент для певних браузерів (наприклад, повідомлення, що сайт не працює на версії Internet Explorer 9).

Ви можете вибрати такі браузери:

• Chrome
• Firefox
• Opera
• Safari
• Microsoft Edge
• Internet Explorer

Пристрої, що використовуються для перевірки доступності різних версій сайту (десктопна, мобільна та версія для планшетів). У пункті «Пристрої» можна вибрати такі варіанти:

• Desktop Windows
• Desktop Mac OS X
• Tablet Apple
• Tablet Android
• Mobile Apple 
• Mobile Android

Кастомні налаштування → дозволяють задавати власний User Agent для HTTP запитів та Robots User Agent у полях із відповідними назвами.

Інформація про обраний User Agent

У правій частині вікна User Agent відображаються вибрані налаштування, а саме:

• Обраний шаблон → містить назву обраного шаблону з лівої частини вікна;
• Категорія → відображає одну з п'яти категорій User Agent для виконання різних задач; 
• User Agent HTTP запитів → інформація, яка буде надіслана у поле «User-Agent» HTTP-заголовка запиту до сервера;
• Robots User Agent → це налаштування використовується для встановлення User Agent для інструкцій з файлу robots.txt / Meta Robots / X-Robots-Tag.