Настройки User Agent

Изменено Пн, 9 Окт, 2023 на 7:40 PM

User Agent — это идентификатор, являющийся частью HTTP-запроса и содержащий информацию об устройстве, через которое будет происходить соединение с сервером сайта.

По умолчанию Netpeak Spider осуществляет сканирование c использованием User Agent Google Chrome. С помощью смены User Agent можно тестировать доступность сайта

для роботов поисковых систем
для разных браузеров,
для различных устройств, например для смартфона или планшета.

Настройка User Agent происходит в отдельной вкладке с соответствующим названием в меню настроек.

Список категорий в настройках User Agent в программе:

Netpeak Spider → User Agent для идентификации программы. К серверу сайта краулер будет обращаться открыто с проверкой ботом NetpeakSpiderBot.

Поисковые системы → User Agent этой категории используются для проверки правильности прописанных инструкций индексации для роботов поисковых систем в файле robots.txt, в теге Meta Robots и в HTTP-заголовках X-Robots-Tag.

В настройках User Agent можно выбрать следующие поисковые системы:

Google;
Bing;
Yahoo;
DuckDuckGo;
Yandex;
Mail.ru;
Seznam;
Qwant;
Baidu;
Naver.

Браузеры → позволяют имитировать посещение реальных пользователей. Также проверяют:

нет ли нежелательных редиректов, ссылок или целых блоков в отдельных браузерах;
отображается ли специальный контент для определённых браузеров (например, сообщение, что сайт не работает на версии Internet Explorer 9).

Вы можете выбрать следующие браузеры:

Chrome;
Firefox;
Opera;
Safari;
Yandex;
Microsoft Edge;
Internet Explorer.

Устройства → используются для проверки доступности разных версий сайта (десктопная, мобильная и версия для планшетов). В пункте «Устройства» вы можете выбрать следующие варианты:

Desktop Windows;
Desktop Mac OS X;
Tablet Apple;
Tablet Android;
Mobile Apple
Mobile Android.

Кастомные настройки → позволяют задавать собственный User Agent для HTTP запросов и Robots User Agent в полях с соответствующими названиями.

Информация о выбранном User Agent

В правой части окна User Agent отображаются выбранные настройки, а именно:

Выбранный шаблон → содержит название выбранного вами шаблона из левой части окна;
Категория → отображает одну из пяти категорий User Agent для выполнения различных задач;
User Agent HTTP запросов → информация, которая будет отправлена в поле «User-Agent» HTTP-заголовка запроса к серверу;
Robots User Agent → эта настройка используется, чтобы установить User Agent для инструкций из файла robots.txt / Meta Robots / X-Robots-Tag.