Настройки User Agent

Изменено Пн, 9 Окт, 2023 на 7:40 PM

User Agent — это идентификатор, являющийся частью HTTP-запроса и содержащий информацию об устройстве, через которое будет происходить соединение с сервером сайта.

По умолчанию Netpeak Spider осуществляет сканирование c использованием User Agent Google Chrome. С помощью смены User Agent можно тестировать доступность сайта 

  • для роботов поисковых систем
  • для разных браузеров, 
  • для различных устройств, например для смартфона или планшета.

Настройка User Agent происходит в отдельной вкладке с соответствующим названием в меню настроек.

Список категорий в настройках User Agent в программе:

Netpeak Spider → User Agent для идентификации программы. К серверу сайта краулер будет обращаться открыто с проверкой ботом NetpeakSpiderBot.

Поисковые системы → User Agent этой категории используются для проверки правильности прописанных инструкций индексации для роботов поисковых систем в файле robots.txt, в теге Meta Robots и в HTTP-заголовках X-Robots-Tag.

В настройках User Agent можно выбрать следующие поисковые системы:

  • Google;
  • Bing;
  • Yahoo;
  • DuckDuckGo;
  • Yandex;
  • Mail.ru;
  • Seznam;
  • Qwant;
  • Baidu;
  • Naver.

Браузеры → позволяют имитировать посещение реальных пользователей. Также проверяют:

  • нет ли нежелательных редиректов, ссылок или целых блоков в отдельных браузерах;
  • отображается ли специальный контент для определённых браузеров (например, сообщение, что сайт не работает на версии Internet Explorer 9).

Вы можете выбрать следующие браузеры:

  • Chrome;
  • Firefox;
  • Opera;
  • Safari;
  • Yandex;
  • Microsoft Edge;
  • Internet Explorer.

Устройства → используются для проверки доступности разных версий сайта (десктопная, мобильная и версия для планшетов). В пункте «Устройства» вы можете выбрать следующие варианты:

  • Desktop Windows;
  • Desktop Mac OS X;
  • Tablet Apple;
  • Tablet Android;
  • Mobile Apple 
  • Mobile Android.

Кастомные настройки → позволяют задавать собственный User Agent для HTTP запросов и Robots User Agent в полях с соответствующими названиями.

Информация о выбранном User Agent

В правой части окна User Agent отображаются выбранные настройки, а именно:

  • Выбранный шаблон → содержит название выбранного вами шаблона из левой части окна;

  • Категория → отображает одну из пяти категорий User Agent для выполнения различных задач;

  • User Agent HTTP запросов → информация, которая будет отправлена в поле «User-Agent» HTTP-заголовка запроса к серверу;

  • Robots User Agent → эта настройка используется, чтобы установить User Agent для инструкций из файла robots.txt / Meta Robots / X-Robots-Tag.

Статья помогла?

Отлично!

Спасибо за ваш отзыв

Извините, что не удалось помочь!

Спасибо за ваш отзыв

Расскажите, как мы можем улучшить эту статью!

Выберите хотя бы одну причину
Требуется проверка CAPTCHA.

Комментарий отправлен

Мы ценим вашу помощь и постараемся исправить статью