Настройки — Прокси

1. Способы добавления прокси.
2. Работа с прокси в Netpeak Spider.

Прокси — это промежуточный сервер между устройством пользователя и целевым сервером (сайтом).

Прокси позволяет изменить IP-адрес пользователя для:

• проверки «поведения» сайта при посещении с разных локаций;
• обхода запрета массовой отправки запросов серверу или поисковой системе с одного IP-адреса;
• имитации сетевого трафика для тестирования сервера сайта в разработке. В этом случае рекомендуется использовать частные прокси-серверы;
• для ускорения сканирования сайта краулером.

Окно настроек прокси в Netpeak Spider открывается через «Настройки» в главном меню. На открывшейся вкладке отметьте пункт «Использовать список HTTP прокси», чтобы активировать контроль над списком прокси.

1. Способы добавления прокси 

Netpeak Spider позволяет задать прокси разными способами:

• Вручную, нажав «Ввести вручную» в правой части окна, или с помощью горячей клавиши Ctrl+D. Откроется дополнительное окно, в котором вам необходимо будет ввести список прокси-серверов. Каждый прокси должен начинаться с новой строки.
  Формат ввода:  Хост:Порт или Хост:Порт:Логин:Пароль.
• Через таблицу. Для этого нажмите кнопку «Добавить новую строку» или воспользуйтесь горячими клавишами Ctrl+N. 
• 
  

  Важно отметить, что:

• Единственный поддерживаемый формат IP-адреса прокси — IPv4;
• По умолчанию поле «Порт» содержит значение 80;
• «Код ответа» отображает код и описание состояния прокси. Следовательно, работоспособность прокси-серверов можно оценить по коду ответа. Наиболее распространённые коды и их значения:
  • 200 OK — означает, что прокси имеет доступ к запрашиваемому ресурсу;
  • 403 Forbidden — нет доступа к прокси, и авторизация не способна изменить положение;
  • 407 Proxy Authentication Required — прокси запрашивает аутентификацию, или введённые логин и пароль некорректны;
• «Время ответа сервера» отображает длительность отклика проверяемого сервиса через прокси;
• Все столбцы вы можете менять местами так, как вам удобно.

• 
• 
  

• Вне зависимости от выбранного способа добавления прокси, вы можете вставить их списком из буфера обмена:

• через контекстное меню, 
• комбинацией клавиш Ctrl+C → Ctrl+V,
• с помощью кнопки «Вставить» в правой части окна настроек.

• 2. Работа с прокси в Netpeak Spider

  
  

  Работоспособность прокси проверяется автоматически после вставки, но если вам нужно его перепроверить, воспользуйтесь функцией «Проверить» и выберите из выпадающего списка тип проверки:

• Доступ к сети интернет;
• Google;
• Bing;
• Yahoo;
• Яндекс.
• 
  

• Если вам необходимо прекратить проверку, нажмите кнопку «Остановить». Удобно работать и с удалением: вы можете удалить все прокси, выбранные или нерабочие. Для этого воспользуйтесь кнопкой «Удалить» и выберите один из выпадающих вариантов.

  Во время сканирования с использованием списка прокси, запросы к сканируемому сайту будут отправляться с разных IP-адресов. Очерёдность использования прокси зависит от количества заданных потоков на вкладке «Основные», таким образом, если задан один поток, то каждый запрос будет отправляться по очереди со следующего по списку прокси. При достижении конца списка, цикл начнётся сначала. Если используется несколько потоков, то несколько запросов будет оправляться с разных прокси одновременно за единицу времени.

  Мы рекомендуем вам использовать платные прокси-серверы, так как они имеют ряд преимуществ:

• Возможность самостоятельно выбирать характеристики (скорость, время ответа сервера, анонимность и т. д.);
• Существенно сниженная вероятность получения бана от сайтов;
• Возможность выбрать один нужный регион и не бояться, что прокси скоро «умрёт»;
• В случае неполадок всегда можно обратиться в техническую службу.