Налаштування — Проксі

1. Способи додавання проксі
2. Робота з проксі в Netpeak Spider

Проксі – це проміжний сервер між пристроєм користувача та цільовим сервером (сайтом). Проксі дозволяє змінити IP-адресу користувача для:

• перевірки «поведінки» сайту під час відвідування з різних локацій;
• обходу заборони масового надсилання запитів серверу або пошуковій системі з однієї IP-адреси;
• імітації мережного трафіку для тестування сервера сайту у розробці. У цьому випадку рекомендується використовувати приватні проксі-сервери;
• для прискорення сканування вебсайту краулером. 

Netpeak Spider дозволяє задати проксі різними способами:

1. Способи додавання проксі

Вікно налаштувань проксі Netpeak Spider відкривається через «Налаштування» в головному меню. На вкладці позначте пункт «Використовувати список HTTP проксі», щоб активувати контроль над списком проксі.

• 
  
  • Вручну натиснувши «Додати вручну» у правій частині вікна, або за допомогою Ctrl+D. Відкриється додаткове вікно, в якому вам потрібно буде ввести список проксі-серверів. Кожен проксі має починатися з нового рядка.

• Формат введення: Хост:Порт або Хост:Порт:Логін:Пароль

  • Через таблицю. Для цього натисніть кнопку «Додати новий рядок» або скористайтеся Ctrl+N.

Важливо, що:

• Єдиний підтримуваний формат IP-адреси проксі - IPv4;
• За замовчуванням поле "Порт" містить значення 80;
• Код відповіді відображає код та опис стану проксі. Отже, працездатність проксі-серверів можна оцінити за відповідним кодом. Найбільш поширені коди та їх значення:
  • 200 OK – означає, що проксі має доступ до запитуваного ресурсу;
  • 403 Forbidden – немає доступу до проксі, і авторизація не здатна змінити положення;
  • 407 Proxy Authentication Required – проксі запитує автентифікацію, або введені логін та пароль некоректні.
• «Час відповіді сервера» відображає тривалість відгуку сервісу, що перевіряється через проксі.
• Усі стовпці ви можете міняти місцями так, як вам зручно.

Незалежно від обраного способу додавання проксі, ви можете вставити їх списком з буфера обміну:

• через контекстне меню,
• комбінацією клавіш Ctrl+С → Ctrl+V,
• за допомогою кнопки «Вставити» у правій частині вікна налаштувань.

• 2. Робота з проксі в Netpeak Spider

  
  

  Працездатність проксі перевіряється автоматично після вставки, але якщо вам потрібно його перевірити ще раз, скористайтеся функцією «Перевірити» і оберіть з випадаючого списку тип перевірки:

• Доступ до Інтернету;
• Google;
• Bing;
• Yahoo;
• Яндекс.

• Якщо потрібно припинити перевірку, натисніть кнопку «Зупинити».

  Зручно працювати з видаленням: ви можете видалити всі проксі, обрані або неробочі. Для цього скористайтеся кнопкою «Видалити» і виберіть один із варіантів, що випадають.

  Під час сканування за допомогою списку проксі запити до сканованого сайту будуть надсилатися з різних IP-адрес. Черговість використання проксі залежить від кількості заданих потоків на вкладці «Основні», таким чином, якщо заданий один потік, кожен запит буде відправлятися по черзі з наступного за списком проксі. При досягненні кінця списку цикл розпочнеться спочатку. Якщо використовується кілька потоків, кілька запитів буде відправлятися з різних проксі одночасно за одиницю часу.

  
  

  Ми рекомендуємо вам використовувати платні проксі-сервери, тому що вони мають ряд переваг:

• Можливість самостійно обирати характеристики (швидкість, час відповіді сервера, анонімність тощо);
• Істотно менша можливість отримання бану від сайтів;
• Можливість обрати один потрібний регіон і не боятися, що проксі скоро «помре»;
• У разі несправностей завжди можна звернутися до технічної служби.