Огляд налаштувань Netpeak Spider

Одна з ключових особливостей Netpeak Spider – можливість максимально гнучкого налаштування сканування відповідно до індивідуальних вимог користувача. Для спрощення та прискорення налаштування сканування ми реалізували ряд функцій:

1. Опції — для швидкого доступу на останню відкриту вкладку налаштувань.
2. Налаштування шаблонів налаштувань.
3. Можливість збереження власних шаблонів налаштувань.
4. Швидке відновлення за замовчуванням.
5. Можливість змінювати налаштування швидкості сканування, не ставлячи його на паузу.

1. Опції

Опції розташовані в головному меню → Налаштування. Вони служать для швидкого переходу на останню відкриту вкладку налаштувань і можуть бути викликані гарячими клавішами Ctrl+G. 

• Основні налаштування → зміна мови програми, швидкості сканування та її базових налаштувань.
• Розширені налаштування → дозволяють налаштовувати облік інструкцій індексації, задавати автоматичну зупинку краулінгу при перевищенні допустимої кількості запитів за короткий час на сканованому сайті, а також сканування певних видів сторінок.
• Налаштування віртуального robots.txt → дають можливість протестувати новий або оновлений robots.txt, не змінюючи чинний файл сканованого сайту.
• Налаштування парсингу → дозволяють отримати будь-які дані з HTML-сторінок, перевірити впровадження систем аналітики, мікророзмітки, метатегів та багато іншого.
• Налаштування User Agent → надають можливість задати заголовок запиту до сервера зі списку або власний, за яким програма ідентифікується сервером сканованого сайту.
• Налаштування заголовків HTTP → дозволяє вказувати кастомні заголовки для HTTP-запитів від програми до сайтів;
• Налаштування обмежень → дозволяють самостійно встановлювати обмеження сканування сайту, наприклад, автоматичну зупинку сканування при досягненні певної кількості сторінок, глибини або вкладеності, а також обмеження, що визначають помилки.
• Налаштування перевірки орфографії → Ви можете знайти на сторінках слова з помилками правопису.
• Налаштування Google Analytics та Search Console → дозволяє отримувати дані з сервісів Google Analytics та Search Console, вам необхідно додати обліковий запис Google (ви можете додати кілька облікових записів для одночасної роботи з ними).
• Налаштування експорту → для вибору формату експорту, регіональних налаштувань та інших параметрів звітів.
• Налаштування аутентифікації → дозволяють провести SEO-аудит сайту, закритого для доступу за допомогою базової аутентифікації. При використанні цього виду автентифікації, ім'я користувача та пароль включаються до вебзапиту (HTTP POST або HTTP GET).
• Налаштування проксі → потрібні для встановлення списку проксі.
• Налаштування White Label → дозволяє вилучити з PDF-звіту «Технічний SEO-аудит» брендові елементи Netpeak Software та додати власний логотип, необхідні контактні дані та рекомендації клієнту.

Всі запропоновані варіанти ви можете комбінувати необхідним для вас чином.

2. Шаблони налаштувань

Шаблони — це комбінації налаштувань, заданих під певні види сканування: від загальної перевірки сайту до сканування «очима пошукових роботів».

У Netpeak Spider реалізовані наступні шаблони:

• Поточний → поточні параметри проекту. 
• Користувач: останній;→ повертає налаштування, задані при останньому скануванні.
• За замовчуванням → встановлені налаштування. Докладніше про них у статті "Запуск сканування в Netpeak Spider".
• За замовчуванням: бот → не скануються зовнішні посилання та враховується максимум інструкцій з індексації.
• За замовчуванням: всередині розділу → застосовується для сканування в межах певної категорії сайту, не залишаючи її. Не скануються зображення, PDF-файли та інші.
• З відкритого проекту → підвантажує збережені налаштування з відкритого проекту, без урахування виставлених конфігурацій.

Крім того, ви можете зберігати власні шаблони налаштувань для швидкого доступу до них у майбутньому. 

Щоб зберегти шаблон:

1. Вкажіть необхідні налаштування.
2. Оберіть «Зберегти» або «Зберегти як... » у меню, що випадає.
3. Введіть назву шаблону та натисніть «OK».
   
   

Шаблони застосовуються до всіх параметрів проекту і не стосуються налаштувань програми (вкладки «Експорт», «Проксі», Google Analytics тощо), а також не зберігають дані базової автентифікації (оскільки це ваші особисті дані).

3. Кнопки керування

• «OK» → для збереження змін.
• «Скиньте поточні налаштування вкладки до стандартних» → для повернення до стандартних параметрів. Знаходиться в нижній частині вікна та діє лише на поточну вкладку.
• «Відміна» та «Закрити» → закривають вікно налаштувань без збереження змін.

4. Зміна налаштувань під час сканування

Щоб змінити налаштування та параметри, необхідно призупинити сканування (кнопкою «Пауза») та після внесення змін продовжити за допомогою кнопки «Старт». Нові налаштування будуть враховуватися для ще не просканованих URL-адрес, а сторінки, які вже потрапили в результати, залишаться без змін.

Однак кількість потоків сканування можна змінювати, не перериваючи процес краулінгу.