Обзор настроек Netpeak Spider

Одна из ключевых особенностей Netpeak Spider — возможность максимально гибкой настройки сканирования в соответствии с индивидуальными требованиями пользователя. Для упрощения и ускорения настройки сканирования, мы реализовали ряд функций:

1. Опции — для быстрого доступа на последнюю открытую вами вкладку настроек.

2. Преднастроенные шаблоны настроек.

3. Возможность сохранять собственные шаблоны настроек.

4. Быстрое восстановление настроек по умолчанию.

5. Возможность изменять настройки скорости сканирования не ставя его на паузу.

1. Опции

«Опции» располагаются в главном меню → «Настройки». Они служат для быстрого перехода на последнюю открытую вкладку настроек и могут быть также вызваны горячими клавишами Ctrl+G. Если же вы впервые заходите в настройки Netpeak Spider, «Опции» перенаправят вас на вкладку «Основные».

В программе доступны следующие типы настроек:

• Основные настройки → изменение языка программы, скорости сканирования и его базовых настроек. 
• Продвинутые настройки → позволяют настраивать учёт инструкций индексации, задавать автоматическую остановку краулинга при превышении допустимого количества запросов за короткое время на сканируемом сайте, а также сканирование определённых видов страниц. 
• Настройки виртуального robots.txt → дают возможность протестировать новый или обновлённый robots.txt, не меняя действующий файл сканируемого сайта.
• Настройки парсинга → позволяют извлечь любые массивы данных из HTML-страниц, проверить внедрение систем аналитики, микроразметки, метатегов и многое другое.
• Настройки User Agent → предоставляют возможность задать заголовок запроса к серверу из списка или свой собственный, по которому программа идентифицируется сервером сканируемого сайта. 
• Настройки HTTP-заголовков → позволяет указывать кастомные заголовки для HTTP-запросов от программы к сайтам.
• Настройки ограничений → позволяют самостоятельно устанавливать ограничения сканирования сайта, например автоматическую остановку сканирования при достижении определённого количества страниц, глубины или вложенности,  а также ограничения, определяющие ошибки. 
• Настройки проверки орфографии → позволяет найти на страницах слова с ошибками правописания.
• Настройки Google Analytics и Search Console → позволяет получать данные из сервисов Google Analytics и Search Console, вам необходимо добавить аккаунт Google (вы можете добавить несколько аккаунтов для одновременной работы с ними).
• Настройки Яндекс Метрики → позволяет получать данные из сервиса Яндекс Метрика, вам необходимо добавить аккаунт Яндекс (вы можете добавить несколько аккаунтов для одновременной работы с ними).
• Настройки экспорта → для выбора формата файлов экспорта, региональных установок и других параметров отчётов.
• Настройки аутентификации → позволяют провести SEO-аудит сайта, закрытого для доступа с помощью базовой аутентификации. При использовании данного вида аутентификации, имя пользователя и пароль включаются в состав веб-запроса (HTTP POST или HTTP GET).
• Настройки прокси → необходимы для задания списка прокси.
• Настройки White Label → позволяет убрать из PDF-отчёта «Технический SEO-аудит» брендовые элементы Netpeak Software и добавить собственный логотип, необходимые контактные данные и рекомендации клиенту.

Все предложенные выше варианты вы можете комбинировать необходимым для вас образом.

2. Шаблоны настроек

Шаблоны — это комбинации настроек, заданных под определённые виды сканирования: от общей проверки сайта до сканирования «глазами поисковых роботов». 

В Netpeak Spider реализованы следующие преднастроенные шаблоны:

• Текущий → текущие настройки проекта.
• Пользовательский: последний → возвращает настройки, заданные при последнем сканировании.
• По умолчанию → предустановленные настройки. Подробнее о них в статье «Запуск сканирования в Netpeak Spider».
• По умолчанию: бот → не сканируются внешние ссылки и учитывается максимум инструкций по индексации.
• По умолчанию: внутри раздела → применяется для сканирования внутри определённой категории сайта, не покидая её. Не сканируются изображения, файлы формата PDF и прочие.
• Из открытого проекта → подгружает сохранённые настройки из открытого проекта, без учёта выставленных только что конфигураций. 

Кроме того, вы можете сохранять собственные шаблоны настроек для быстрого доступа к ним в будущем. 

Чтобы сохранить шаблон:

• Задайте необходимые настройки.
• Выберите «Сохранить» или «Сохранить как... » в выпадающем меню. 
• Впишите название шаблона и нажмите «OK».
  

Шаблоны применяются ко всем настройкам проекта и не касаются настроек приложения (вкладки «Экспорт», «Прокси», Google Analytics и тд), а также не хранят данные базовой аутентификации (так как это ваши личные данные).

3. Кнопки управления

• «ОК» → для сохранения внесённых изменений.
• «Восстановить настройки по умолчанию» → для возврата к стандартным настройкам.  Находится в нижней части окна и действует только на текущую вкладку.
• «Отмена» и «Закрыть» → закрывают окно настроек без сохранения внесенных изменений.
  

4. Изменение настроек в ходе сканирования

Чтобы изменить настройки и параметры, необходимо приостановить сканирование (кнопкой «Пауза») и после внесения изменений продолжить с помощью кнопки «Старт». Новые настройки будут учитываться для ещё не просканированных URL, а страницы, которые уже попали в результаты, останутся без изменений. 

Однако, количество потоков сканирования можно менять, не прерывая процесс краулинга.