Основные настройки в Netpeak Spider

1. Язык.
2. Скорость сканирования.
3. Базовые настройки сканирования.
4. Мультидоменное сканирование.
5. Резервное копирование с интервалом.
   
   

На вкладке основных настроек вы можете менять язык интерфейса, скорость и базовые настройки сканирования. 

1. Язык

У вас есть возможность выбрать русский или английский язык интерфейса в Netpeak Spider. Нажмите на кнопку с соответствующим названием и выберите нужный вам вариант из выпадающего списка. 

Обратите внимание: чтобы настройки языка полностью вступили в силу, необходимо перезапустить программу.

2. Скорость сканирования

2.1. Количество потоков 

Каждый поток создаёт отдельное соединение с сайтом, поэтому будьте осторожны: чувствительные к нагрузке сайты могут испытывать проблемы с отображением информации. Вы можете регулировать количество потоков прямо во время сканирования, подбирая оптимальное значение для анализируемого сайта. По умолчанию в Netpeak Spider установлено сканирование в 10 потоков.

2.2. Задержка между запросами 

Это промежуток времени, между каждым запросом к серверу. Для чувствительных к высокой нагрузке или защищённых сайтов рекомендуется настраивать этот параметр и устанавливать задержку между запросами, чтобы не нагружать сервер или обойти ограничения сайта. 

Задержка работает для каждого потока отдельно, поэтому для имитации поведения пользователя рекомендуем использовать один поток и задержку между запросами в 1500-3000 мс. 

2.3. Максимальное время ожидания 

Это время ожидания ответа от сервера в миллисекундах до того, как краулер посчитает такую страницу битой ссылкой с кодом ответа «Timeout» и перейдёт к сканированию следующего URL. Также эта настройка влияет на определение «Ошибки подключения».

• Минимально возможное значение — 50 мс.
• Максимально возможное значение — 90 000 мс. 

2.4. Включение/отключение рендеринга JavaScript

Отметьте, чтобы включить функцию, которая позволяет сканировать URL с рендерингом (выполнением) JavaScript. Это может быть полезно, когда часть контента генерируется или весь сайт разработан с использованием JS-фреймворков.

В Netpeak Spider рендеринг JavaScript реализован с помощью встроенного браузера Chromium: он выполняется только для доступных (с кодом ответа сервера 200 OK) HTML-страниц, при этом блокируются скрипты систем аналитики, не загружаются изображения и iframe.

Основной настройкой является «AJAX timeout» — она устанавливает время ожидания выполнения JavaScript после загрузки страницы и файлов ресурсов (JS/CSS). Обратите внимание: чем больше AJAX timeout, тем дольше будет происходить сканирование. В большинстве случаев значения по умолчанию (2 секунды) будет достаточно для выполнения JavaScript, однако вы можете настраивать его самостоятельно, если на анализируемом сайте есть AJAX-запросы, которые выполняются дольше. Также не рекомендуется занижать это значение, так как код может не успеть полностью обработаться. 

3. Базовые настройки сканирования 

3.1. Сканировать только внутри раздела

Программа будет сканировать сайт только внутри определённой категории, не покидая её. 

Обратите внимание: Netpeak Spider ориентируется по сегменту в адресе страницы, потому для использования этого режима необходимо иметь подходящую структуру URL. Так, при сканировании внутри раздела категории товаров по адресу example.com/category-1, товары example.com/category-1/product попадут в отчёты, а  example.com/product не попадут, так как они начинаются с другого уровня вложенности в URL, даже если ссылка на них находится внутри сканируемого раздела.

3.2. Сканировать все поддомены

Если параметр активирован, то поддомены будут учитываться как часть анализируемого сайта, а ссылки на эти поддомены будут считаться внутренними. Если выключить данный параметр, все результаты, полученные по поддоменам, не будут относиться к сканируемому сайту, а ссылки на них буду считаться внешними.

3.3. Сканировать внешние ссылки

Выберите этот параметр, чтобы все внешние ссылки были добавлены в основную таблицу результатов. Обратите внимание: по всем внешним ссылкам определяются такие же параметры и ошибки, как и по внутренним ссылкам. 

Таким образом, в панели «Ошибки» будет показываться суммарное значение ошибок по внутренним и внешним ссылкам. Однако вы можете построить отчёт только по внешним ссылкам, воспользовавшись сегментацией.

3.4. Проверять JavaScript, CSS, и PDF

Программа собирает информацию (код ответа, размер и т.д.) о найденных на сайте файлах формата JavaScript, CSS, PDF. Важно учитывать, что Netpeak Spider не сканирует содержимое этих файлов. 

3.5. Проверять изображения 

Советуем использовать эту настройку, так как она: 

• позволяет программе собирать основные SEO-параметры по изображениям; 
• влияет на определение таких ошибок как: «Битые изображения» и «Макс. размер изображений».

3.6. Проверять другие MIME-типы

Сбор информации о документах, видео- и аудиофайлах. Аналогично, Netpeak Spider не сканирует содержимое этих файлов, а лишь собирает их общие SEO-параметры.

У вас есть возможность использовать встроенные шаблоны для определённого способа сканирования: от шаблона по умолчанию, подходящего для большинства стандартных SEO-задач, до сканирования сайта «глазами поисковых роботов». 

4. Мультидоменное сканирование

Отметьте, чтобы включить функцию, которая позволяет сканировать вглубь несколько доменов одновременно.

Программа начинает сканирование доменов с тех URL, у которых глубина равна 0 — чтобы добиться этого, добавьте необходимые адреса списком в основную таблицу.

5. Резервное копирование с интервалом

Отметьте, чтобы программа автоматически сохраняла данные сканирования. Это полезно, когда есть риск внезапного отключения компьютера и потери данных.

Резервная копия будет создаваться с интервалом, который вы укажете, а также при остановке (если поставили пробивку на паузу) и завершении сканирования. Обратите внимание: чем меньше интервал, тем чаще будет создаваться копия и дольше будет происходить сбор данных.

Если программа будет внезапно закрыта, то при следующем запуске откроется временный проект, который Netpeak Spider успел сохранить во время последнего резервного копирования. Чтобы сохранить этот временный проект, перейдите в меню «Проект» → «Сохранить» и укажите путь файла, где он будет расположен.