Генератор Sitemap

1. Генератор Sitemap и виды карт сайта.
2. Работа с инструментом.
3. Настройки Генератора Sitemap.
4. Загрузка XML Sitemap на сайт.

1. Генератор Sitemap и виды карт сайта

Генератор Sitemap — встроенный инструмент программы Netpeak Spider, позволяющий в несколько кликов создавать файлы Sitemap на основе рекомендаций Google и Яндекса.

Netpeak Spider генерирует следующие виды Sitemap:

• XML Sitemap → стандартный файл Sitemap, который содержит только ссылки на просканированные страницы. Генерируется на основе официальной документации Standard Sitemap Protocol.
  
  
• Image Sitemap → файл, содержащий ссылки на просканированные страницы и ссылки на все уникальные изображения на этих страницах с 200 OK кодом ответа и не закрытые от индексации. Если на странице нет изображений, то ссылка на неё не попадает в Image Sitemap.
  
  Для генерации Image Sitemap перед сканированием необходимо включить параметр «Изображения» в группе «Контент» на боковой панели. Также на вкладке «Основные» настроек программы, убедитесь, что включён параметр «Проверять изображения».
  
  
• HTML Sitemap → файл в формате HTML, содержащий ссылки на все страницы и разделы сайта. Позволяет встроить карту в раздел или категорию сайта.
  
  
• TXT Sitemap → текстовая карта сайта с аналогичным списком ссылок на все просканированные страницы сайта: менее популярный, но всё же актуальный способ помочь поисковым системам проиндексировать ваш сайт.

В инструменте реализована возможность добавлять в карту сайта как индексируемые так и неиндексируемые страницы для выполнения более широкого спектра задач. В случае, если в карту сайта необходимо внести только индексируемые URL, они должны соответствовать следующим условиям:

• HTML-файлы с кодом ответа строго 200 OK;
• Доступ разрешён в файле robots.txt (или в виртуальном robots.txt);
• Тег Canonical отсутствует или указывает на этот же URL;
• Meta Refresh отсутствует или указывает на этот же URL;
• Разрешена индексация в X-Robots-Tag или Meta Robots (index);
• Разрешён переход по ссылкам в X-Robots-Tag или Meta Robots (follow).

2. Работа с инструментом

Алгоритм создания Sitemap:

1. Просканируйте нужные URL;

2. Откройте инструмент «Генератор Sitemap» с помощью:

2.1. главного меню → «Инструменты»;

2.2. панели управления → «Запустить инструмент»;

2.3. горячих клавиш Alt+G.

3. Настройте нужные вам параметры.

4. Нажмите «Сгенерировать... » и выберите путь сохранения файлов Sitemap.

3. Настройки Генератора Sitemap

Вы можете сгенерировать Sitemap для выбранного поддомена либо сразу для всех — тогда будет сформировано несколько отдельных файлов для каждого из них. Вы также можете настроить сегментацию и создать карту сайта, например, для определённого раздела. 

Обратите внимание: если карта сайта превышает 49,9 Мбайт или содержит более 49 999 URL, Netpeak Spider разделит её на несколько файлов и сгеренирует файл индекса Sitemap.

В поле «Целевой хост для генерации» отображаются хосты из URL в главной таблице. Целевым хостом могут быть все хосты или один из предложенных. В выпадающем меню вы увидите, сколько URL каждый из хостов передаёт в генератор Sitemap.
Обратите внимание: если у вас настроен сегмент, он будет автоматически использоваться как целевой хост.
 

В генератор Sitemap из основной таблицы передаётся максимум 100 хостов.

Для XML Sitemap и Image XML Sitemap вы можете также задать следующие параметры:

• Дата последнего изменения → параметр «lastmod», который указывает поисковым системам, необходимо ли ещё раз индексировать страницу, или контент страницы не изменялся. Параметр можно не указывать / брать из поля «Last-Modified» / задать вручную для всех URL.
• Частота изменений → параметр «changefreq», который указывает поисковым системам частоту изменений контента на соответствующих страницах. Данный параметр может принимать одно из следующих значений:
  • Постоянно (используется для описания документов, которые меняются при каждом обращении к ним).
  • Каждый час.
  • Ежедневно.
  • Еженедельно.
  • Ежемесячно.
  • Раз в год.
  • Никогда (используется для архивных страниц)
• Приоритет → параметр «priority», который указывает приоритет (от 0.0 до 1.0) страницы относительно остальных на основе количества её входящих или исходящих ссылок (в зависимости от того, какой параметр выбран). Если этот параметр включён, порядок страниц в карте сайта будет выстроен от наибольшего к наименьшему значению приоритета.
• Экономия трафика → функция, позволяющая сократить трафик с помощью сжатия файлов в .gz архив и удаления всех пробелов и отступов между тегами. Эта же функция доступна для TXT Sitemap.
• Сегментация → функция, позволяющая генерировать файлы Sitemap по 1000 URL для удобства работы с Google Search Console и подобными сервисами.
• Индексируемость → если включена эта функция, в файлы Sitemap будут добавлены только индексируемые URL — HTML-документы с 2хх кодом ответа сервера, не закрытые от сканирования и индексации с помощью различных инструкций (robots.txt, canonical, Meta Robots и т.д.). Это самые важные страницы на сайте, так как они потенциально могут приносить органический трафик.
• Hreflang → если включена эта функция, в файлы Sitemap будут добавлены инструкции hreflang, обнаруженные во время сканирования. Обратите внимание, что добавляются только инструкции без ошибок.
  

Для HTML Sitemap:

• Источник текстовых ссылок → в качестве текста ссылки (анкора) вы можете выбрать URL, тег Title или заголовок H1. Чтобы использовать соответствующие параметры, необходимо включить их в настройках сканирования.
• Сегментация → функция даёт возможность разбивать весь список страниц на файлы по 100 или 1000 URL в каждом или сохранять всё одним файлом. 
• Дополнительный контент → позволяет добавлять содержимое Description возле каждой ссылки.

Для TXT Sitemap доступны настройки экономии трафика и индексируемости.

После того, как вы задали настройки Sitemap, нажмите кнопку «Сгенерировать», выберите путь для сохранения папки и нажмите «OK».

В папке будут содержаться файлы с выбранными видами Sitemap. Сортировка внутри файлов идёт согласно сегментации URL → вначале идут страницы с минимальным количеством сегментов.

4. Загрузка XML Sitemap на сайт

После генерации проделайте следующие действия:

1. Скопируйте файлы из папки «XML Sitemap» в корневую папку сайта на сервере.
2. Добавьте в файл robots.txt директиву «Sitemap» с адресом загруженной карты сайта.
3. Проверьте новую карту сайта в инструменте «Валидатор XML Sitemap» Netpeak Spider и отправьте в ping поисковым системам Google и Bing.