Генератор Sitemap

1. Генератор Sitemap та види мап сайту.
2. Робота з інструментом.
3. Налаштування Генератора Sitemap.
4. Завантаження XML Sitemap на сайт.

1. Генератор Sitemap та види мап сайту

Генератор Sitemap - вбудований інструмент програми Netpeak Spider, що дозволяє в кілька кліків створювати файли Sitemap на основі рекомендацій Google та Яндекса.

Netpeak Spider генерує такі види Sitemap:

• XML Sitemap → стандартний файл Sitemap, який містить лише посилання на проскановані сторінки. Генерується на основі офіційної документації Standard Sitemap Protocol.
• Image Sitemap → файл, що містить посилання на проскановані сторінки та посилання на всі унікальні зображення на цих сторінках з 200 OK кодом відповіді та не закриті від індексації. Якщо на сторінці немає зображень, посилання на неї не потрапляє в Image Sitemap.

Для створення Image Sitemap перед скануванням необхідно увімкнути параметр «Зображення» у групі «Контент» на бічній панелі. Також на вкладці «Основні» налаштувань програми, переконайтеся, що увімкнено параметр «Перевіряти зображення».

• HTML Sitemap → файл у форматі HTML, що містить посилання на всі сторінки та розділи сайту. Дозволяє вбудувати мапу у розділ або категорію сайту.
  
• TXT Sitemap → текстова мапа сайту з аналогічним списком посилань на всі проскановані сторінки сайту: менш популярний, але все ж таки актуальний спосіб допомогти пошуковим системам проіндексувати ваш сайт.

В інструменті реалізована можливість додавати в мапу сайту як індексовані, так і неіндексовані сторінки для виконання ширшого спектра завдань. У випадку, якщо в мапу сайту необхідно внести тільки URL, що індексуються, вони повинні відповідати наступним умовам:

• HTML-файли з кодом відповіді 200 OK;
• Доступ дозволено у файлі robots.txt (або у віртуальному robots.txt);
• Тег Canonical відсутній або вказує на цей URL;
• Meta Refresh відсутня або вказує на цей URL;
• Дозволено індексацію в X-Robots-Tag або Meta Robots (index);
• Дозволено перехід за посиланнями в X-Robots-Tag або Meta Robots (follow).

2. Робота з інструментом

Алгоритм створення Sitemap:

1. Проскануйте потрібні URL-адреси;

2. Відкрийте інструмент «Генератор Sitemap» за допомогою:

2.1. головного меню → "Інструменти";

2.2. панелі керування → «Запустити інструмент»;

2.3. гарячих клавіш Alt+G . 

3. Налаштуйте необхідні параметри. 

4. Натисніть «Згенерувати... » та виберіть шлях для збереження файлів Sitemap. 

3. Налаштування Генератора Sitemap

Ви можете згенерувати Sitemap для вибраного піддомену або відразу для всіх - тоді буде сформовано декілька окремих файлів для кожного з них. Ви також можете налаштувати сегментацію та створити мапу сайту, наприклад, для певного розділу.

Зверніть увагу: якщо мапа сайту перевищує 49,9 Мбайт або містить понад 49 999 URL, Netpeak Spider розділить її на кілька файлів та згенерує файл індексу Sitemap.

У полі «Цільовий хост для генерації» відображаються хости з URL у головній таблиці. Цільовим хостом можуть бути всі хости або один із запропонованих. У меню, що випадає, ви побачите, скільки URL кожен з хостів передає в генератор Sitemap. Зверніть увагу: якщо у вас налаштований сегмент, він автоматично використовуватиметься як цільовий хост.

У генератор Sitemap з основної таблиці передається максимум 100 хостів.

Для XML Sitemap та Image XML Sitemap можна також задати такі параметри:

• Дата останньої зміни → параметр «lastmod», який вказує пошуковим системам, чи потрібно ще раз індексувати сторінку, або контент сторінки не змінювався. Параметр можна не вказувати / брати з поля "Last-Modified" / встановити вручну для всіх URL.
• Частота змін → параметр changefreq, який вказує пошуковим системам частоту змін контенту на відповідних сторінках. Цей параметр може приймати одне з наступних значень:
  • Постійно (використовується для опису документів, що змінюються при кожному зверненні до них).
  • Кожну годину.
  • Щодня.
  • Щотижня.
  • Щомісяця.
  • Раз в рік.
  • Ніколи (використовується для архівних сторінок)
    
• Пріоритет → параметр «priority», який вказує на пріоритет (від 0.0 до 1.0) сторінки щодо інших на основі кількості її вхідних або вихідних посилань (залежно від того, який параметр вибраний). Якщо цей параметр увімкнено, порядок сторінок у мапі сайту буде побудований від найбільшого до найменшого значення пріоритету.
  
• Економія трафіку → функція, що дозволяє скоротити трафік за допомогою стиснення файлів у .gz архів і видалення всіх пробілів та відступів між тегами. Ця функція доступна для TXT Sitemap.
• Сегментація → функція, що дозволяє генерувати файли Sitemap по 1000 URL для зручності роботи з Google Search Console та подібними сервісами.
• Індексованість → якщо включена ця функція, у файли Sitemap будуть додані тільки індексовані URL - HTML-документи з 2хх кодом відповіді сервера, не закриті від сканування та індексації за допомогою різних інструкцій (robots.txt, canonical, Meta Robots і т.д.). Це найважливіші сторінки на сайті, оскільки вони можуть потенційно приносити органічний трафік.

Hreflang → якщо ця функція включена, до файлів Sitemap будуть додані інструкції hreflang, виявлені під час сканування. Зверніть увагу, що додаються лише інструкції без помилок.

Для HTML Sitemap:

• Джерело текстових посилань → як текст посилання (анкору) можна вибрати URL, тег Title або заголовок H1. Щоб використати відповідні параметри, необхідно увімкнути їх у налаштуваннях сканування.
• Сегментація  → функція дає можливість розбивати весь список сторінок на файли по 100 або 1000 URL у кожному або зберігати все одним файлом.
• Додатковий контент → дозволяє додавати вміст Description біля кожного посилання.

Для TXT Sitemap доступні налаштування економії трафіку та індексації.

Після того, як ви задали налаштування Sitemap, натисніть кнопку «Згенерувати», виберіть шлях для збереження папки та натисніть «OK».

Папка містить файли з вибраними видами Sitemap. Сортування всередині файлів відбувається згідно з сегментацією URL → спочатку йдуть сторінки з мінімальною кількістю сегментів.

4. Завантаження XML Sitemap на сайт

Після генерації виконайте такі дії:

1. Скопіюйте файли з папки «XML Sitemap» до кореневої папки сайту на сервері.

2. Додайте у файл robots.txt директиву "Sitemap" з адресою завантаженої мапи сайту.

3. Перевірте нову мапу сайту в інструменті "Валідатор XML Sitemap" Netpeak Spider і відправте до ping пошукових систем Google і Bing.