Віртуальний robots.txt

Змінено вт., 9 Лип. на 4:02 ПІСЛЯ ПОЛУДНЯ

Вбудована функція «Віртуальний robots.txt» дозволяє протестувати новий або оновлений robots.txt, не змінюючи чинний файл у кореневій директорії сайту, що сканується.

Щоб налаштувати віртуальний robots.txt, необхідно перейти до «Налаштування» → вкладка «Віртуальний robots.txt», відзначити галочкою «Використовувати віртуальний robots.txt», задати свої інструкції та зберегти налаштування, натиснувши «OK».

Virtual robots.txt settings


Щоб розпочати тестування складеного вами віртуального файлу robots.txt, у полі «Початкового URL» на панелі керування введіть адресу сайту та запустіть сканування кнопкою «Старт».   

Ви можете скористатися функціями:

  • Копіювати → щоб зберегти в буфер обміну вміст вікна; 
  • Зберегти (Alt+S) → для запису віртуального файлу robots.txt у форматі текстового документа на ваш пристрій;
  • Вставити → поміщає текст із буфера обміну;
  • Очистити → щоб видалити вміст всього вікна.


Значення, актуальні для прописаного віртуального файлу, відобразяться в колонках основної таблиці: 

  • «Код відповіді сервера» → якщо доступ до сторінки заборонено директивою в robots.txt, до коду відповіді сервера додається частка Disallowed.
  • «Дозволено в robots.txt» → відображається значення «TRUE», якщо доступ до сторінки дозволено директивою Allow або у файлі не міститься інструкцій, що забороняють індексувати сторінку — інакше відображається значення «FALSE». 
  • «Директива з robots.txt» → показує, якою директивою дозволено або заборонено доступ до сторінки, а також її порядковий номер у файлі. Якщо такої інструкції немає, то з'являється значення «(NULL)».


The obtained result


Щоб краулер дотримувався вказаних інструкцій, необхідно активувати облік інструкцій у robots.txt на вкладці «Просунуті» в налаштуваннях програми.  


Advanced settings. Follow directives from robots.txt file


Примітка : якщо опцію «Віртуальний robots.txt» вимкнено, програма буде дотримуватися вказівок і відображатиме їх з цього файлу robots.txt. На результат сканування також впливатиме обраний вами User Agent.

Ця стаття була корисною?

Чудово!

Дякуємо за відгук

Даруйте, що не вдалося допомогти вам

Дякуємо за відгук

Розкажіть, як ми можемо поліпшити цю статтю!

Виберіть принаймні одну причину
Необхідна перевірка CAPTCHA.

Відгук надіслано

Дякуємо за допомогу! Ми докладемо всіх зусиль, щоби виправити статтю