Віртуальний robots.txt

Вбудована функція «Віртуальний robots.txt» дозволяє протестувати новий або оновлений robots.txt, не змінюючи чинний файл у кореневій директорії сайту, що сканується.

Щоб налаштувати віртуальний robots.txt, необхідно перейти до «Налаштування» → вкладка «Віртуальний robots.txt», відзначити галочкою «Використовувати віртуальний robots.txt», задати свої інструкції та зберегти налаштування, натиснувши «OK».

Щоб розпочати тестування складеного вами віртуального файлу robots.txt, у полі «Початкового URL» на панелі керування введіть адресу сайту та запустіть сканування кнопкою «Старт».   

Ви можете скористатися функціями:

• Копіювати → щоб зберегти в буфер обміну вміст вікна; 
• Зберегти (Alt+S) → для запису віртуального файлу robots.txt у форматі текстового документа на ваш пристрій;
• Вставити → поміщає текст із буфера обміну;
• Очистити → щоб видалити вміст всього вікна.

Значення, актуальні для прописаного віртуального файлу, відобразяться в колонках основної таблиці: 

• «Код відповіді сервера» → якщо доступ до сторінки заборонено директивою в robots.txt, до коду відповіді сервера додається частка Disallowed.
• «Дозволено в robots.txt» → відображається значення «TRUE», якщо доступ до сторінки дозволено директивою Allow або у файлі не міститься інструкцій, що забороняють індексувати сторінку — інакше відображається значення «FALSE». 
• «Директива з robots.txt» → показує, якою директивою дозволено або заборонено доступ до сторінки, а також її порядковий номер у файлі. Якщо такої інструкції немає, то з'являється значення «(NULL)».

Щоб краулер дотримувався вказаних інструкцій, необхідно активувати облік інструкцій у robots.txt на вкладці «Просунуті» в налаштуваннях програми.  

Примітка : якщо опцію «Віртуальний robots.txt» вимкнено, програма буде дотримуватися вказівок і відображатиме їх з цього файлу robots.txt. На результат сканування також впливатиме обраний вами User Agent.