Виртуальный robots.txt

Изменено Пн, 9 Окт, 2023 на 7:42 PM

Встроенная функция «Виртуальный robots.txt» позволяет протестировать новый или обновлённый robots.txt, не меняя действующий файл в корневой директории сканируемого сайта.

Чтобы настроить виртуальный robots.txt, необходимо перейти в «Настройки» → вкладка «Виртуальный robots.txt», отметить галочкой «Использовать виртуальный robots.txt», задать свои инструкции и сохранить настройки, нажав «ОК». 

Чтобы приступить к тестированию составленного вами виртуального файла robots.txt,  в поле «Начального URL» на панели управления введите адрес сайта и запустите сканирование кнопкой «Старт». 

Вы можете воспользоваться функциями: 

  • Копировать → для сохранения в буфер обмена содержимого окна; 
  • Сохранить (Alt+S) → для записи виртуального файла robots.txt в формате текстового документа на ваше устройство;
  • Вставить → помещает текст из буфера обмена;
  • Очистить → для удаления содержимого всего окна.


Значения, актуальные для прописанного вами виртуального файла, отобразятся в колонках основной таблицы:

  • «Код ответа сервера» →  если доступ к странице запрещён директивой в robots.txt, к коду ответа сервера прибавляется частица «Disallowed». 
  • «Разрешён в robots.txt» → отображается значение «TRUE», если доступ к странице разрешён директивой Allow или в файле не содержится инструкций, запрещающих индексировать страницу — в противном случае отображается значение «FALSE».  
  • «Директива из robots.txt» → показывает, какой именно директивой разрешён или запрещён доступ к странице, а также её порядковый номер в файле. Если такой инструкции нет, то отображается значение «(NULL)».


Результат настройки

Чтобы краулер следовал указанным инструкциям, необходимо активировать учёт инструкций в robots.txt на вкладке «Продвинутые» в настройках программы.

Примечание: если опция «Виртуальный robots.txt» отключена, то программа будет следовать инструкциям и отображать их из настоящего файла robots.txt. На результат сканирования будет также влиять выбранный вами User Agent.

Статья помогла?

Отлично!

Спасибо за ваш отзыв

Извините, что не удалось помочь!

Спасибо за ваш отзыв

Расскажите, как мы можем улучшить эту статью!

Выберите хотя бы одну причину
Требуется проверка CAPTCHA.

Комментарий отправлен

Мы ценим вашу помощь и постараемся исправить статью