Проверка robots.txt

Загрузите и разберите robots.txt сайта, посмотрите его правила и карты сайта и проверьте, разрешён ли конкретный адрес для Googlebot, Bingbot или любого робота.
cloud

Выполняется на наших пограничных серверах

Браузер не может прочитать ответ чужого сайта, поэтому его получает пограничный сервер dotbunker и передаёт результат. Ничего не сохраняется.

Источники данных

HTTP · dotbunker edge