smart_toy
Проверка robots.txt
Загрузите и разберите robots.txt сайта, посмотрите его правила и карты сайта и проверьте, разрешён ли конкретный адрес для Googlebot, Bingbot или любого робота.
cloud
Выполняется на наших пограничных серверах
Браузер не может прочитать ответ чужого сайта, поэтому его получает пограничный сервер dotbunker и передаёт результат. Ничего не сохраняется.
Источники данных
HTTP · dotbunker edge