smart_toy
robots.txt チェッカー
サイトの robots.txt を取得して解析し、ルールとサイトマップを一覧表示して、指定した URL が Googlebot、Bingbot、任意のクローラーに許可されているかを判定します。
cloud
エッジサーバー上で実行
ブラウザは他サイトの応答を読み取れないため、dotbunker のエッジサーバーが取得して結果を返します。内容は保存されません。
データ提供元
HTTP · dotbunker edge