Robots.txt 검사

사이트의 robots.txt를 가져와 해석하고, 규칙과 사이트맵을 나열하며, 특정 URL이 Googlebot이나 Bingbot 또는 모든 크롤러에 허용되는지 시험합니다.
cloud

저희 엣지 서버에서 실행

브라우저는 다른 사이트의 응답을 읽을 수 없어 dotbunker 엣지 서버가 대신 가져와 알려 줍니다. 아무것도 저장하지 않습니다.

데이터 출처

HTTP · dotbunker edge