요즘 자주 접하는 질문 중 하나가 '사이트 진단' 항목의 '차단된 URL'에 관한 것입니다. 우려하시는 것과는 달리, 이는 정책 위반 등으로 광고 게재가 중단된 사이트가 아니라 광고를 게재를 하는데 기술적인 어려움이 있는 사이트를 나타냅니다.

사이트의 내용을 파악하고 관련성 있는 광고를 게재하기 위해서는 Google의 크롤러가 해당 페이지에 접근해야만 합니다. 크롤링 도중 문제가 발생하는 경우 사이트 진단 도구의 '차단된 URL'에 기록됩니다. 이 목록을 참고하여 특정 URL에서 발생하는 오류를 수정하면 관련성 있는 광고를 게재할 수 있습니다.


크롤링 실패에는 크게 두 가지 원인이 있을 수 있습니다.

- URL을 찾을 수 없음 : 크롤링 시점에 서버가 다운되어 크롤러가 해당 페이지에 접근할 수 없는 상태를 의미합니다.
- Robots.txt 파일 : 해당 사이트의 robots.txt 파일이 크롤러의 접근을 차단하고 있는 경우를 나타냅니다.

이 정보는 매주 업데이트 되므로, 서버가 일시 다운되어 크롤링이 실패한 경우 일주일 후 크롤링 여부를 다시 확인하시기 바랍니다. Robots.txt 파일의 문제일 경우엔 이 파일의 최상단에 다음 두 행의 텍스트를 추가하시면 됩니다.

User-agent: Mediapartners-Google*
Disallow:

크롤러 활동에 관한 더 자세한 정보는 도움말 센터를 참고하시기 바랍니다.

AdSense 한국팀 작성