2부로 기획된 애드센스 크롤러 오류 정보 시리즈의 첫 번째 시간입니다.

애드센스 광고를 게재하는 사이트를 최적화할 수 있는 방법은 매우 많습니다. 텍스트/이미지 광고 선택, 권장 광고 형식으로 업그레이드, 사이트 전반에 걸친 광고 노출 범위 증가 등은 모두들 잘 알고 있는 몇 가지 예에 지나지 않습니다. 많은 게시자들이 간과하지만 간단하면서도 효과적인 최적화 방법이 있다는 사실을 아십니까?

해당 내용은 사이트에 robot.txt 를 사용하는 경우에만 해당 합니다. 사이트에서 robot.txt 를 사용하지 않고 있다면 해당 되지 않습니다. 예를들어 귀하의 사이트 url이 example.com 이라면 example.com/robot.txt 를 브라우저 창에 입력하여 확인해 볼 수 있습니다. 아무런 페이지가 로딩되지 않는다면 robot.txt 를 사용하지 않는 것이므로 아래 내용에 해당 되지 않습니다.

사이트의 robots.txt 파일은 웹 크롤러, 웹 로봇 및 검색엔진이 해당 사이트에 액세스할 권한이 있는지 여부를 판단하는 문지기 역할을 하는 파일입니다. 액세스 권한이 있는 웹 크롤러, 웹 로봇 및 검색 엔진은 페이지 조회, 사이트 색인 등의 작업을 수행할 수 있습니다. 액세스 권한이 없을 경우 사이트 소유자가 지정한 조건에 따라 특정 섹션을 조회하거나 색인을 생성할 수 없습니다.

애드센스 광고는 애드센스 웹 크롤러 사용을 통해 게재됩니다. 이 크롤러는 페이지 콘텐츠를 검색하고 지정된 키워드에 따라 게재할 광고를 결정합니다. robots.txt 파일이 애드센스 크롤러를 차단할 경우 귀하의 사이트에는 관련 광고를 게재하기가 어려워지게 됩니다. 따라서 페이지에 관련성이 낮은 광고가 게재되어 CTR이 낮아질 수 있습니다.

애드센스 크롤러의 차단을 해제하는 방법
[yourdomain.com]/robots.txt로 이동해 robots.txt 파일 콘텐츠를 확인합니다. 애드센스 광고 크롤러가 사이트를 조회할 수 있도록 파일을 구성합니다. 다음 두 줄을 파일의 맨 위에 추가하기만 하면 됩니다.

User-agent: Mediapartners-Google
Disallow:

이렇게 하면 애드센스 광고 크롤러가 귀하의 사이트에 액세스해 관련성 높은 광고를 게재할 수 있게 해 주므로 결과적으로 광고 수익이 늘어날 수 있습니다. 이렇게 변경한다고 해서 Google 검색 순위까지 변동되는 것은 아닙니다. robots.txt 파일에 두 줄을 추가하는 것은 이미 애드센스 코드가 있는 광고 페이지에 보다 유용하고 관련성 높은 광고가 게재되도록 돕기 위한 방법일 뿐입니다. 애드센스 광고 코드가 없는 페이지에는 아무런 영향을 미치지 않습니다.

만일 오류가 있는 URL이 있다면 애드센스 계정에 로그인한 후 홈페이지의 '계정 설정' 페이지를 클릭하면 해당 내역을 확인할 수 있습니다. 계정 설정 페이지의 '액세스 및 승인' 아래 '오류 보기'를 클릭하세요.
애드센스 크롤러 오류 정보 2부에서는 크롤러 로그인 문제 및 해결 방법에 대해 다룰 예정입니다. 많이 기대해 주세요.

게시자: 애드센스 공식 블로그 팀 Andrew Boni