구글 블로그 스팟 robots.txt 설정 방법
robots.txt 란?
robots.txt는 각 사이트(ex. 네이버, 구글, 다음 등)의 검색 로봇이 내 블로그 글을 수집할 수 있도록 허용하거나 제한하는 국제 표준 기능입니다.
이 기능을 설정하지 않으면 네이버 구글 등이 내 블로그의 글을 수집해가도 되는지 안되는 지에 대해 오류를 줄 수 있는 가능성이 있기 때문에 설정을 확실히 해주시는 편이 좋습니다.
물론 좋은 글을 적으면 robots.txt를 활성화 시키지 않아도 알아서 다 수집해 갑니다. 이 세팅은 말 그대로 글을 수집해 가도 된다고 검색 사이트에 인식을 시켜주는 것이지 수집해서 노출 시켜주는 걸 보장해 주는 것이 아닙니다.
robots.txt 규칙 예제
특정 검색 사이트에만 허가 하는 경우, 모든 검색 사이트에 허가하는 경우 다르지만 대부분 블로거들은 모든 검색 사이트에 노출되기 원하기에 아래의 규칙만 생각하시면 됩니다.
User-agent: *
Allow: /자세한 규칙 내용은 아래 네이버 서치어드바이저에서 확인하시면 됩니다.
https://searchadvisor.naver.com/guide/seo-basic-robots구글 블로그 스팟 적용
위 규칙을 복사한 다음 아래 사진 설명과 같이 세팅하시면 됩니다.
- 구글 블로그에서 설정으로 들어갑니다.
- 아래쪽으로 내리다 보면 크롤러 및 색인 생성이 있는데 맞춤 robots.txt 사용 설정을 활성화 합니다.
- 맞춤 robots.txt를 눌러 빈칸에 붙여 넣기하고 저장합니다.
robots.txt 적용 확인
네이버
해당 블로그를 선택합니다.
왼쪽 메뉴 탭에서 검증>robots.txt를 선택한 후 오른쪽의 수집 요청을 누르면 화살표와 같이 나옵니다. 확인을 누르면 수집이 가능하다는 팝업 창이 뜹니다. 정상적으로 robots.txt가 등록된겁니다.
마지막으로 간단 체크를 최종 확인합니다. 상태가 녹색 체크 표시가 되면 정상적으로 설정 된 것입니다.