구글 서치 콘솔 색인이 생성되었으나 robots.txt에 의해 차단됨 문제 해결하는 방법

구글 서치 콘솔 색인이 생성되었으나 robots.txt에 의해 차단됨 문제 해결하는 방법

 

여러 방면에서 초보자가 티스토리 블로그를 하다 보니 별 일을 다 겪는군요. 지난번엔 구글 애드센스에 신청을 넣는다고 생전 모르던 html 편집을 하라고 해서 정신을 못 차리게 하더니 갑작스레 구글 서치 콘솔로부터 메일이 수신되었습니다. 구글 서치 콘솔에 연동을 하라고 해서 해 두니 참 당황스러운 일이 많이 생깁니다.

 

메일은 결론적으로 저의 티스토리 블로그를 크롤링하려다 보니 robots.txt에 의해 차단되었다는 문제로 인해 뭔가 구글에서 제 블로그 내용을 검색에 정상적으로 노출시킬 수 없다는 내용이었습니다.

 

(참고) 크롤링은 본래 무수히 많은 컴퓨터에 나뉘어 저장 돼 있는 문서를 수집해 검색 대상의 색인으로 포함시키는 기술을 말한다. 웹상의 다양한 정보를 자동으로 검색하고 색인하기 위해 네이버, 구글 등 검색 엔진에서도 크롤링을 사용한다. 보통 웹페이지의 내용을 그대로 복제한 뒤 필요한 데이터를 추출하는 행위를 일컬으며 웹(web) 크롤링, 스크래핑(scraping) 이라고도 한다. 크롤링을 하는 프로그램은 크롤러(crawler) 또는 스파이더(spider)라고 한다.

 

 

어쨌든 저는 제가 받은 메일을 가지고 하나하나 추적을 시도해봤습니다.

 

 

1. 구글 서치 콘솔 색인이 생성되었으나 robots.txt에 의해 차단됨 문제 해결 따라가 보기

 

 

1) 제가 받은 메일 내용, 아래의 파란 버튼을 눌렀더니

 

 

2) 구글 서치 콘솔로 연결됩니다. 그리고 문제의 문구, '색인이 생성되었으나 robots.txt에 의해 차단됨' 이 뜨네요.

 

 

 

3) 동일 화면을 아래로 내린 모양입니다. 거기에 보니 '제 티스토리 블로그 주소/manage'가 문제 있는 것으로 나와요.

 

 

 

 

4) 오른쪽으로 마우스를 움직이면 화살표 아래쪽에서 보시듯 아이콘이 떠오르는데요, 맨 왼쪽은 그걸 복사하라는 버튼이고, 맨 오른쪽 화살표는 url 검사를 하라는 버튼입니다. 여기서 url 검사 버튼을 눌러봤습니다.

 

 

 

5) 검사 된 결과입니다. 등록되어 있지만 문제가 있고, 색인이 생성되었으나 robots.txt에 의해 차단됨이라고 나오네요.

 

 

 

6) 구글 서치 콘솔 고객센터를 접속했습니다. 바로 아래의 링크를 누르셔도 됩니다. 그럼 화면이 다음처럼 뜹니다. 화면이 뜨면 파란 버튼 robots.txt 테스터 열기를 클릭하십니다.

 

robots.txt 테스터를 이용해 robots.txt 테스트하기 - Search Console 고객센터 (google.com)

 

 

7) 다음 화면이 뜨면 왼쪽 화살표 자리에 manage를 넣고, 오른쪽 화살표 자리의 빨간 테스트 버튼을 클릭합니다.

 

 

 

8) 결과가 나왔습니다. Disallow: /manage라고 나왔는데, 이 문구의 의미는 관리자 페이지는 너네가 들어가지 말아라 라는 의미라고 합니다.

 

 

 

9) 결론입니다. 

결론은 아주 시원치 않게 났습니다. 아무리 많은 '조언'을 검색해봐도 결론은 같았으니까요. 그 내용은 공통적으로 "관리자 페이지를 허용할 수는 없다. 그저 블로그 활동이나 열심히 해라."였습니다. 따라서 저와 같이 ~~~~/manage에 문제가 발생한 분은 그대로 두면 되겠다는 생각이 드네요. 그럼 해결이 된다고 하니까.

 

사실 저도 저의 경우 일단 걸려있는 웹페이지가 많아 구글 검색이 정상적으로 안되고 있는 상황인 것 같기는 한데 이대로 두고 보려 합니다. 그냥 해결이 나는지, 아니면 이 문제가 계속 해결이 되지 않아 뭔가 특단의 조치를 취해야 하는지.

 

 

---

 

2. url 검사해 보기 - 대표 페이지, 글마다

참고로, 구글 서치 콘솔에서 내 티스토리 글이 검색이 잘 되는지 알아보는 방법을 포스팅하고 마무리하겠습니다. 구글 서치 콘솔 연동하시면서 이미 잘 알고 계신데 제가 호들갑 떠는 건 아닌지 모르겠네요. 저로서는 아는 게 없기에, 너무 고생하고 많은 시간을 써서 나름 내용 파악이 된 상태거든요. 저의 이 포스팅이 시간을 세이브하는데 조금이라도 도움 되시길 바라는 마음에서 아래 내용도 안내합니다.

 

 

 

1) 서치 콘솔 화면에 들어가면

 

 

 

 

 

2) url 검사를 누르고, 본인 티스토리 url을 복사해서 (반드시 복사를 하십시오. 제가 화살표로 가리킨 것은 거기를 누르라는 것이 아니라 그 내용이라는 겁니다.), 3번 창에 넣고 엔터를 칩니다.

 

 

 

3) 결과가 나왔으면 일단 정상입니다만, 대표 url에 대해서만 그렇다는 겁니다. 그래서 차례차례 글 하나하나가 가지고 있는 url을 그 자리에 넣고 치면 '등록되어 있음'으로 나오면 정상인 거고, 등록되어 있지 않은 경우 2번 실제 url 테스트하고, 3번 색인 생성 요청 등을 통해 구글에 신청 작업을 하셔야 합니다.

 

 

 

4) 좌측 메뉴에서 색인 생성 범위를 클릭하니 나온 결과인데요, 저는 문제가 있기 때문에 그 자리에 문제 1개라고 뜬 상태입니다.

 

 

 

5) 그 화면의 아래로 가서 저는 지금 유효성 검사를 시작해놓은 상태고요, 안 하셨다면 유효성 검사를 하시면 되겠습니다. 거기서 보이는 문제를 추적하고 또 추적해나가면 저의 경우, 아까 manage 문제를 만나게 되더라고요.