구글서치콘솔 엑세스금지(403)로 인해 차단됨 다른 4xx 문제로 인해 차단됨 구글봇 robots.txt 오류

 

어제부터 티스토리를 운영하는 많은 블로거들이 구글서치콘솔 자동색인, 수동 색인이 안된다는 이야기들이 많이 들리고 있는데, 아마도 티스토리에서 약간 문제가 발생된 것 같다. 

 

그럼 크롤링 오류 엑세스금지(403)로 인해 차단됨, 다른 4XX문제로 인해 차단됨 등 구글서치콘솔 robots.txt 오류, SITEMAP 오류에 대해 한번 알아보자. 

 

---

 

색인 생성 요청이 거부됨

그동안 아무 문제 없었던 구글서치콘솔에서 어제부터 수동 색인을 하려고 보니 색인 생성 요청이 거부됨, 실시간 테스트 중에 URL에서 색인 생성 문제가 감지되었습니다. 라는 안내가 뜨기 시작했다.

 

처음에는 하나 정도는 오류가 생길 수 있겠지 하고, 아침에 다른 포스팅 후 구글서치콘솔 수동 색인을 다시 등록하였으나 역시 마찬가지로 색인 생성 요청이 거부되었고, 어떤 것이 문제인지 파악해 보기로 했다. 

 

 

엑세스금지(403)로 인해 차단됨 

구글서치콘솔 페이지 공개 상태를 보면 페이지 색인을 생성할 수 없음 : 액세스 금지(403)로 인해 차단됨 이라는 안내를 확인할 수 있는데, 해당 문제를 구글고객센터를 통해 확인해 보았다. 

 

 

 

HTTP 403은 사용자 에이전트가 사용자 인증 정보를 제공했지만 엑서스 권한이 부여되지 않았음을 의미한다. 하지만 GOOGLEBOT은 사용자 인증 정보를 제공하지 않으므로 서버에서 오류가 잘못 반환되며, 페이지 색인이 생성되지 않습니다. 

 

GOOGLEBOT이 페이지의 색인을 생성하도록 하려면 로그인하지 않은 사용자를 허용하거나

인증 없이 GOOGLEBOT 요청을 명시적으로 허용해야 한다. 

 

- 구글 고객센터 -

 

 

구글 고객센터의 말을 정리헤보면 현재 운영하고 있는 블로스 서버 티스토리에서 일부 오류가 발생되어 구글서치콘솔 색인에 문제가 생긴 걸로 보이는데, 네이버 서치어드바이저를 통해 확인해 보니 네이버 역시 일부가 서버오류로 확인되고 있다. 

 

다른 4XX 문제로 인해 차단됨 

다른 4xx 문제로 인해 차단되는 문제는 구글 고객센터에서는 문제로 인해 GOOGLE에서 엑세스 제한으로 파일을 읽을 수 없는 오류 상태라고 나와있으며, 4xx 문제는 결국 유효한 robots.txt 파일이 없는 것으로 처리하게 될 수 있다. 

반응형

SITEMAP 오류

결과적으로 현재 구글봇이나 네이버봇이 현재 티스토리에서 활동을 하지 못한 상태이며, 그러다 보니 구글 서치콘솔에서 여러 가지 오류를 확인할 수 있는데 그중 하나가 sitemap.xml 오류가 발생된다는 것이다.

 

rss와 sitemap은 정상정으로 제출된 사이트맵으로 나오는데 sitemap.xml은 가져올 수 없음 상태로 확인되며, 상세 오류 내역을 확인하니 사이트맵을 읽을 수 없음, 일반 HTTP 오류라고 안내가 되었다. 

 

사이트맵에 엑세스하는 중에 오류가 발생했으며, 사이트맵이 지정된 주소에 있고, 구글에서 차단되지 않았는지 확인하세요. 위와 같이 HTTP 오류 403으로 세부 안내가 되고 있다. 

 

오류 해결 방법 

 

현재 많은 커뮤니티에 티스토리 구글서치콘솔 색인생성불가 글이 올라오는 걸 보니 해당 문제는 티스토리에서 구글봇이나 네이버봇이 정상적으로 수집할 수 있도록 조치를 취해야 하는 상황으로 보인다.

 

주말이라 대처가 늦어지고 있는 듯한데 일시적인 문제일 경우에는 빠르면 1일, 늦어도 2~3일이면 자동적으로 복구가 되어 오류가 해결될 것 같다. 오류 해결이 되었는지 확인하는 방법은 주기적으로 sitemap.xml 상태가 정상으로 돌아왔는지 확인하면 된다. 

 

---

 

오늘 구글서치콘솔 오류로 인해서 당황한 사람들이 많을 것 같은데, 대부분의 사람들이 같은 문제를 겪고 있는 만큼 개인적인 문제라고 보기보다는 서버에 문제로 인식하면 될 듯하다. 부디 티스토리 블로거들에게 피해 없이 해당 문제가 잘 해결될 수 있기를 바란다.