티스토리 블로그 403 오류 해결법: robots.txt 파일 설정 문제

728x90
반응형

티스토리 블로그 글이 불과 어제저녁 7시 전까지만 해도 구글에 검색노출이 잘 되다가, robots.txt 403 오류가 나타나기 시작하면서 현재 sitemap, rss까지 가져올 수 없는 사태가 발생했습니다.

robots.txt-티스토리-블로그-403-오류
티스토리 블로그 robot.txt 파일 재 크롤링 요청중

티스토리 블로그의 구글 색인 요청 거부 및 403 오류 해결 방법

티스토리 블로그에서 구글 색인 요청이 거부되고 403 오류가 발생하는 경우, 이는 주로 robots.txt 파일 설정 문제 또는 서버 설정 문제로 인해 발생합니다. 이 문제를 해결하기 위해서는 robots.txt 파일에서 Googlebot의 접근을 허용하고, 서버 설정에서 Googlebot의 접근을 차단하지 않도록 확인해야 합니다. 현재 저는 티스토리 서버 문제라고 생각하고 있습니다.

티스토리 블로그의 robots.txt 파일 설정

robots.txt
Robots.txt 파일 1개에 심각한 오류가 있음 구글서치콘솔 설정 에서 크롤링 페이지

티스토리 블로그는 기본적으로 사용자가 robots.txt 파일을 직접 수정할 수 없습니다. 대신, 티스토리의 기본 설정을 통해 검색 엔진 크롤링을 제어해야 합니다. 이를 위해 다음과 같은 방법을 사용할 수 있습니다:

 

검색 엔진 크롤링 문제 해결 방법

siitemap,rss 모두 오류

1. meta 태그를 통한 페이지별 크롤링 제어

특정 페이지나 포스트에 대해 검색 엔진 크롤링을 제어하려면, 각 페이지의 HTML 헤더에 meta 태그를 추가할 수 있습니다. 티스토리 블로그의 경우, 각 포스트나 페이지의 HTML 편집기에서 직접 meta 태그를 추가해야 합니다.

<head>
  <meta name="robots" content="index, follow">
</head>

이 태그를 추가하면 해당 페이지는 검색 엔진에 의해 인덱싱 되고, 링크도 따라가게 됩니다.

 

2. 구글 서치 콘솔에서 URL 제거 (속성제거) 요청

구글 서치 콘솔을 사용하여 특정 URL을 검색 결과에서 제거할 수 있습니다. 이 방법은 일시적인 해결책으로, 다음과 같은 단계를 따릅니다:

 

Google Search Console

Search Console 도구와 보고서를 사용하면 사이트의 검색 트래픽 및 실적을 측정하고, 문제를 해결하며, Google 검색결과에서 사이트가 돋보이게 할 수 있습니다.

search.google.com

  1. 구글 서치 콘솔에 로그인합니다.
  2. 'URL 제거' 메뉴로 이동합니다.
  3. 제거하려는 URL을 입력하고 제거 요청을 제출합니다.

구글서치콘솔-속성제거
구글 서치 콘솔 url 속성제거

후기:이 방법을 사용해 봤으나 해결되지 않았습니다.

3. 티스토리 설정에서 비공개 포스트로 전환

티스토리 블로그 설정에서 특정 포스트를 비공개로 설정하여 검색 엔진이 해당 페이지를 크롤링하지 못하게 할 수 있습니다. 이를 위해 다음 단계를 따릅니다:

  1. 티스토리 관리자 페이지에 접속합니다.
  2. '글 관리' 메뉴로 이동합니다.
  3. 수정하려는 포스트를 선택합니다.
  4. '비공개' 설정을 선택하여 저장합니다.
비공개 포스트로 전환했다가 오히려 서치콘솔에서 더이상한 오류가 많이 생겼습니다. 비공개 포스트로 전환하는 건 추천드리지 않습니다

4. 사이트맵을 통한 검색 엔진 안내

사이트맵을 생성하여 검색 엔진에 제출함으로써 크롤링을 유도할 수 있습니다. 티스토리 블로그는 자동으로 사이트맵을 생성하지만, 추가적으로 구글 서치 콘솔에서 사이트맵을 제출할 수 있습니다.

  1. 구글 서치 콘솔에 로그인합니다.
  2. '사이트맵' 메뉴로 이동합니다.
  3. 사이트맵 URL을 입력하고 제출합니다. 예: https://yourblog.tistory.com/sitemap.xml

티스토리-블로그-403-오류
구글서치콘솔 크롤링 보고서 화면 :티스토리 블로그 현재 상태

하지만 현재, sitemap.xml , rss 모두 오류가 발생하고 있습니다.

HTTP 오류:403

2024년 6월 30일 현재, 티스토리 블로그 사용자들이 구글 서치 콘솔에서 HTTP 403 오류를 자주 접하고 있습니다. 이걸 알게 된 이유는 티스토리 외에, 워드프레스 블로그에서는 색인이 매우 잘되기 때문에, 개인의 사용하는 제품의 캐시 서버문제가 아닌 티스토리 문제임을 인지하게 됐습니다. 날씨에 유독 예민한 티스토리 블로그 때문에 이 403 오류를 현재까지 해결할 수 있는 방법을 도저히 모르겠습니다.

결론

재크롤링 요청 실패

티스토리 블로그에서 직접 robots.txt 파일을 수정할 수도 없고, 현재 위에서 설명한 방법들을 통해 검색 엔진 크롤링을 효과적으로 제어할 수 없었습니다. 아무래도 더 이상 티스토리 블로그를 운영하는 것은 한계가 있을 것 같습니다. 얼마 전에 구글 애드센스 수익 웨비나 도 웨비나(Webinar)가 뭔지나 알고 한 것인 인지 궁금했는데, 가지가지하고 있는 것 같습니다.

 

티스토리 블로그로 성공하는 방법: Google과 함께하는 Tistory 이벤트

Google과 함께하는 Tistory 이벤트에서 블로그 수익을 극대화하는 방법을 알아보세요. 구글 퍼블리셔스 온 에어 이벤트에서 티스토리 블로그 운영자가 알아야 할 모든 것! 지금 이벤트에 참여하여

it.katzdoll.co.kr

관련링크

티스토리 403 오류: 액세스 금지의 원인과 해결 방법

 

티스토리 403 오류: 액세스 금지의 원인과 해결 방법

인터넷 사용자들이 웹사이트에 접근할 때 가장 빈번하게 겪는 문제 중 하나는 '403 Forbidden' 오류입니다. 특히, 티스토리 블로그 사용자들 사이에서도 이 오류로 인해 많은 불편을 겪고 있습니다.

webhp.co.kr

MOTO CMS로 프로그래밍 지식 없이 웹사이트를 만드세요: 워드프레스 이외의 플랫폼 추천

 

Moto CMS로 웹사이트 트래픽 10배 증가시키기: 효과적인 웹사이트 구축 비법 공개

Moto CMS를 사용해 웹사이트 트래픽을 10배로 증가시키는 방법을 알아보세요. 사용자 친화적인 인터페이스, 다양한 템플릿, SEO 최적화 기능 등을 통해 시간과 비용을 절약하면서도 전문적인 웹사

it.katzdoll.co.kr

반응형