Google이 귀사의 웹사이트를 제대로 볼 수 있나요?

그 파일이 정확히 무엇인가요

모든 웹사이트에는 robots.txt라는 이름의 파일이 있거나 있어야 합니다. 도메인 이름 뒤에 /robots.txt를 입력하면 찾을 수 있습니다(예: uwbedrijf.nl/robots.txt). 이 파일은 Google이 귀사의 사이트를 보기 전에 먼저 읽는 파일입니다. 일반 텍스트로 작성되어 있으며 검색 엔진에 사이트의 어느 부분을 방문할 수 있고 어느 부분을 방문할 수 없는지를 알려줍니다.

건물 입구의 표지판에 비유할 수 있습니다. 일부 문은 열려 있고 다른 문은 간단한 메모로 닫혀 있습니다. 문제는 기업들이 실수로 잘못된 메모를 붙일 때 발생합니다. 한 개의 뒷문만 닫는 대신, 중요한 공간을 포함한 전체 건물을 방문자에게 닫아버립니다.

방문할 수 있거나 없는 경로 외에도 더 미묘한 문제가 있습니다: 페이지를 구성하는 파일들입니다. 서식을 담당하는 CSS와 페이지의 움직임과 상호작용을 담당하는 JavaScript를 생각해보세요. robots.txt가 이러한 파일을 차단하면, Google은 페이지를 방문할 수 있지만 제대로 볼 수 없습니다. 그러면 Google은 귀사의 사이트의 텅 빈 손상된 버전을 보게 됩니다.

이것은 또 다른 확인 지점과 밀접한 관련이 있습니다: 핵심 콘텐츠를 JavaScript 없이도 액세스할 수 있는지 여부이며, 이에 대해 핵심 콘텐츠는 JavaScript 없이도 액세스할 수 있습니다에서 설명하고 있습니다. 두 지점 모두 같은 질문을 다룹니다: Google이 방문자가 보는 대로 페이지를 볼 수 있는가, 아니면 Google이 불완전한 이미지를 받아 점수가 낮게 나오는가입니다.

이것이 기술적 세부사항 이상의 이유

Google은 렌더링이라는 프로세스를 사용합니다: 검색 엔진은 기본적으로 페이지를 재구성하여 브라우저처럼 방문자가 실제로 보는 것을 확인합니다. 이는 Google이 필요한 모든 요소에 액세스할 수 있을 때만 가능합니다. CSS 또는 JavaScript가 차단되면 Google은 서식, 메뉴, 때로는 스크립트로 로드되는 텍스트 없는 텅 빈 페이지를 보게 됩니다.

결과적으로 Google이 귀사의 페이지의 주제를 잘못 판단합니다. 방문자에게는 훌륭해 보이는 페이지가 Google에는 이해할 수 없거나 비어 있어 보일 수 있습니다. 이것은 단순히 약간 낮은 점수를 받는 문제가 아닙니다. 콘텐츠 자체에는 실수가 없었는데도 포함되지 않는 문제입니다.

존재하지 않는 페이지와 존재하지만 접근 불가능하게 만든 페이지 사이에는 차이가 있습니다. 이것은 또한 삭제된 페이지가 적절히 404 상태를 반환하는지 여부와 같은 우리의 측정 체크리스트의 다른 지점과도 관련이 있으며, 이에 대해 404 페이지 자체가 유용합니다에서 논의합니다. 두 경우 모두 명확성에 관한 것입니다: Google에 어떤 것이 발견되도록 의도된 것이고 어떤 것이 아닌지 보여주세요.

자신의 상황을 직접 확인하는 방법

브라우저의 주소 표시줄에 도메인 이름 뒤에 /robots.txt를 입력하세요. 간단한 규칙 목록이 나타나며 보통 'Disallow' 다음에 경로가 나옵니다. Disallow는 해당 경로를 방문할 수 없다는 뜻입니다. 예상치 못한 항목이 있는지 확인하세요. 예를 들어 슬래시만 있는 경우 전체 사이트가 차단되었다는 뜻입니다.

/wp-content/, /assets/, /css/ 또는 /js/와 같은 이름을 가진 폴더를 참조하는 규칙에 특히 주의하세요. 이들은 종종 귀사의 사이트의 서식과 상호작용이 들어 있는 바로 그 폴더입니다. 이것들이 차단되어 있으면, 파일의 나머지 부분이 무해해 보이더라도 Google이 귀사의 페이지를 제대로 렌더링할 수 없을 가능성이 높습니다.

Google Search Console은 웹사이트 소유자를 위한 Google의 무료 서비스이며, 특정 페이지의 렌더링 문제를 확인할 수 있는 테스트가 있습니다. 거기서 Google이 귀사의 페이지를 어떻게 인식하는지 예시를 볼 수 있습니다. 페이지가 브라우저에서는 멀쩡해 보이는데 Google이 인식하는 것이 텅 비어 있거나 손상되어 보인다면, CSS, JavaScript 또는 이미지 로드에 문제가 있다는 분명한 신호입니다.

robots.txt가 특정 경로를 의도적으로 제외했는지 실수로 제외했는지 확실하지 않으시면 웹사이트를 구축한 담당자와 상담하십시오. 일부 차단은 의도적이고 합리적입니다. 예를 들어 내부 검색 결과를 차단하는 것인데, 이에 대해서는 noindex를 적용한 내부 검색 결과 페이지에서 별도로 설명합니다. 다른 차단은 단순히 검토되지 않은 기본 설정의 오류일 뿐입니다.

이것이 제대로 되어 있지 않으면 비용이 얼마나 들까요

robots.txt가 중요한 경로를 차단하면 Google이 알아채지 못할 사이에 사이트의 일부를 차단하게 됩니다. 그것은 상품 페이지, 블로그 기사 또는 새 시스템으로 이전한 후의 전체 사이트일 수 있습니다. 특히 웹사이트 개편 후 테스트 환경용으로 설정된 것이 실제 사이트에 실수로 남아 있을 때 이런 일이 생각보다 자주 발생합니다.

곤혹스러운 점은 사이트를 매일 사용할 때 아무것도 알아채지 못한다는 것입니다. 페이지는 정상적으로 로드되고, 직접 링크를 받은 방문자는 여전히 액세스할 수 있습니다. 명확한 이유 없이 검색 엔진을 통한 트래픽만 천천히 줄어듭니다. 많은 기업가들은 콘텐츠나 경쟁에서 원인을 찾지만, 문제는 아직 한 번도 열어본 적이 없는 기술 파일에 있습니다.

CSS와 JavaScript만 차단되면 효과는 미묘하지만 덜 해롭지 않습니다. 페이지는 여전히 검색되지만, Google은 불완전한 이미지를 기반으로 평가합니다. 스크립트를 통해 로드되는 텍스트는 포함되지 않을 수 있습니다. 귀사의 눈에는 완벽하게 보이는 페이지가 Google에 의해 콘텐츠가 부족한 것으로 평가되어 검색 결과 순위에 모든 결과를 초래합니다.

복구는 일반적으로 몇 개월 작업의 문제가 아닙니다. 종종 파일의 몇 줄만 조정하면 됩니다. 요점은 먼저 문제를 인식해야 한다는 것입니다. 확인 없이 차단은 마지막으로 사이트가 수정된 후 아무도 다시 확인하지 않았기 때문에 때로 몇 년 동안 눈에 띄지 않게 남아 있을 수 있습니다.

이를 정렬하기 위해 어떤 일이 일어나야 합니까

출발점은 간단합니다. robots.txt는 관리자 로그인 페이지나 검색 결과에 표시되지 않아야 하는 쇼핑 카트처럼 의도적으로 제외하고 싶은 경로만 차단해야 합니다. 페이지의 모양이나 작동 방식에 기여하는 모든 것은 접근 가능해야 합니다. 이것이 이 체크포인트의 전체 원칙입니다. 예방 차원에서 차단하는 것이 아니라 필요한 곳에 목표를 두고 차단하는 것입니다.

더 광범위한 색인이 생성되어야 할 항목과 그렇지 않아야 할 항목을 확인하는 일환으로 이 파일을 확인하십시오. 이 개요는 페이지 유형별 색인화 매트릭스이며, Google에 표시되어야 하는 페이지와 색인화 매트릭스 페이지 유형에서 설명하는 대로 의도적으로 표시되지 않아야 하는 페이지를 매핑합니다. 그러면 robots.txt는 이러한 선택을 실행하는 도구이지, 이러한 선택을 고려하는 장소가 아닙니다.

사이트 구축 시뿐만 아니라 대규모 변경 후에도 이 파일을 확인하십시오. 예를 들어 다른 시스템으로의 이전, 새로운 웹사이트 빌더 또는 사이트 재구조화입니다. 이러한 것들은 정확히 설정이 테스트 환경에서 실수로 가져올 수 있는 순간입니다. 사후 간단한 확인을 통해 임시 설정이 영구적이 되는 것을 방지합니다.

또한 robots.txt가 독립적으로 존재하지 않는다는 점을 기억하십시오. Google에 제공하는 다른 신호와 밀접하게 연결되어 있습니다. 예를 들어 noindex 태그를 통한 페이지 수준의 지침이 있으며, 이에 대해서는 noindex via meta robots 또는 X-Robots-Tag에서 자세히 설명합니다. 둘 다 서로 모순되어서는 안 됩니다. 표시하려는 페이지는 한 채널을 통해 열어 두고 다른 채널을 통해 여전히 차단되지 않아야 합니다.