Google は本当にあなたのウェブサイトを見ることができますか？

そのファイルは実際には何ですか

すべてのウェブサイトは、robots.txt という名前のファイルを持つか、持つべきです。ドメイン名の後に /robots.txt を入力することで見つけることができます。たとえば、uwbedrijf.nl/robots.txt です。このファイルは、Google がサイトを見る前に最初に読むものです。プレーンテキストで記述されており、検索エンジンにサイトのどの部分を訪問でき、どの部分を訪問できないかを指示します。

建物の入り口にある看板に例えることができます。開いているドアもあれば、簡単なメモで閉じられているドアもあります。問題は、企業が誤ってメモを貼ってしまうことです。1 つの裏口を閉じる代わりに、重要なスペースを含む建物全体をクローズしてしまいます。

訪問してもよい、または訪問してはいけないパスに加えて、より微妙な点もあります。CSS（フォーマットを処理するため）や JavaScript（ページ上の動きとインタラクションを処理するため）などのページを構成するファイルです。robots.txt がこれらのファイルをブロックしている場合、Google はページにアクセスできますが、正しく表示できません。裸でこわれたバージョンのサイトが表示されます。

これは、別の管理ポイント（JavaScript なしで核となる内容にアクセスできるかどうか）と密接に関連しています。これについては、「核となる内容は JavaScript なしでアクセス可能である」で説明しています。どちらのポイントも同じ質問に関するものです。Google は訪問者が見るようにページを見ることができますか、それとも Google は不完全なイメージを取得し、スコアが低くなりますか。

これがただの技術的な詳細以上のものである理由

Google はレンダリングというプロセスを使用します。検索エンジンは基本的にページを再構築し、ブラウザと同じように、訪問者が実際に見るものを確認します。これは、そのために必要なすべてのコンポーネントにアクセスできる場合にのみ可能です。CSS または JavaScript がブロックされている場合、Google には、フォーマットなし、メニューなし、場合によってはスクリプトで読み込まれるテキストなしの裸のページが見えます。

その結果、Google はページの内容を誤って判断しています。訪問者にとっては良く見えるページでも、Google には理解できないか空に見えることもあります。これは、ほんの少し低いスコアの問題ではありません。これは、コンテンツ自体に何も間違っていないのに、含められない問題です。

存在しないページと存在するがアクセスできないページの間に違いがあります。これは、削除されたページが 404 ステータスをきちんと返すかどうかなど、当社の測定リストの他のポイントにも関連しています。これについては、「404 ページ自体が有用である」で説明しています。どちらの場合でも、明確性について説明します。Google に何が見つかることを目的としており、何が見つからないことを目的としているかを示してください。

あなた自身がそれがあなたにとって順序通りであるかどうかをチェックする方法

ブラウザのアドレス バーにドメイン名を入力して、その後に /robots.txt を入力します。通常、「Disallow」という単語が続くパスを含む単純なルール リストが表示されます。Disallow とは、そのパスにアクセスできないという意味です。予期しない内容、つまり整理全体がシャットダウンされていることを意味する単なるスラッシュなど、そこに記載されているものをご確認ください。

特に、/wp-content/、/assets/、/css/、/js/ などの名前のフォルダを参照するルールに注意してください。これらは多くの場合、サイトのフォーマットとインタラクションが存在する正確なフォルダです。それらがブロックされている場合、Google がページをレンダリングできないことがありますが、ファイルの残りの部分は無害に見えます。

Google Search Console は、ウェブサイト所有者向けの Google の無料サービスであり、特定のページをレンダリングの問題についてチェックするテストがあります。Google がページをどのように認識しているかの例が表示されます。ページがブラウザで正常に見えるが、Google ではカルく壊れて見える場合、これは CSS、JavaScript、または画像の読み込み時に問題が発生していることの明確な信号です。

特定のパスが意図的に除外されているのか、それとも偶然に除外されているのか確信が持てない場合は、ウェブサイトを構築した担当者に相談してください。ブロックの一部は意図的かつ適切なものです。例えば、内部検索結果をブロックする場合がそれに該当し、これについては noindex の内部検索結果ページについて別途説明しています。一方、ブロックの中には、確認されたことのないデフォルト設定からの単純なエラーもあります。

これが対応されていない場合のコスト

robots.txt が重要なパスをブロックしている場合、気付かないうちにサイトの一部を Google から除外しています。これは製品ページ、ブログ記事、あるいは新しいシステムへの移行後のサイト全体である可能性があります。これは特にウェブサイトのリニューアル後に頻繁に発生します。テスト環境を想定して設定された内容が、意図せず本番サイトに残ってしまうためです。

厄介な点は、日々のサイト利用で何も気付かないことです。ページは普通に読み込まれ、リンクを直接受け取った訪問者は引き続きアクセスできます。検索エンジン経由のトラフィックだけが、特に理由なく徐々に減少します。多くの起業家は原因をコンテンツや競争相手に求めますが、実は開いたこともない技術ファイルに問題があるのです。

CSS と JavaScript だけがブロックされている場合、影響はより微妙ですが、同様に有害です。ページは検索可能なままですが、Google は不完全な画像に基づいてページを評価します。スクリプトで読み込まれたテキストはカウントされないかもしれません。あなたにとって完璧に見えるページが、Google からはコンテンツが乏しいと評価され、検索結果での順位に影響を及ぼします。

修復は通常、数ヶ月の作業ではありません。多くの場合、ファイル内の数行を調整するだけで済みます。重要なのは、まずその問題を認識することです。制御がなければ、ブロックが何年も気付かれないままになることがあります。単に、サイトが最後に調整されたからは誰も確認していないだけなのです。

これを対応させるために必要なこと

基本的な原則は単純です。robots.txt は、管理者ログインページやショッピングカートなど、意図的に除外したいパスのみをブロックするべきです。ページの外観や機能に寄与するすべては、アクセス可能なままである必要があります。これがこのチェックポイント全体の原則です。予防的に封鎖するのではなく、必要に応じて意図的にブロックすることです。

このファイルを、何がインデックスされるべきで何がそうでないかのより広いレビューの一部として確認させてください。そのレビュー、つまりページタイプごとのインデックス作成マトリックスは、Google に対して表示されるべきページと、私たちがページタイプごとのインデックス作成マトリックスで説明する意図的に非表示にされるべきページを特定します。robots.txt はその選択肢を実行するための道具であり、その選択肢が考え出される場所ではありません。

このファイルはサイト構築時だけでなく、大きな変更があるたびに確認してください。別のシステムへの移行、新しいウェブサイトビルダーの導入、またはサイトの再構成です。これらはまさに、テスト環境からの設定が意図せず持ち込まれるタイミングです。事後の簡単な確認で、一時的な設定が永続的になるのを防ぐことができます。

また、robots.txt は単独では機能しないということも念頭に置いてください。Google に与える他のシグナル、例えば noindex タグを通じたページレベルの指示と密接に関連しています。このトピックについては、メタロボットまたは X-Robots-Tag 経由の noindex で詳しく説明しています。両者は互いに矛盾してはいけません。表示したいページが一方のチャネルで許可されているのに、他方で依然ブロックされているべきではありません。