確認手順
robots.txtの存在確認、基本構文の理解、編集とアップロード、Google Search Consoleでの動作確認の4ステップで進めます。各ステップで具体的な操作方法と確認ポイントを示し、初心者でも迷わず設定できるように構成しています。
-
1
robots.txtファイルの存在をブラウザで確認する
ブラウザのアドレスバーに「https://あなたのドメイン/robots.txt」と入力してアクセスします。 robots.txtはルートディレクトリに置く必要があり、ここで存在を確認することで設定状況を把握できます。 robots.txtの内容がテキストで表示されるか、ファイルが存在しない場合は404エラーが表示されます。 ファイルが存在しない場合は新規作成を検討し、存在する場合は内容を次のステップで確認します。
-
2
robots.txtの基本構文を理解して内容
表示されたrobots.txtのテキストを確認し、User-agent、Disallow、Allow、Sitemapの記述を把握します。 正しい構文を理解することで、どのクローラーにどのパスを制御しているかを正確に把握でき、サイトマップの指定も可能になります。 User-agentとDisallow、Allowの組み合わせでクロール禁止・許可の範囲が明確に記述され、Sitemapの指定があれば検索エンジンにサイトマップの場所が伝わります。 記述に誤りや不要な制限があれば編集を検討し、問題なければ次のステップへ進みます。
-
3
robots.txtを編集しサーバーのルートディレクトリに反映させる
テキストエディタやCMSのSEOプラグインでrobots.txtを編集し、FTPやサーバー管理画面、またはプラグインの機能でルートディレクトリに反映させます。 最新の設定を正しい場所に反映させることで、検索エンジンのクロール制御が有効になります。 サーバー上のrobots.txtが更新され、次回のクロール時に新しいルールが適用されます。 アップロード後はGoogle Search Consoleで動作確認を行います。
-
4
Google Search Consoleでrobots.txtの動作
Google Search Consoleの「設定」メニューから「robots.txtレポート」を開き、クロール制御の状況を確認します。 Googleのクローラーがrobots.txtを正しく認識しているかを確認し、問題があれば具体的な修正点を把握できます。 クロール許可・拒否の判定結果が表示され、設定の有効性を確認できます。 問題があればrobots.txtを再編集し、再度アップロードして確認します。
sore-iina編集長
この記事の手順を確認しやすい順番に整理しています。