最近、自分のレンタルサーバーで「kazuki-room.com」というドメインを運用してるんですが、Google Search Consoleでrobots.txtファイルが「未取得」となって、ブログ記事がインデックスされないという問題に直面しました。
robots.txtの「未取得」問題って何？
問題の概要
Google Search Consoleは、自分のサイトのインデックス状況をチェックしたり、改善点を探ったりするための大事なツールです。その中でも、robots.txtファイルは検索エンジンがどのページを巡回するかを決めるもの。ただ、これが「未取得」って表示されると、インデックスがうまくいかず、SEOに悪影響が出ちゃうんですよね。
robots.txtファイルを調査してみた
再クロールリクエストの失敗
エラーメッセージはこうだった
Google Search Consoleで再クロールをリクエストしたら、「再クロールのリクエストに失敗しました」と出ました。特に「https://kazuki-room.com/robots.txt」に対しては、「Robots.txt にアクセスできません」のメッセージが表示されたんです。
対象URLのチェック
このURLが正しいか確認するために、ブラウザで直接アクセスしてみたところ、正常に表示できない理由を探ることに。
ローカルでの表示確認
favicon.icoの500エラーを直したよ
最初はサイトのfavicon.icoが500エラーを出していて、これが影響してるかもと思って修正。無事、正常な200ステータスで表示できることを確認しました。
修正後の結果はこちら。
サーバー設定も気になる
国外IPアドレスフィルタの設定
次に、さくらサーバーでの国外IPアドレスフィルタについても調べました。GooglebotのIPアドレス範囲「66.249.64.0/19」を許可リストに加えてはいるけど、改めてGooglebotがアクセスできるか確認する必要があります。
他のツールでの確認
Bing Webmaster Toolsの結果
Bing Webmaster Toolsでテストした結果、「許可」と出ていて、Bingは問題なくアクセスできるみたいでした。これでGooglebotも同じようにアクセスできるかの参考になります。
セキュリティプラグインの影響も考慮
All In One WP Securityの状況
WordPressのセキュリティプラグイン「All In One WP Security」を無効にしてみても状況は変わらず。今は再度有効に戻してます。
結論
最終的には、favicon.icoの500エラーを解消して、次のGoogleBotのクロールを待つことで解決できました。クロールの頻度が低すぎて困ったのは正直なところ。再リクエストって意味あったのかな。。。
