ページがrobots.txtにブロックされてないかチェックする方法

0
102

Googleのクローラーbotに自分のサイトのどのページのクロールを許可するのか

その命令を書くテキストがrobots.txtです。

本来、クロールして欲しいページがrobots.txtの書き方が間違っているためクロールができていない事もあります。

そんな時に正しくクロールするURLが指定できているか確認する方法をご紹介いたします。

まずはウェブマスターツールにログイン。

【クロール】の項目に【robots.txtテスター】があります。



枠の中にエラーもしくは警告のあるURLをペーストし【テスト】ボタンをクリック。ボタンが【許可済み】と表示されれば、クロールが許可されている状態です。



【ブロック済み】と表示されていれば、該当するブロック構文がハイライトされます。これは分かりやすいですね。



ウェブマスターツールも機能が充実してますね。アナリティクスでアクセス解析することも重要ですが、それ以上に自分からGoogleにアクションを起こすことも大事です。

Google Analyticsで集客・売上をアップする方法

コメントを書く

必須項目をご入力ください
必須項目をご入力ください