2014年7月20日

ページがrobots.txtにブロックされてないかチェックする方法

Googleのクローラーbotに自分のサイトのどのページのクロールを許可するのか
その命令を書くテキストがrobots.txtです。
本来、クロールして欲しいページがrobots.txtの書き方が間違っているためクロールができていない事もあります。
そんな時に正しくクロールするURLが指定できているか確認する方法をご紹介いたします。

まずはウェブマスターツールにログイン。
【クロール】の項目に【robots.txtテスター】があります。

枠の中にエラーもしくは警告のあるURLをペーストし【テスト】ボタンをクリック。ボタンが【許可済み】と表示されれば、クロールが許可されている状態です。

【ブロック済み】と表示されていれば、該当するブロック構文がハイライトされます。これは分かりやすいですね。

ウェブマスターツールも機能が充実してますね。アナリティクスでアクセス解析することも重要ですが、それ以上に自分からGoogleにアクションを起こすことも大事です。

この情報を共有する

0 件のコメント :

コメントを投稿

Related Posts Plugin for WordPress, Blogger...