4．Googleクローラー
●グーグルクローラーについて
あらゆるサイトを行き来して、情報を集めて、データベースに登録するロボット（プログラム）のことを「グーグルクローラー」と呼びます。
「ウェブサイト」は常に「内容変更」や「新規投稿」が行われるものです。
しかし、グーグルクローラーはたびたび巡回をしますので、一番新しい情報を検索結果として出してくれます。
今回はこのグーグルクローラーに関して解説していきます。
●グーグルクローラーとは
グーグルクローラーはロボットですが、毎日全部のwebサイト・ページをチェックしているわけではありません。
ちなみに「何ページクロールされたのか」は、「クロールの統計情報」を見ると分かります（サーチコンソール内にあります）。
ですから、大切なページをメインに据えて、クローラーに高効率で巡回してもらうべく工夫する必要があると言えます。
内部リンクをきちんと調整しつつ、「Fetch as Google」を活用して、巡回の効率を上げていきましょう。
検索結果の上位を獲得しているサイトの多くは、クローラーがきちんと訪問しているものです。
（ただし、『検索順位』は『クローラーの巡回ペース』だけで定まるものではありません）
●クローラーのタイプ
グーグルのクローラーの代表格は「グーグルボット」という、「検索順位を定めるためのクローラー」です。しかし、画像用のクローラーなども存在します。また、Bingやヤフーもクローラーを導入しています。
ただ、「グーグルの検索順位を定めるためのクローラー」に絞ってSEO対策をすればそれでOKです。そのため、普段はクローラーのタイプを考慮する必要はありません。
ちなみに、特定のプログラムを「robots.txt」に入れておくと、そのクローラーがサイトに訪れることがなくなります。
サイトを立ち上げてからしばらくの間はほぼ使うことのないスキルだと思いますが、一応覚えておきましょう。
●クロールとは何か
「ページをクローラーが行き来して情報を集めること」を「クロール」と呼びます。
集めた情報はデータベースにインデックスされて、グーグルのアルゴリズム（200タイプを超えます）に沿って、検索順位が定められることになります。
そのため、ページをグーグルクローラーに見てもらわないと、検索結果に反映されなくなります。
ちなみに、「site:（対象となるURL）」で検索すると、そのページが登録済か否かをチェックすることが可能です。
登録されていないことが判明したのであれば、「登録して下さい」という申請のようなものを「Fetch as Google」で送ることが可能です。
●クロールが済むとどう変化するのか
クロールが済むと、一番新しい情報が検索結果に反映されることになります。
言うまでもありませんが、順位付け自体はグーグルのアルゴリズムが行います。
そのため、クロールされたからといって、コンテンツの内容が検索キーワードに沿っていなかったり内容が薄かったりすれば、検索上位を勝ち取ることはできません。
そして、「以前クロールされたことがあって、再びクロールされた」場合は、検索結果が変わるかもしれません。また「クロールされても、検索順位が変わらない」というケースも当然あります。
それから、クローラーが訪れるまで検索結果に現れないわけですから、作って間もないページに関しては、しばらくは検索結果に反映されないこととなります。
また、「いつクロールが行われたのか」を調べることもできます。
検索結果で目的のURLの右の「▼」をクリックすると、「キャッシュ」というものが出るのでそれを選択してください。すると、最後にクロールが実行された日付を確認することが可能です。
そして、一回で全部の情報が登録されるわけではありません。
そのため、「重要性の低いページについてはクロールの拒否をする」などの工夫をしないと、「重要度の高いページ」や「更新したページ」などをなかなか登録してもらえなくなるかもしれません。
「利用者視点での使い勝手」を重視するのがSEO対策においては大事ですが、
それだけでなく「クローラーがどう動くか（どう動かすか）」も考えるようにしましょう。
●クローリングを調整するには?
では、クローリングをコントロールするにはどうすれば良いのでしょうか。
○シンプルなサイト構造にする
同じサイト内であっても、分野が異なるのであればページを分けるのが大事です。
しかし、階層数を過剰に多くしてしまうと、クローラーが大事なページまでなかなか来てくれなくなるかもしれません。
実際、グーグルが公式に「トップページから離れているページほど、重要性が下がっていると判断する」と述べています。
ですから、シンプルな造りのサイトを目指しましょう。
例えば、「ダイエット（メインテーマ）→食事→栄養→栄養について学べる大学（ダイエットとのつながりが薄い）」
など、関連性の低いページがある場合は、サイトを分割してしまうことを推奨します。
○内部リンクを組む
リンクを使ってクローラーはサイト内を行き来します。クローラーは、外部リンクは当然として内部リンクも利用します。
ですから、絶対に内部リンクを組んでください。
内部リンクを設定する際は「関連性の高いページとページをリンクさせる」ことが基本となります。
こうすることで、検索エンジンに好かれやすくなります。
○読みやすいページに仕上げる
これは、「クローラーにとって読みやすくする」という意味です。
（もちろん利用者視点で読みやすくする必要もありますが）
・内部リンクの設定
・ページ内の文章
などをできる限り「テキスト」で作るように心がけてください。
プログラムであるクローラーには、「画像」の内容を把握する能力がないからです。
特に大事なリンクや文章に関しては、テキストで出しておく必要があります。
それでも画像を使うこともあるはずですが、その際は丁寧な説明文を「alt属性」につけておきましょう。
ちなみに、「検索エンジンに対して、ページ内の文章はどのような内容になっているのかを適切に伝える」ことを「セマンティックウェブ」と呼びます。
これを意識すると、「画像よりも文章を使おう」という気持ちになる場面が多くなるはずです。
「利用者第一」が大前提ではありますが、HTMLをきちんと組んで「クローラー想い」なサイトを作っていってくださいね。
○robots.txtについて
「sitemap.xml」や「robots.txt」や「クロール経験のあるURLリスト」などを使って、クローラーはクロールを行っています。
ですから、「クロールしなくていいページ」をrobotx.txtに書いてクロールを拒否し、クローラーをコントロールしてください。
そうすることで、大事なページがクロールの対象になりやすくなります。
ただし、外部リンクからのクロールに関しては、robots.txtに書いてもブロックすることは叶いません。
しかし「noindex」を使えば、このタイプのクロールも拒否することが可能です。
●まとめ
ここまで、クローラーに関して解説しました。
まとめるとクローラーは、
・ページを行き来して
→検索エンジンに登録
してくれるプログラムであると言えますね。
ただし、逐一全部のページに訪れてくれるわけではないので、
重要性の低いページなどに関してはクロールを拒否（ブロック）して、メインのページがクロールされやすくなる状態を作りましょう。
また、「どれくらいクロールが行われているのか」は「クロールの統計情報（サーチコンソール内にあります）」により分かります。こまめにチェックして、SEO対策に役立てましょう。
●グーグルクローラーについて
あらゆるサイトを行き来して、情報を集めて、データベースに登録するロボット（プログラム）のことを「グーグルクローラー」と呼びます。
「ウェブサイト」は常に「内容変更」や「新規投稿」が行われるものです。
しかし、グーグルクローラーはたびたび巡回をしますので、一番新しい情報を検索結果として出してくれます。
今回はこのグーグルクローラーに関して解説していきます。
●グーグルクローラーとは
グーグルクローラーはロボットですが、毎日全部のwebサイト・ページをチェックしているわけではありません。
ちなみに「何ページクロールされたのか」は、「クロールの統計情報」を見ると分かります（サーチコンソール内にあります）。
ですから、大切なページをメインに据えて、クローラーに高効率で巡回してもらうべく工夫する必要があると言えます。
内部リンクをきちんと調整しつつ、「Fetch as Google」を活用して、巡回の効率を上げていきましょう。
検索結果の上位を獲得しているサイトの多くは、クローラーがきちんと訪問しているものです。
（ただし、『検索順位』は『クローラーの巡回ペース』だけで定まるものではありません）
●クローラーのタイプ
グーグルのクローラーの代表格は「グーグルボット」という、「検索順位を定めるためのクローラー」です。しかし、画像用のクローラーなども存在します。また、Bingやヤフーもクローラーを導入しています。
ただ、「グーグルの検索順位を定めるためのクローラー」に絞ってSEO対策をすればそれでOKです。そのため、普段はクローラーのタイプを考慮する必要はありません。
ちなみに、特定のプログラムを「robots.txt」に入れておくと、そのクローラーがサイトに訪れることがなくなります。
サイトを立ち上げてからしばらくの間はほぼ使うことのないスキルだと思いますが、一応覚えておきましょう。
●クロールとは何か
「ページをクローラーが行き来して情報を集めること」を「クロール」と呼びます。
集めた情報はデータベースにインデックスされて、グーグルのアルゴリズム（200タイプを超えます）に沿って、検索順位が定められることになります。
そのため、ページをグーグルクローラーに見てもらわないと、検索結果に反映されなくなります。
ちなみに、「site:（対象となるURL）」で検索すると、そのページが登録済か否かをチェックすることが可能です。
登録されていないことが判明したのであれば、「登録して下さい」という申請のようなものを「Fetch as Google」で送ることが可能です。
●クロールが済むとどう変化するのか
クロールが済むと、一番新しい情報が検索結果に反映されることになります。
言うまでもありませんが、順位付け自体はグーグルのアルゴリズムが行います。
そのため、クロールされたからといって、コンテンツの内容が検索キーワードに沿っていなかったり内容が薄かったりすれば、検索上位を勝ち取ることはできません。
そして、「以前クロールされたことがあって、再びクロールされた」場合は、検索結果が変わるかもしれません。また「クロールされても、検索順位が変わらない」というケースも当然あります。
それから、クローラーが訪れるまで検索結果に現れないわけですから、作って間もないページに関しては、しばらくは検索結果に反映されないこととなります。
また、「いつクロールが行われたのか」を調べることもできます。
検索結果で目的のURLの右の「▼」をクリックすると、「キャッシュ」というものが出るのでそれを選択してください。すると、最後にクロールが実行された日付を確認することが可能です。
そして、一回で全部の情報が登録されるわけではありません。
そのため、「重要性の低いページについてはクロールの拒否をする」などの工夫をしないと、「重要度の高いページ」や「更新したページ」などをなかなか登録してもらえなくなるかもしれません。
「利用者視点での使い勝手」を重視するのがSEO対策においては大事ですが、
それだけでなく「クローラーがどう動くか（どう動かすか）」も考えるようにしましょう。
●クローリングを調整するには?
では、クローリングをコントロールするにはどうすれば良いのでしょうか。
○シンプルなサイト構造にする
同じサイト内であっても、分野が異なるのであればページを分けるのが大事です。
しかし、階層数を過剰に多くしてしまうと、クローラーが大事なページまでなかなか来てくれなくなるかもしれません。
実際、グーグルが公式に「トップページから離れているページほど、重要性が下がっていると判断する」と述べています。
ですから、シンプルな造りのサイトを目指しましょう。
例えば、「ダイエット（メインテーマ）→食事→栄養→栄養について学べる大学（ダイエットとのつながりが薄い）」
など、関連性の低いページがある場合は、サイトを分割してしまうことを推奨します。
○内部リンクを組む
リンクを使ってクローラーはサイト内を行き来します。クローラーは、外部リンクは当然として内部リンクも利用します。
ですから、絶対に内部リンクを組んでください。
内部リンクを設定する際は「関連性の高いページとページをリンクさせる」ことが基本となります。
こうすることで、検索エンジンに好かれやすくなります。
○読みやすいページに仕上げる
これは、「クローラーにとって読みやすくする」という意味です。
（もちろん利用者視点で読みやすくする必要もありますが）
・内部リンクの設定
・ページ内の文章
などをできる限り「テキスト」で作るように心がけてください。
プログラムであるクローラーには、「画像」の内容を把握する能力がないからです。
特に大事なリンクや文章に関しては、テキストで出しておく必要があります。
それでも画像を使うこともあるはずですが、その際は丁寧な説明文を「alt属性」につけておきましょう。
ちなみに、「検索エンジンに対して、ページ内の文章はどのような内容になっているのかを適切に伝える」ことを「セマンティックウェブ」と呼びます。
これを意識すると、「画像よりも文章を使おう」という気持ちになる場面が多くなるはずです。
「利用者第一」が大前提ではありますが、HTMLをきちんと組んで「クローラー想い」なサイトを作っていってくださいね。
○robots.txtについて
「sitemap.xml」や「robots.txt」や「クロール経験のあるURLリスト」などを使って、クローラーはクロールを行っています。
ですから、「クロールしなくていいページ」をrobotx.txtに書いてクロールを拒否し、クローラーをコントロールしてください。
そうすることで、大事なページがクロールの対象になりやすくなります。
ただし、外部リンクからのクロールに関しては、robots.txtに書いてもブロックすることは叶いません。
しかし「noindex」を使えば、このタイプのクロールも拒否することが可能です。
●まとめ
ここまで、クローラーに関して解説しました。
まとめるとクローラーは、
・ページを行き来して
→検索エンジンに登録
してくれるプログラムであると言えますね。
ただし、逐一全部のページに訪れてくれるわけではないので、
重要性の低いページなどに関してはクロールを拒否（ブロック）して、メインのページがクロールされやすくなる状態を作りましょう。
また、「どれくらいクロールが行われているのか」は「クロールの統計情報（サーチコンソール内にあります）」により分かります。こまめにチェックして、SEO対策に役立てましょう。