ホーム > 用語集 > クローラー(Crawler)

クローラー(Crawler)

サイトウ
職場で存在感ゼロの僕だけど、気になる受付の女の子にそろそろ存在を気づいてもらいたい。
えふ太
サイトウの職場やその子の周りでクローラー的存在の人がいないか探すことから始めることをおすすめするよ。

クローラー(Crawler)とは?

クローラーとは、Webサイトの情報を収集し、その内容をデータベースへ更新していくプログラムのこと。
検索エンジンのデータ記録のため、日々無数に存在するサイトの情報収集を行っています。
ロボット、スパイダーなどとも呼ばれ、Web検索に対応する「googlebot」や画像検索に対応する「googlebot-image」など複数のプログラムが存在しています。

SEO施策ならまずはクローラーに“読み込んでもらう”ことが大切

冒頭でお話したように、クローラーは検索エンジンへのindex(サイト、ページの登録)を行うためのプログラムです。
つまり、クローラーに読み込んでもらえないページは検索エンジンに登録されず、検索結果にも表示されることはありません。
集客やgoogleからの評価を上げるためには、まずクローラーに正確にページを読み込んでもらう必要があると覚えておきましょう。

また、クローラーはWebサイトを巡回して情報を収集しますが、実は全てのWebページを回れるわけではありません。
googlebotがスパイダーと呼ばれる所以は「サイト間のリンクをたどって巡回する」ことにあるのですが、サイトの構造が複雑であったり、コンテンツの内容に不備があると正しくページを読み込めないこともあるのです。
その場合は、まずは「クローラーの導線を確保すること」から集客対策をする必要があります。