Webデザイナーブログから学ぶホームページ制作

SEO対策やマーケティングの施策を行う上で「クローラー」の意味や仕組みを理解する必要があります。ユーザーが検索エンジンを利用して、情報を探すために「キーワード」を入力し検索を行いますが、「クローラー」は、検索結果の順位を決める要素をもっています。
検索結果の順位に最も重要な「クローラー」を知ることで検索アルコリズムを理解し、Webサイトを最適化することができます。

今回は、クローラーとは？クローラーの仕組みとSEOにおける重要性を解説します。

クローラーとは、インターネット上に存在する様々なWebページを巡回し、Webページ上にあるデータを自動的に収集（クローリング）するためのロボットプログラムです。クローラーは、英語の「crawl（這いまわる）」に由来しております。
クローラーは、「Googlebot（グーグルボット）」や「スパイダー」とも呼び、「Google」や「Bing」など独自でクローラーを開発している検索エンジンの大半は「ロボット検索エンジン」を組み込んでいます。
クローラーは、インターネット上に存在するあらゆるページやファイル、画像などを収集する役割がありますが、収取された情報はデータベース化されデータを基にページのランク付けや検索結果順位を決定します。
また、集められた情報がGoogleのデータベースに登録され、それらをインデックス登録と言い、インデックス登録されたページは検索エンジンから見つけやすくなります。

【クローリングとは】
クローリングとは、検索エンジンクローラーがインターネット上に存在するWebページの情報を収集する手法です。

クローラーの代表的な種類は「Googlebot」をはじめとし、「Bing」や「Yahoo Slurp」などのクローラーがあります。日本では9割のユーザーが「Googlebot」の検索エンジンが利用されています。
また、Googleが持つクローラーには、画像検索に利用される「Googlebot-Image」やモバイル検索に利用される「Googlebot-Mobile」など様々なの目的に応じた検索クローラーが存在します。

【クローラーの種類】
・Googlebot：Google
・Bingbot：Bing（マイクロソフト）
・Yahoo Slurp：Yahoo!（海外Yahoo）
・Baiduspider：百度（中国）
・Yetibot：Naver（韓国）

SEOを施策する上で、検索エンジンの仕組みを理解しておくことは必要不可欠です。
SEO対策を行う前に、より効率的にWebサイトを最適化するために検索エンジンクローラーがどのようにコンテンツ情報を処理しているかを理解することで目的が定まりやすくなります。
以前は、Webサイトの情報を検索エンジンに対して所有者が手動で登録を行っていましたが、現代ではクローラーと呼ばれるロボットプログラムが自動で収集するようになりました。

また、日本では「Google」や「Yahoo!」が支流となっている検索エンジンですが、「Yahoo!」の検索エンジンはGoogleの検索エンジンの仕組みを採用しているのでどちらで検索しても結果は、ほぼ同等の結果になっています。
Googleクローラーは、「クローラーの巡回」→「データベースインデックス」→「順位決定」の3つの過程で、Webページが検索結果に表示されます。クローラーが巡回することでWebページの情報を読み取り、読み込んだ情報を解析し順位を決定します。
ロボット型検索エンジンでは、それらの一連の流れに「クローラー」→「インデクサ」→「クエリサーバー」と3つの機能が動作しています。

【クローラーの流れ】
・クローラー：クローラーの巡回
・インデクサ：データベースインデックス
・クエリサーバー：順位決定

検索エンジンはクローラーを使って新しいWebページや更新されたWebページを発見します。
クローラーは、HTTP/HTTPSプロトコルという通信手段を使い、世界中のWebサーバーと通信してあらゆるWebページの情報を取得します。
サイトマップをGoogle Search Console（サーチコンソール）に登録を行う事でクローラーはWebページを発見しやすくなり、定期的にクローラーの巡回が行われます。クローラーはWebページのリンクを辿ってページ内の情報を収集します。

XMLサイトマップ（sitemap.xml）を作成してGoogleにインデックス登録をする方法

クローラーが取得したWebページの情報を解析し、Webページの「キーワード」や「文章」「画像」「内部リンク」「外部リンク」を読み取り、分析結果をデータベースに保存します。このようにデータベースへ登録する処理のプラグラムを「インデクサ」と言います。
インデックス登録される情報は、検索アルコリズムが効率的に検索できるように処理を行い登録されます。
また、インデックス登録では「キーワードの使用は適切か」「情報量や文字数は適切か」「画像の使用は適切か」「内部リンク・外部リンクは適切か」などの情報を重視して分析を行います。

インデクサによって解析された情報はデータベースにインデックス登録され、登録された情報を基に、ユーザーが入力した「キーワード」に対して「クエリーサーバー」から受け取った検索結果を表示しています。
Googleが検索順位を決定するには「検索アルゴリズム」というプログラムによって200項目以上の要因で構成されています。
アルコリズムが評価する項目は日々アップデートされているため、正確な仕組みは公開されていません。

クローラーは、日々インターネット上に存在するWebページだけでなく、Webページに付随したファイルや画像なども対象となります。

【対象ファイル】
・HTMLファイル
・CSSファイル
・テキストファイル
・JavaScriptファイル
・画像ファイル（GIF/JPEG/PNG/WebP/SVG/他）
・動画ファイル（MP4/WebM/他）
・PDFファイル
・FLASHフィアル

検索エンジンで検索した結果は、クローラーが収集した情報を基に「キーワード」や「検索順位」が決定されています。そのため、クローラーへの対策はSEOにおいても最も重要な役割です。
良質なコンテンツをであってもクローラーに認識されていない限り、検索結果に表示されません。良質なコンテンツを作り、クローラー対策を最適化することでWebサイトが正しく評価され、検索順位の向上に期待ができます。 SEO対策のひとつとして、Webサイトにクローラーが巡回しやすくする方法があります。このように検索エンジンのクローラーへWebページの情報を見つけやすくすることを「クローラービリティ」と言います。
クローラーは、一度だけ訪れて情報を解析するのではなく、定期的に訪れ情報を解析するため、常に情報を最新にしておくことが大切です。「最新の情報」や「良質な情報」を掲載することで「有益なコンテンツ」と判断させWebサイトの評価は上がり、検索結果に大きく影響します。
「ユーザーにとって有益なコンテンツ」「クローラービリティ」の向上や改善を行う事で、Googleなどの検索エンジン結果の順位を上げることが期待できます。

Webサイトを開設してもクローラーが巡回しないと意味がありません。「クローラービリティ」の向上を行う前にWebサイトにクローラーが巡回しているかを確認する方法があります。
クローラーが巡回してWebページが正しくクローリングがされているかを確認するために、「検索窓（site:）を利用して確認」と「Google Search Consoleを利用して確認」の2つの方法があります。

【クローラー巡回状況の確認方法】
・検索窓（site:）を利用して確認
・Google Search Consoleを利用して確認

検索窓を利用してクローラー巡回状況を確認するには、Googleの検索バーに「site:」と入力し、「site:」の後に確認したいWebページのURLを記述して検索を行います。
「site:」を利用して検索を行った結果には、Googleに正しくクローリングされたWebページの一覧が表示されます。
例：site:kingsite.jp

Google Search Console（サーチコンソール）を利用してクローラー巡回状況を確認するには、Google Search Console（サーチコンソール）にログインを行い、メニュー内から「URL検査」を選択し画面上部の検索バーに確認したいWebページのURLを記述し検索を行います。「URL検査」を利用して検索を行った結果には、正しくクローリングされている場合は「URLが」正しくクローリングされていない場合は「URLがGoogleに登録されていません」と表示されます。

日本の国内ではGoogleのクローラー「Googlebot」が圧倒的にシェアを誇っているため、Google検索エンジンに対してクローラービリティを改善することでSEO対策に大きく影響してきます。
良質なコンテンツや情報を掲載し、クローラービリティを向上することでWebサイトの順位に変化が起きます。2つのことを意識してSEO対策を行いましょう。