「分かりそう」で「分からない」でも「分かった」気になれるIT用語辞典

順番に見ていきましょう。
まずは予備知識として「検索エンジン」について簡単に説明します。
「そんなの説明されなくても知ってるよ！」な人は適当に読み飛ばしてください。

検索エンジンは「検索キーワードを入力すると、入力されたキーワードに関連するホームページを教えてくれるホームページ」です。
とはいえ、難しく考える必要は ありません。
GoogleとかYahoo!のことです。



以上を踏まえて

検索エンジンさんの手下として世の中にあるホームページの情報を集めてまわっているプログラム

が「Webクローラ」です。
単に「クローラ」と表現されることも あります。



Webクローラさんは日夜、ホームページの情報を集めています。
集めた情報は元締めの検索エンジンさんに報告します。
検索エンジンさんが新聞社だとすれば、Webクローラさんは記者のイメージです。



Webクローラさんはインターネットの世界を徘徊し、ホームページに記載されているリンクを辿って情報を集めていきます。

例えば、そうですね。

Webクローラさんがピヨ太君のホームページを見ています。



ピヨ太君のホームページにはピヨ子さんのホームページへのリンクが張ってありました。



Webクローラさんは、そのリンクを辿って、ピヨ子さんのホームページを見に行きます。



ピヨ子さんのホームページにはアクマ君のホームページとピヨ太ママのホームページへのリンクが張ってありました。



Webクローラさんは、そのリンクを辿って、アクマ君のホームページとピヨ太ママのホームページを見に行きます。



これでWebクローラさんは、ピヨ太君、ピヨ子さん、アクマ君、ピヨ太ママのホームページの情報をゲットしました。



この集めた情報を検索エンジンさんに報告します。



これで検索エンジンさんにWebクローラさんの集めた情報が蓄積されました。



このようなやり方で、検索エンジンさんは世の中のホームページの情報を集め、紹介できるホームページの量を増やしていきます。

あとは紹介するだけです。
使う人に対して、検索エンジンさんは集めた情報の中からキーワードと関連がありそうなホームページを教えてあげます。



これがWebクローラを使っている検索エンジンさんの仕組みであり、Webクローラさんがやっているお仕事です。

実際には、もっと複雑だとは思いますけどね。
大雑把には、そんな感じです。

なお、Webクローラさんのお仕事、Webクローラさんがホームページの情報を集めてまわることを「クロール」と言います。
気が向いたら、併せて覚えてあげてください。

……というのが検索エンジン関係の話で出てくるWebクローラの説明です。

検索エンジン関係以外の話で「Webクローラ」と出てきた場合は、単純に

リンクを辿ってホームページの情報を集めるプログラム

と解釈してください。
例えば、他人のホームページの情報を丸ごと引っこ抜きたいときとかに使うプログラムです。