「分かりそう」で「分からない」でも「分かった」気になれるIT用語辞典

順番に見ていきましょう。
まずは予備知識として「Webスクレイピング」について説明します。
「そんなの説明されなくても知ってるよ！」な人は適当に読み飛ばしてください。

Webスクレイピングは「プログラムを使ってホームページに載っている情報を引っこ抜くこと」です。



例えば、そうですね。

アクマ君が素敵なホームページを見つけました。
どうやらピヨ太君が運営しているホームページのようです。



あまりにも素敵なのでアクマ君は「よし、パクろう」と思いました。



とはいえ、ピヨ太君に「パクりたいからホームページのファイルをくれ」と言っても、くれませんよね。



そこでアクマ君はプログラムを使ってピヨ太君のホームページのファイルをコッソリ引っこ抜くことにしました。



とはいえ、難しいことは ありません。

ホームページを見ようとすると、まず、ホームページを見るときに使うソフト（Webブラウザ）からホームページのファイルが置いてあるコンピュータ（Webサーバ）に対して「このページをおくれ」と お願いが出されます。



そのお願いに対して、WebサーバさんからWebブラウザさんに「ほれ、そのページだよ」と お返事がきます。



お返事を受け取ったWebブラウザさんは、受け取った内容（ホームページのファイル）を画面上に表示してくれます。



これが、ホームページが表示されるときの流れです。

つまり、普通にホームページを表示すれば、ホームページのファイルをゲットできるのです。



この「ホームページを表示してホームページのファイルをゲットする」という作業をアクマ君はプログラムにやらせました。

やり方は簡単です。
プログラムがピヨ太君のホームページを開きます。
そうすると「このページをおくれ」な お願いが出ます。



それに対して、Webサーバさんはピヨ太君のホームページ（の1ページ）分のファイルを返してくれます。
これで1ページ分のファイルをゲットできました。



これを全ページに対してやれば作業は完了です。
ピヨ太君のホームページの全ファイルをゲットできます。



この話においてアクマ君がやったのがWebスクレイピングです。

プログラムを使って、ホームページのファイルを引っこ抜く作業

です。

ちなみに、Webスクレイピングはホームページ運営者からは嫌われる行為です。
明確に禁止しているところもあります。
一応、頭の片隅にでも置いておいてあげてください。

以上を踏まえて

ホームページに載っている情報を集めるソフト

が「Webスクレイピングソフト」です。
そのまんまですが、Webスクレイピング用のソフトです。



基本は「このホームページの情報を抜き出しておくれ」と指定すると、そのホームページの中身をファイルとかにまとめてくれるやつですけどね。
それ以外に、あれやこれやの機能が付いている場合も あります。
そこら辺の あれやこれやは他のところで勉強してください。