「分かりそう」で「分からない」でも「分かった」気になれるIT用語辞典

サクっと一言で説明すると

プログラムを使ってホームページに載っている情報を引っこ抜く

のが「Webスクレイピング」です。
単に「スクレイピング」とも呼ばれます。



例えば、そうですね。

アクマ君が素敵なホームページを見つけました。
どうやらピヨ太君が運営しているホームページのようです。



あまりにも素敵なのでアクマ君は「よし、パクろう」と思いました。



とはいえ、ピヨ太君に「パクりたいからホームページのファイルをくれ」と言っても、くれませんよね。



そこでアクマ君はプログラムを使ってピヨ太君のホームページのファイルをコッソリ引っこ抜くことにしました。



とはいえ、難しいことは ありません。

ホームページを見ようとすると、まず、ホームページを見るときに使うソフト（Webブラウザ）からホームページのファイルが置いてあるコンピュータ（Webサーバ）に対して「このページをおくれ」と お願いが出されます。



そのお願いに対して、WebサーバさんからWebブラウザさんに「ほれ、そのページだよ」と お返事がきます。



お返事を受け取ったWebブラウザさんは、受け取った内容（ホームページのファイル）を画面上に表示してくれます。



これが、ホームページが表示されるときの流れです。

つまり、普通にホームページを表示すれば、ホームページのファイルをゲットできるのです。



この「ホームページを表示してホームページのファイルをゲットする」という作業をアクマ君はプログラムにやらせました。

やり方は簡単です。
プログラムがピヨ太君のホームページを開きます。
そうすると「このページをおくれ」な お願いが出ます。



それに対して、Webサーバさんはピヨ太君のホームページ（の1ページ）分のファイルを返してくれます。
これで1ページ分のファイルをゲットできました。



これを全ページに対してやれば作業は完了です。
ピヨ太君のホームページの全ファイルをゲットできます。



この話においてアクマ君がやったのがWebスクレイピングです。

プログラムを使って、ホームページのファイルを引っこ抜く作業

です。

ちなみに、Webスクレイピングはホームページ運営者からは嫌われる行為です。
明確に禁止しているところもあります。
一応、頭の片隅にでも置いておいてあげてください。