データクレンジング
この用語のポイント
データを整備するよ
使いやすい形にするのが目的だよ
誤字を直したり書式を統一したりデータの過不足を解消したりするよ
スポンサーリンク
簡単に書くよ
データクレンジング（英：data cleansing）とは
書式とかがバラバラな状態で管理されているデータを整備して「おっ！これは使いやすいね！」な状態にすること
です。
詳しく書くよ
サクっと一言で説明すると
データ整備
をカッコ付けて横文字にした表現が「データクレンジング」です。
「データクリーニング」や「データスクラビング」と表現されることも あります。
例えば、そうですね。
ここにピヨ太君の使っている顧客名簿があります。
ピヨ太君の使っている顧客名簿の中身は以下の内容でした。
| 名前 | 性別 |
|---|---|
| 太郎 | 男 |
| 次郎 | 男 |
| 花子 | 女 |
ここにピヨ子さんの使っている顧客名簿があります。
ピヨ子さんの使っている顧客名簿の中身は以下の内容でした。
| 名前 | 性別 |
|---|---|
| アンドリュー | ♂ |
| ボブ | ♂ |
| 花子 | ♀ |
何気にピヨ太君とピヨ子さんは仲良しです。
2人は、お互いの顧客情報を一緒に使うことにしました。
2人の顧客名簿を合体させます。
合体させた顧客名簿は以下の内容です。
| 名前 | 性別 |
|---|---|
| 太郎 | 男 |
| 次郎 | 男 |
| 花子 | 女 |
| アンドリュー | ♂ |
| ボブ | ♂ |
| 花子 | ♀ |
これは……ちょっと使いにくいですね。
まず、元ピヨ太君の名簿と元ピヨ子さんの名簿で性別の書き方が違います。
直感的に分かりにくいでしょう。
| 名前 | 性別 |
|---|---|
| 太郎 | 男 |
| 次郎 | 男 |
| 花子 | 女 |
| アンドリュー | ♂ |
| ボブ | ♂ |
| 花子 | ♀ |
また、元ピヨ太君の名簿にも元ピヨ子さんの名簿にも「花子」が載っています。
同じ人が2回、登場しています。
| 名前 | 性別 |
|---|---|
| 太郎 | 男 |
| 次郎 | 男 |
| 花子 | 女 |
| アンドリュー | ♂ |
| ボブ | ♂ |
| 花子 | ♀ |
そこでピヨ太君は合体後の顧客名簿に手を入れました。
性別の表記を統一して、2回登場している「花子」の片方を消したのです。
データを整備してキレイにしました。
ピヨ太君が手を入れた後の顧客名簿は以下の内容です。
| 名前 | 性別 |
|---|---|
| 太郎 | 男 |
| 次郎 | 男 |
| アンドリュー | 男 |
| ボブ | 男 |
| 花子 | 女 |
おぉ、なんか良い感じになりましたね。
これならスッキリしていて分かりやすいです。
使いやすい顧客名簿になりました。
この話において、ピヨ太君がやったことがデータクレンジングです。
誤字を直したり書式を統一したりデータの過不足を解消したりすることで、データ（のまとまり）を使いやすい形に整備する行為を指します。
実際に、どんな風に手を入れるかはケース・バイ・ケースだと思いますけどね。
私がパッと思いつくのは
・誤字、脱字の修正
・表記ゆれの統一
・重複データの削除
・不足データの補てん
ですが他にもあるはずです。
データの種類によって使いやすい形も違います。
それに伴い、やる内容も変わってくるはずです。
一言でまとめるよ
まぁ「データクレンジング」って単語が出てきたら「データ整備のことなんだな～」と お考えください。
スポンサーリンク
おまけ
■訳してみるよ
「data（データ）」の意味は「資料」とか「知識」とか「情報」とかです。
「cleansing（クレンジング）」は「cleanse（クレンズ）」＋「ing」です。
「cleanse（クレンズ）」の意味は「清潔にする」とか「洗う」とか「洗い清める」とか「浄化する」とかです。
何となく くっつけると
情報の洗浄
となります。
■検索してみる？
