見出し画像

下ごしらえはAIがいちばん得意——汚いデータでも始められる

「うちのデータは、汚すぎて無理だと思います」

データ分析を任された人から私が何度も聞いてきた言葉だ。

会社のデータを渡す準備を整えて(#04)質問の型も手に入れた(#05)。
いざ本番のExcelを開く。
セルは結合され、見出しは2段になり、備考欄には何でも書いてある。
ここで、多くの人の手が止まる。

でも止まらなくていい。

下ごしらえこそ、AIがいちばん得意な仕事だ。


「きれいにしてからAI」は、順序が逆ではないか

逆だ。汚いまま渡していい。

多くの人は「データをきれいにしてからAIに分析させよう」と考える。
そしてきれいにする作業で力尽きる。私はその挫折をたくさん見てきた。

順序を変える。汚いままAIに見せて「どこが汚いか」から教えてもらう。
分析がAIで楽になるのなら下ごしらえもAIで楽になる。
むしろ判断の少ない単純作業の塊である下ごしらえのほうがAIとの相性はいい。

ただしAIにも読めないExcelがある。先にそれだけ覚えてほしい。

読めるExcelと読めないExcelは、何が違うか

AIが読めるのは「1行目が見出し。2行目からは、1行に1件」という形の表だ。

読めない代表は3つある。

1つ目、セル結合。
人間には親切な見た目だが、機械には迷路だ。結合を外すとほとんどのセルが空白になる。

2つ目、2段ヘッダ。
「4月」の下に「売上」「粗利」が並ぶ、あの形。どの列が何の数字なのか機械には確定できない。

3つ目、1セルに複数の情報。
「東京支店・田中」「100個(うちサンプル10)」。人間は読み分けるが機械は集計できない。

見分け方は15秒でいい。1行目にフィルタをかけてみる。まともに絞り込めないなら、それは「読めないExcel」だ。

読めない形なら宣言してから渡せばいい。「このファイルにはセル結合があります。1行に1件の表に組み直してください」。
それ自体が立派な下ごしらえの指示になる。

下ごしらえを、どう頼むか

プロンプトを2つ置く。
目的→前提データ→全文→出力の見方→注意点の順で書く。

プロンプト①:健康診断と、重複の候補出し

【目的】
渡したデータの汚れ具合をまず一覧にする。

【前提データ】
顧客一覧のExcel(会社名・電話番号・住所・担当者など)。

【プロンプト全文】

このデータの品質をチェックしてください。

1. 空白・重複・表記ゆれ・明らかな異常値がないかを確認し、種類ごとに件数を一覧にしてください
2. 重複の疑いがある顧客を検出し、「統合候補リスト」を作ってください。判定基準は「会社名と電話番号の一致」です
3. 統合するかどうかの判断は私が行います。候補ごとに、そう判断した理由を添えてください

【出力の見方】
最初に見るのは表記ゆれだ。「株式会社」と「(株)」、全角と半角。同じ会社が別の会社として数えられていたらこの後のどんな分析も狂う。

【注意点】
ここが今日いちばん大事な原則だ。名寄せ(同じ相手のデータをひとつにまとめる作業)は、AIは候補を出すまで。確定するのは人間だ。同じ名前の別会社も、同じ電話番号の親子会社も、現実にはある。機械的に統合した瞬間、事故になる。

プロンプト②:2つの表の結合

【目的】
VLOOKUPを書かずに受注データと顧客マスタをつなぐ。

【前提データ】
受注データ(顧客ID・受注日・金額)と顧客マスタ(顧客ID・業種・地域)。

【プロンプト全文】

受注データと顧客マスタを「顧客ID」で結合し、1つの表にしてください。

・顧客マスタに存在しないIDが受注データ側にあれば、結合せずに「不一致リスト」として別に出してください
・結合後の行数が、元の受注データの行数と一致するかを確認し、結果を報告してください

【出力の見方】
不一致リストこそ宝だ。マスタに登録されていない新しい取引先か、手入力のミスか。どちらにせよ、見つかったこと自体が成果になる。

【注意点】
行数の確認は#05で書いた検算3点セットの「件数一致」そのものだ。結合は行が勝手に増えたり消えたりする事故がいちばん多い。


落とし穴を、2つ。

1つ、「AIが整えたのだから正しい」と思うこと。
下ごしらえの結果にも検算はいる。整える前と後で合計と件数を見比べる。

2つ、全部きれいにしてから始めようとすること。
終わらない。今月の分析に使う列だけ整えればいい。掃除は目的ではない。

あなたの会社のデータはたぶん汚い。
安心してほしい。どの会社のデータも汚い。

それでも始められるようになった。これが、AI時代のいちばん大きな変化だ。


📝 この章のチェックリスト(3点)

  • AIに渡す表は「1行目が見出し、1行に1件」になっているか

  • 名寄せ・統合の「確定」をAIに任せていないか

  • 結合や整形の後に合計と件数を見比べたか


データ活用について、まず話を聞いてみたいという方へ。
30分の無料相談を受け付けています。
👉 https://www.srush.co.jp 

あなたの会社のデータ経営は何点?
8つの質問で、あなたの会社の現在地が3分でわかります。
👉 https://datadrivenjapan.com/check 

この連載と、データドリブンジャパンの活動のすべては、こちらに。
👉 https://datadrivenjapan.com 

前の話次の話▶|[目次]

いいなと思ったら応援しよう!