机器学习必备技能：Pandas 从数据预处理到特征工程的全流程实战

在机器学习项目中，数据决定模型上限，而 Pandas 作为 Python 数据分析的核心库，正是打通 “原始数据” 到 “可用特征” 的关键工具。无论是数据清洗、探索性分析，还是特征提取与转换，Pandas 都能以简洁的代码高效完成。本文将结合机器学习真实场景，从基础操作到进阶技巧，带你掌握 Pandas 在机器学习中的核心应用。

一、Pandas 与机器学习：为什么它是 “第一块拼图”？

在机器学习流水线（Data Pipeline）中，Pandas 主要承担数据准备阶段的工作，对应整个项目 60%-80% 的时间占比。其核心价值体现在：

• 结构化数据处理：轻松应对 CSV、Excel、SQL 等常见数据格式，兼容机器学习中最常用的表格型数据；
• 灵活的数据清洗：快速处理缺失值、异常值、重复值，解决 “脏数据” 无法直接输入模型的问题；
• 高效特征工程：支持数值型、分类型、时间型特征的加工，为模型提供高质量输入；
• 无缝衔接其他库：与 NumPy（数值计算）、Matplotlib/Seaborn（可视化）、Scikit-learn（建模）完美兼容，形成 “数据 - 分析 - 建模” 闭环。

先安装并导入 Pandas（通常搭配 NumPy 使用）：

# 安装命令
# pip install pandas numpy

# 导入库
import pandas as pd
import numpy as np

二、基础操作：机器学习中的 “数据读写与查看”

机器学习的第一步，是加载数据并快速了解数据全貌。Pandas 提供了直观的 API 完成这一环节。

1. 读取常见数据格式

机器学习中最常用的是 CSV 格式数据，此外 Excel、SQL 数据也可通过 Pandas 直接读取：

# 1. 读取 CSV 文件（最常用）
df = pd.read_csv("machine_learning_data.csv")  # 本地文件
# df = pd.read_csv("https://xxx.com/data.csv")  # 远程文件

# 2. 读取 Excel 文件（需安装 openpyxl）
# df = pd.read_excel("data.xlsx", sheet_name="Sheet1")

# 3. 读取 SQL 数据（需搭配 SQLAlchemy）
# from sqlalchemy import create_engine
# engine = create_engine("mysql+pymysql://user:password@host/db")
# df = pd.read_sql("SELECT * FROM table", engine)

2. 快速探索数据：3 行代码掌握核心信息

拿到数据后，无需逐行查看，用以下代码快速判断数据是否 “可用”：

# 1. 查看前5行数据（了解字段含义和数据格式）
print(df.head())

# 2. 查看数据基本信息（行数、列数、数据类型、缺失值）
print(df.info())
# 输出示例：
# <class 'pandas.core.frame.DataFrame'>
# RangeIndex: 1000 entries, 0 to 999  # 1000行数据
# Data columns (total 5 col