pandas 一些常用的数据分析技巧

最新推荐文章于 2025-10-13 23:04:29 发布

原创最新推荐文章于 2025-10-13 23:04:29 发布 · 493 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

python

本文介绍了Pandas库中的一些常用数据分析操作，包括查看数据类型、选择特定特征、处理缺失和重复数据、特征数值化以及修改列名等实用技巧。

1、数据类型：
- 查看数据中各个变量的列名和它们的数据类型：df.dtypes
- 获得每个数据类型的列数：df.get_dtype_counts()

2、选取类别型的特征与数值型的特征

cate_columns = data.select_dtypes(include=['object']).columns
num_columns = data.select_dtypes(exclude=['object']).columns

3、数据缺失与重复
- 统计缺失占比：df.isna().sum()/len(df)
- 缺失填补：df.fillna(method='各种方法')
- 查找重复行，删除重复行：df.duplicated() ; df.drop_duplicates()

4、特征数值化

现有一列数据存在数据框df中，希望对其按照数据框a中的顺序转化成其对应的序号。

df=pd.DataFrame({'province':['安徽','深圳','广州','湖北','安徽','深圳']})
a=pd.DataFrame({'排序':['安徽','湖北','深圳','广州']})

df['province_序号'] = df['province'].map(list(a['排序'].unique()).index)
df
Out[80]: 
  province  province_序号
0       安徽            0
1       深圳            2
2       广州            3
3       湖北            1
4       安徽            0

5、修改列名

###修改列名
df.rename(columns={'old列名1':'new列名1','old列名2':'new列名2'},inplace=True)

6、组内排序

df_sorted = df.groupby('userid',as_index=False).apply(lambda x:x.sort_values('orderTime', ascending=False)) #按最近的时间开始排序
    #userid表示Dataframe中用来分组的特征
    #orderTime:表示Dataframe表中用来排序的特征