python数据导入与清洗_python pandas 入门(1)– 数据导入,清洗,导出

导入各格式数据

csv/excel/json

import pandas

df = pandas.read_csv/excel/json(‘filepath’)

xml

import xml.etree.ElementTree as ET

tree = ET.parse(‘**.xml’)

root = tree.getroot()

for i in root.iter(‘key’):

….

创建dataframe

import pandas as pd

df = pd.DataFrame([[1,2,3],[2,3,4],[3,4,5]])

给dataframe增加行列名

df.columns = [‘col1′,’col2′,’col3’]

df.index = [‘line1′,’line2′,’line3’]

dataframe 筛选

1、筛选行

df.ix[0] #根据行数筛选

df.ix[‘line1’] #根据行名称筛选

df.ix[0:2] #根据行数切片

df.ix[‘line1′:’line2’] #根据行名称切片

df.ix[[‘line1′,’line2’]] #根据行名称选择多行

df.ix,df.loc,df.iloc

2、筛选列

df[‘col1’] #根据列名称筛选

df[[‘col1′,’col3’]] #根据列名称筛选

df.col1 #根据列名称筛选

3、切片

df.ix[0:2,[‘col1′,’col2’]] #根据行列名称切片

4、条件筛选

df[df[‘col1’] == 3] #根据条件筛选

df[(df[‘col1] ==3) &(df[‘col2’] == 4)] #多条件and查询

df[(df[‘col1] ==3) |(df[‘col2’] == 4)] #多条件or查询

dataframe 修改

1、新增列

df[‘col4’] = 5

2、删除列

del df[‘col4’]

df = df.drop(‘col4’,axis=1) #第二个参数axis,0:删除行,1:删除列,默认=0

3、新增行

df.loc[‘line4’] ={‘col1′:1,’col2′:5,’col3′:4,’col4’:2}

df.append(pd.DataFrame([{‘col1′:1,’col2′:5,’col3′:4,’col4’:2}]))

4、删除行

df = df.drop(‘line4’)

dataframe 增加索引

df.set_index(‘col4’,inplace = True)

处理缺失值

1、检查缺失值

df.isnull()

df[‘name’].isnull() #检查缺失值

df[‘name’].notnull() #检查非缺失值

df[‘name’].isnull().values.any()#指定列是否存在缺失值

df.isnull().any() #各个列是否存在缺失值

df.isnull().values.any() #整个dataframe事发后存在缺失值

df[‘name’].isnull().sum() #指定列有多少缺失值

df.isnull().sum().sum() #整个dataframe有多少缺失值

2、处理缺失值

2.1 舍弃缺失值

df.dropna() #舍弃含有任意缺失值的行

df.dropna(axis=1)#舍弃含有任意缺失值的列

df.dropna(how = ‘all’) #舍弃所有字段都有缺失值的行

df.dropna(thresh = 2) #舍弃超过两栏缺失值的行

2.2 补齐缺失值

df.fillna(0) # 用0填补

df[‘age’].fillna(df[‘age’].mean()) # 用平均值填补缺失值

df[‘age’].fillna(df.groupby(‘gender’)[‘age’].transform(‘mean’),inplace=True) #根据各性别平均年龄填补缺失值

df.fillna(method=’pad’) #向后填补缺失值(pad或者ffill)

df.fillna(method=’bfill’,limit=2) #向前填补缺失值(bfill或者backfill)

df.interpolate() #内插法填补缺失值

数据重塑

df.info()查看dataframe基本信息

1、map函数

df[‘name’].map(lambda e:e.upper()) #map将函数应用于1列

2、apply函数

df[‘age’].apple(lambda e:e.max()-e.min(),axis=1) #将函数应用到行或列 axis=0为列,axis=1为行

3、applymap函数

df.applymap(lambda e:np.nan if e != ” else e) #将函数应用到整个dataframe

4、时间转换

df[‘日期’]=pandas.to_datetime(df[‘日期’],format = ‘%Y年%m月%d日’) #将dataframe中日期数据改成datetime格式

5、生成虚拟变量

pandas.get_dummies(df[‘性别’]) #根据性别信息自动生成变量,比如男=0,女=1

df = pandas.concat([df,pandas.get_dummies(df[‘性别’])],axis=1) #concat合并dataframe,axis=1表示按列合并

6、生成透视表

df2=df.pivot_table(index=’col1′,columns=’col2′,values=’col3′,aggfunc=’mean’,fill_value = 0)

生成以col1为行,col2为列,值是col3的平均值的数据透视表,fill_value填充dataframe中NAN值

df2.T #透视表转置

df3=df.pivot_table(index=[‘col1′,’col4′],columns=’col2′,values=’col3′,aggfunc=’mean’,fill_value = 0)

生成以col1,col4的组合为行,col2为列,值是col3的平均值的数据透视表,fill_value填充dataframe中NAN值

df3.unstack() #生成长表格

7、应用正则

df[‘a’,’b’] = df[‘c’].str.extract(‘(.?)@(.?)’,expand = False)

数据导出

df.to_excel(‘1.xlsx’) #导出到excel,还可以导出到很多格式

Original: https://blog.csdn.net/weixin_29491635/article/details/113982949
Author: 小兔usako
Title: python数据导入与清洗_python pandas 入门(1)– 数据导入,清洗,导出

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/754223/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球