pandas清洗数据常用命令
安装jupyter notebook
启动 jupyter
可以在里面编写python代码
1、 加载数据df = pd.DataFrame(pd.read_excel(‘test.xlsx’))
2、显示数据的几行几列 (980，13)df.shap
3、去除显示信息时中间的省略号pd.set_option(‘display.width’,None)
{因为在pandas中默认读取文件显示是按照最小内存来读取的，所以使用这代码设置读取文件长度
没有限制即不省略中间的部分}
4、设置行与行之间不省略df.set_option(‘display.max_rows’, None)
{ 详情见：http://www.cnblogs.com/zhuPython/p/9258950.html }
5、是空值就显示True不是就false df.isnull()
和isnull相反df.notnull()
6、去除含有空值的行df.dropna()
7、对空值进行填充(任意值或0)df.fillna(0)
8、去除重复值df.drop_duplicates()
9、对指定值进行替换
{ 详见：https://www.jianshu.com/p/2557a805211f }
①、普通替换(只替换整个，不会查询部分)df[‘户型面积’] = df[‘户型面积’].replace(‘平米’,’替换’)
{ 也就是只查询单元格中整个内容符合替换条件不，如果一部分符合不替换 加上inplace = true
参数对文本进行操作 }
②、可以替换成空即删除多余的内容 df[‘户型面积’] = df[‘户型面积’].str.replace(‘平米’,”)
{ 这中形式同样可以解决①中的只查询替换整个单元格的问题 }
③、可以使用正则表达式替换df[‘户型面积’] = df[‘户型面积’].replace(‘平米’,’替换’)
{ 要加参数reges = true表示使用正则表达式 }
10、把一列数据分割df[‘A’],df[‘B’] = df[‘AB’].str.split(‘~’,1).str
11、检查该列是否都是字符 loandata[’emp_length’].apply(lambda x: x.isalpha())
数字 loandata[’emp_length’].apply(lambda x: x.isalnum())
字母loandata[’emp_length’].apply(lambda x: x.isdigit())
12、统计该列各种字段的数量 df[‘城市’].value_counts()
14、查看统计结果是false的所有列df2 = df[df[‘售价’].apply(lambda x: x.isalnum())==False]
15、dataframe转化为数组np.array(df)df.as_matrix()
16、异常值检查
标签：常用,df,户型,替换,apply,清洗,replace,pandas,lambda
来源： https://blog.csdn.net/weixin_42390218/article/details/90574174
Original: https://blog.csdn.net/weixin_42627853/article/details/112827993
Author: 加小强
Title: python pandas数据清洗_常用pandas清洗数据命令
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/753858/
转载文章受原作者版权保护。转载请注明原作者出处！