我在博客上分享的都是在实际项目中遇到的棘手的并且解决的问题，整理出来当作知识总结，希望也能帮助到需要的人。
一、dataframe 的merge方法实现千万条数据的关联
这里的temp1是特征数据，有几千万条，temp2是样本标签，有几万条，现在需要拿出有标签的几万条样本的数据，做后续分析。 之前自己写循环做关联操作，每次循环到150万次左右程序就killed了，内存不足，算不出来。 尝试了好多方法，发现dataframe的merge方法简直不能更好用，只需一行代码就能实现，计算速度也是极快的。merge里面传四个参数，分别是两张表的名称、关联字段的名称、和连接方式(left或right)。
temp1 = pd.read_csv(‘/Users/taorui02/Documents/test_data.txt’)
temp2 = pd.read_csv(‘/Users/taorui02/Documents/test_sample.txt’)
merge_data1 = pd.merge(temp2, temp1, on=’id’, how=’left’)
merge_data1.to_csv(“test.csv”, index=False, sep=’,’)
二、dataframe新增一行数据
dataframe用来做数据处理是十分方便的，可是要增加一行数据的方法我折腾了会儿才解决，因为它不同于修改、赋值。 我们的思维惯性是给新增一行给一个列赋值，其他列默认就是空，可是dataframe不是这样，给一个值是放不到表中的，它也不会报错。正确的放法是把一行数据放到list里面再赋值。
如果是修改赋值，这样就可以：
1.先新建一个dataframe表
import pandas as pd
import numpy as np
df2 = pd.DataFrame(np.arange(16).reshape((4, 4)),
index=[‘a’, ‘b’, ‘c’, ‘d’],
columns=[‘one’, ‘two’, ‘three’, ‘four’])
print(df2)
输出：
one two three four
a 0 1 2 3
b 4 5 6 7
c 8 9 10 11
d 12 13 14 15
2.修改一列
import pandas as pd
import numpy as np
df2 = pd.DataFrame(np.arange(16).reshape((4, 4)),
index=[‘a’, ‘b’, ‘c’, ‘d’],
columns=[‘one’, ‘two’, ‘three’, ‘four’])
df2[‘one’] = 99999
print(df2)
输出：
one two three four
a 99999 1 2 3
b 99999 5 6 7
c 99999 9 10 11
d 99999 13 14 15
- 修改特定值
import pandas as pd
import numpy as np
df2 = pd.DataFrame(np.arange(16).reshape((4, 4)),
index=[‘a’, ‘b’, ‘c’, ‘d’],
columns=[‘one’, ‘two’, ‘three’, ‘four’])
df2[‘one’][0] = 99999
print(df2)
输出：
one two three four
a 99999 1 2 3
b 4 5 6 7
c 8 9 10 11
d 12 13 14 15
- 使用索引赋值的方式不能实现新增一行，新增的话要用.loc[i]=一个list这种方式。
coding:utf-8
from pandas import *
df = DataFrame(columns=(‘lib’, ‘qty1’, ‘qty2’)) # 生成空的pandas表
df.loc[0] = [1, 3, 4]
print df
输出：
lib qty1 qty2
0 1 3 4
三、dataframe里面的空值判断
在数据处理的过程中，空值是再常见不过的了。 之前没有用pandas的时候判断空值用 if value == ”:来判断，可是到了dataframe里面这种代码就失效了，用if value :判断还是报错，最后发现pandas里面有自带的判断空值的方法。 当在文本文件中，空值为null，读入dataframe中，空值就变成了NaN，使用pd.isnull()或者pd.notnull()对一列进行空值判断，即if pd.notnull(value):来判断。
四、数据读取和保存
- 数据读取
普通读取，sep指定文件的分隔符
using_data = pd.read_csv(“/Users/taorui02/Documents/id”, sep=’ ‘)
很多时候我们拿到的数据是没有表头的，这时候读入数据要么不显示表头，加header=None就行，要么根据需要自己定义表头。 自定义表头读取，这里给数据加了两个列名，id、label。
using_data = pd.read_csv(“/Users/taorui02/Documents/id”, sep=’ ‘, header=None, names=[‘id’, ‘label’])
- 数据写入CSV
数据处理完写入文件也是有点讲究的，有时候需要表头，有时候不需要，不需要的时候同样加header=None、index=False就可以。 header=None：不显示列名 index=False：不显示索引号
五、逐行打印数据
在hadoop集群上处理数据的时候输出的结果后续需要拆分合并的操作，这时候不能直接保存数据到文件，而是输出，print或者sys.stdout.write()，这时候输出的内容是不能带列名和索引号的，需要逐行打印数据内容。 这里的要点是using_data.loc[index]访问到的不是我们真正想要的，要加上.values才能拿到数据。
import pandas as pd
读入数据
using_data = pd.read_csv(“/Users/taorui02/Documents/id”, sep=’ ‘, header=None, names=[‘id’, ‘label’])
逐行打印
for index in using_data.index:
print(using_data.loc[index].values)
Original: https://blog.csdn.net/weixin_33901614/article/details/112959931
Author: 王俊煜
Title: python pandas处理数据的优点_python 数据分析、数据处理之超实用的pandas
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/753837/
转载文章受原作者版权保护。转载请注明原作者出处！