用Pandas读取一个七百万条记录的微博爬虫文件，大小约1G。直接读入内存不足，于是采用chunksize=100000来分批读取。每个chunk的数据处理后得到count长这样：
daysCount tweetsSum
userID
1294588034 5 305
2277435630 4 284
1985258823 6 265
1886370740 7 265
… … …
之后我尝试把这些dataframe合并，代码如下：
count_list=[]
for chunk in data:
…
count_list.append(count)
total_count = pd.concat(count_list, axis=0)
print(total_count.sort_value(by=[‘tweetsSum’],ascending=False))
结果发现汇总后的数据总是小于真正的数据量，不管是daysCount还是tweetsSum都是。而且调高chunksize，这两个值也会提高。
于是我猜想在concat的时候，遇到userID相同的，它只会取daysCount和tweetsSum的最大值，而不是值相加。
如果是这样的问题的话，那么该怎么合并dataframe，能让碰到userID相同的时候，让daysCount和tweetsSum相加呢？
Original: https://blog.csdn.net/weixin_30516835/article/details/114910623
Author: Mage Anti
Title: python dataframe纵向合并_Python Dataframe合并问题
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/755404/
转载文章受原作者版权保护。转载请注明原作者出处！