Pyspark 对DataFrame做随机打乱操作

【自取】最近整理的,有需要可以领取学习:

需求:从hive下拉数据,要合并多个数据(每组数据类别不同),如果要在构造数据集最终阶段随机打乱,可以使用pyspark的orderBy随机打乱

from pyspark.sql.functions import rand

sql = "select * from abc.table1 limit 10;"
df1 = spark.sql(sql)
sql = "select * from abc.table2 limit 5;"
df2 = spark.sql(sql)
# 合并两组数据,列名顺序要一致
res = df1.unionAll(df2)
res.show()
# shuffle
data = res.orderBy(rand())
data.show()

但是,这将带来巨额消耗,因为其实一个全局shuffle

时刻记着自己要成为什么样的人!

Original: https://www.cnblogs.com/demo-deng/p/16497918.html
Author: 今夜无风
Title: Pyspark 对DataFrame做随机打乱操作

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/8854/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

发表回复

登录后才能评论
免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部