spark dataframe 类型转换

读一张表,对其进行二值化特征转换。可以二值化要求输入类型必须double类型,类型怎么转换呢?

直接利用spark column 就可以进行转换:

DataFrame dataset = hive .sql(“select age,sex,race from hive_race_sex_bucktizer “);

/**

  • 类型转换

dataset = dataset.select(dataset.col(“age”).cast(DoubleType).as(“age”),dataset.col(“sex”),dataset.col(“race”));

是不是很简单。想起之前的类型转换做法,遍历并创建另外一个满足类型要求的RDD,然后根据RDD创建Datafame,好复杂!!!!

不断探索,不断尝试!

Original: https://www.cnblogs.com/likehua/p/6203520.html
Author: 李克华
Title: spark dataframe 类型转换

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/8864/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

最近整理资源【免费获取】:   👉 程序员最新必读书单  | 👏 互联网各方向面试题下载 | ✌️计算机核心资源汇总