读一张表,对其进行二值化特征转换。可以二值化要求输入类型必须double类型,类型怎么转换呢?
直接利用spark column 就可以进行转换:
DataFrame dataset = hive .sql(“select age,sex,race from hive_race_sex_bucktizer “);
/**
- 类型转换
dataset = dataset.select(dataset.col(“age”).cast(DoubleType).as(“age”),dataset.col(“sex”),dataset.col(“race”));
是不是很简单。想起之前的类型转换做法,遍历并创建另外一个满足类型要求的RDD,然后根据RDD创建Datafame,好复杂!!!!
不断探索,不断尝试!
Original: https://www.cnblogs.com/likehua/p/6203520.html
Author: 李克华
Title: spark dataframe 类型转换
原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/8864/
转载文章受原作者版权保护。转载请注明原作者出处!