(2) filter
:根据字段进行筛选
传入筛选条件表达式,得到DataFrame类型的返回结果。和 where
使用条件相同
示例:
jdbcDF <span class="hljs-preprocessor">.filter(<span class="hljs-string">"id = 1 or c1 = 'b'" )<span class="hljs-preprocessor">.show()</span></span></span>
-
1
-
1
结果,
2、查询指定字段
(1) select
:获取指定字段值
根据传入的 String
类型字段名,获取指定字段的值,以DataFrame类型返回
示例:
jdbcDF.<span class="hljs-operator"><span class="hljs-keyword">select( <span class="hljs-string">"id" , <span class="hljs-string">"c3" ).<span class="hljs-keyword">show( <span class="hljs-keyword">false)</span></span></span></span></span></span>
-
1
-
1
结果:
还有一个重载的 select
方法,不是传入 String
类型参数,而是传入 Column
类型参数。可以实现 select id, id+1 from test
这种逻辑。
jdbcDF.<span class="hljs-operator"><span class="hljs-keyword">select(jdbcDF( <span class="hljs-string">"id" ), jdbcDF( <span class="hljs-string">"id") + <span class="hljs-number">1 ).<span class="hljs-keyword">show( <span class="hljs-keyword">false)</span></span></span></span></span></span></span>
-
1
-
1
结果:
能得到 Column
类型的方法是 apply
以及 col
方法,一般用 apply
方法更简便。
(2) selectExpr
:可以对指定字段进行特殊处理
可以直接对指定字段调用UDF函数,或者指定别名等。传入 String
类型参数,得到DataFrame对象。
示例,查询 id
字段, c3
字段取别名 time
, c4
字段四舍五入:
jdbcDF <span class="hljs-preprocessor">.selectExpr(<span class="hljs-string">"id" , <span class="hljs-string">"c3 as time" , <span class="hljs-string">"round(c4)" )<span class="hljs-preprocessor">.show(false)</span></span></span></span></span>
-
1
-
1
结果,
(3) col
:获取指定字段
只能获取一个字段,返回对象为Column类型。
val idCol = jdbcDF.col(“id”)果略。
(4) apply
:获取指定字段
只能获取一个字段,返回对象为Column类型
示例:
<span class="hljs-keyword">val idCol1 = jdbcDF.apply(<span class="hljs-string">"id")
<span class="hljs-keyword">val idCol2 = jdbcDF(<span class="hljs-string">"id")</span></span></span></span>
- 1
-
2
-
1
- 2
结果略。
(5) drop
:去除指定字段,保留其他字段
返回一个新的DataFrame对象,其中不包含去除的字段,一次只能去除一个字段。
示例:
jdbcDF.<span class="hljs-keyword">drop(<span class="hljs-string">"id")
jdbcDF.<span class="hljs-keyword">drop(jdbcDF(<span class="hljs-string">"id"))</span></span></span></span>
- 1
-
2
-
1
- 2
结果:
3、limit
limit
方法获取指定DataFrame的前n行记录,得到一个新的DataFrame对象。和 take
与 head
不同的是, limit
方法不是Action操作。
jdbcDF.limit(3).<span class="hljs-operator"><span class="hljs-keyword">show( <span class="hljs-keyword">false)</span></span></span>
-
1
-
1
结果,
4、order by
(1) orderBy
和 sort
:按指定字段排序,默认为升序
示例1,按指定字段排序。加个 -
表示降序排序。 sort
和 orderBy
使用方法相同
jdbcDF<span class="hljs-preprocessor">.orderBy(- jdbcDF(<span class="hljs-string">"c4"))<span class="hljs-preprocessor">.show(false)
// 或者
jdbcDF<span class="hljs-preprocessor">.orderBy(jdbcDF(<span class="hljs-string">"c4")<span class="hljs-preprocessor">.desc)<span class="hljs-preprocessor">.show(false)</span></span></span></span></span></span></span>
- 1
- 2
-
3
-
1
- 2
- 3
结果,
示例2,按字段字符串升序排序
jdbcDF<span class="hljs-preprocessor">.orderBy(<span class="hljs-string">"c4")<span class="hljs-preprocessor">.show(false)</span></span></span>
-
1
-
1
结果,
(2) sortWithinPartitions
和上面的 sort
方法功能类似,区别在于 sortWithinPartitions
方法返回的是按Partition排好序的DataFrame对象。
5、group by
(1) groupBy
:根据字段进行 group by
操作
groupBy
方法有两种调用方式,可以传入 String
类型的字段名,也可传入 Column
类型的对象。
使用方法如下,
jdbcDF <span class="hljs-preprocessor">.groupBy(<span class="hljs-string">"c1" )
jdbcDF<span class="hljs-preprocessor">.groupBy( jdbcDF( <span class="hljs-string">"c1"))</span></span></span></span>
- 1
-
2
-
1
- 2
(2) cube
和 rollup
:group by的扩展
功能类似于 SQL
中的 group by cube/rollup
,略。
(3)GroupedData对象
该方法得到的是 GroupedData
类型对象,在 GroupedData
的API中提供了 group by
之后的操作,比如,
max(colNames: String*)
方法,获取分组中指定字段或者所有的数字类型字段的最大值,只能作用于数字型字段min(colNames: String*)
方法,获取分组中指定字段或者所有的数字类型字段的最小值,只能作用于数字型字段mean(colNames: String*)
方法,获取分组中指定字段或者所有的数字类型字段的平均值,只能作用于数字型字段sum(colNames: String*)
方法,获取分组中指定字段或者所有的数字类型字段的和值,只能作用于数字型字段count()
方法,获取分组中的元素个数 运行结果示例:
count
max
这里面比较复杂的是以下两个方法,
agg
,该方法和下面介绍的类似,可以用于对指定字段进行聚合操作。
pivot
6、distinct
(1) distinct
:返回一个不包含重复记录的DataFrame
返回当前DataFrame中不重复的Row记录。该方法和接下来的 dropDuplicates()
方法不传入指定字段时的结果相同。
示例:
jdbcDF.<span class="hljs-keyword">distinct()</span>
-
1
-
1
结果,
(2) dropDuplicates
:根据指定字段去重
根据指定字段去重。类似于 select distinct a, b
操作
示例:
jdbcDF.dropDuplicates(Se<span class="hljs-string">q("c1"))</span>
-
1
-
1
结果:
7、聚合
聚合操作调用的是 agg
方法,该方法有多种调用方式。一般与 groupBy
方法配合使用。
以下示例其中最简单直观的一种用法,对 id
字段求最大值,对 c4
字段求和。
<span class="hljs-title">jdbcDF.agg(<span class="hljs-string">"id" -> <span class="hljs-string">"max", <span class="hljs-string">"c4" -> <span class="hljs-string">"sum")</span></span></span></span></span>
-
1
-
1
结果:
8、union
unionAll
方法:对两个DataFrame进行组合
类似于 SQL
中的 UNION ALL
操作。
示例:
jdbcDF<span class="hljs-preprocessor">.unionALL(jdbcDF<span class="hljs-preprocessor">.limit(<span class="hljs-number">1))</span></span></span>
-
1
-
1
结果:
9、join
重点来了。在 SQL
语言中用得很多的就是 join
操作,DataFrame中同样也提供了 join
的功能。
接下来隆重介绍 join
方法。在DataFrame中提供了六个重载的 join
方法。
(1)、笛卡尔积
joinDF1.<span class="hljs-keyword">join(joinDF2)</span>
-
1
-
1
(2)、 using
一个字段形式
下面这种join类似于 a join b using column1
的形式,需要两个DataFrame中有相同的一个列名,
joinDF1.<span class="hljs-keyword">join(joinDF2, <span class="hljs-string">"id")</span></span>
-
1
-
1
joinDF1
和 joinDF2
根据字段 id
进行 join
操作,结果如下, using
字段只显示一次。
(3)、 using
多个字段形式
除了上面这种 using
一个字段的情况外,还可以 using
多个字段,如下
joinDF1.<span class="hljs-keyword">join(joinDF2, Se<span class="hljs-string">q("id", "name"))</span></span>
-
1
-
1
(4)、指定 join
类型
两个DataFrame的 join
操作有 inner, outer, left_outer, right_outer, leftsemi
类型。在上面的 using
多个字段的join情况下,可以写第三个 String
类型参数,指定 join
的类型,如下所示
joinDF1.<span class="hljs-keyword">join(joinDF2, Se<span class="hljs-string">q("id", "name"), <span class="hljs-string">"inner")</span></span></span>
-
1
-
1
(5)、使用 Column
类型来 join
如果不用 using
模式,灵活指定 join
字段的话,可以使用如下形式
joinDF1.<span class="hljs-keyword">join(joinDF2 , joinDF1(<span class="hljs-string">"id" ) === joinDF2( <span class="hljs-string">"t1_id"))</span></span></span>
-
1
-
1
结果如下,
(6)、在指定 join
字段同时指定 join
类型
如下所示
joinDF1.<span class="hljs-keyword">join(joinDF2 , joinDF1(<span class="hljs-string">"id" ) === joinDF2( <span class="hljs-string">"t1_id"), <span class="hljs-string">"inner")</span></span></span></span>
-
1
-
1
10、获取指定字段统计信息
stat
方法可以用于计算指定字段或指定字段之间的统计信息,比如方差,协方差等。这个方法返回一个 DataFramesStatFunctions
类型对象。
下面代码演示根据 c4
字段,统计该字段值出现频率在 30%
以上的内容。在 jdbcDF
中字段 c1
的内容为 "a, b, a, c, d, b"
。其中 a
和 b
出现的频率为 2 / 6
,大于 0.3
jdbcDF.<span class="hljs-keyword">stat.freqItems(Se<span class="hljs-string">q ("c1") , <span class="hljs-number">0.<span class="hljs-number">3).show()</span></span></span></span>
-
1
-
1
结果如下:
11、获取两个DataFrame中共有的记录
intersect
方法可以计算出两个DataFrame中相同的记录,
jdbcDF<span class="hljs-preprocessor">.intersect(jdbcDF<span class="hljs-preprocessor">.limit(<span class="hljs-number">1))<span class="hljs-preprocessor">.show(false)</span></span></span></span>
-
1
-
1
结果如下:
12、获取一个DataFrame中有另一个DataFrame中没有的记录
示例:
jdbcDF<span class="hljs-preprocessor">.except(jdbcDF<span class="hljs-preprocessor">.limit(<span class="hljs-number">1))<span class="hljs-preprocessor">.show(false)</span></span></span></span>
-
1
-
1
结果如下,
13、操作字段名
(1) withColumnRenamed
:重命名DataFrame中的指定字段名
如果指定的字段名不存在,不进行任何操作。下面示例中将 jdbcDF
中的 id
字段重命名为 idx
。
jdbcDF<span class="hljs-preprocessor">.withColumnRenamed( <span class="hljs-string">"id" , <span class="hljs-string">"idx" )</span></span></span>
-
1
-
1
结果如下:
(2) withColumn
:往当前DataFrame中新增一列
whtiColumn(colName: String , col: Column)
方法根据指定 colName
往DataFrame中新增一列,如果 colName
已存在,则会覆盖当前列。
以下代码往 jdbcDF
中新增一个名为 id2
的列,
jdbcDF<span class="hljs-preprocessor">.withColumn(<span class="hljs-string">"id2", jdbcDF(<span class="hljs-string">"id"))<span class="hljs-preprocessor">.show( false)</span></span></span></span>
-
1
-
1
结果如下,
14、行转列
有时候需要根据某个字段内容进行分割,然后生成多行,这时可以使用 explode
方法
下面代码中,根据 c3
字段中的空格将字段内容进行分割,分割的内容存储在新的字段 c3_
中,如下所示
jdbcDF.explode( <span class="hljs-string">"c3" , <span class="hljs-string">"c3_" ){<span class="hljs-built_in">time: <span class="hljs-built_in">String => <span class="hljs-built_in">time.<span class="hljs-built_in">split( <span class="hljs-string">" " )}</span></span></span></span></span></span></span>
-
1
-
1
结果如下,
15、其他操作
API中还有 na, randomSplit, repartition, alias, as
方法,待后续补充。
三、DataFrame对象上的结构类操作
四、DataFrame对象上的输出操作
五、DataFrame对象上的RDD操作
六、DataFrame对象上的未归类操作
Original: https://www.cnblogs.com/nucdy/p/6541564.html
Author: dy9776
Title: Spark-SQL之DataFrame操作
原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/559731/
转载文章受原作者版权保护。转载请注明原作者出处!