spark

shell

sc.textFile("file:///D:///spring///S-park///log///1.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect # 词统计
sc.textFile("file:///D:///spring///S-park///log///2.txt").map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b) # 一行中最多的单词数量
sc.textFile("file:///D:///spring///S-park///log///3.txt").filter(line => line.contains("spark")).count() # 有多少行包括字符串"spark"

spark-sql

spark.sql("show databases").show(false)
spark.sql("use default")
spark.sql("show tables").show(false)
spark.sql("select * from test_table").show(false)
spark.sql("select count(1) from test_table").show(false)

spark-submit

spark-submit --class com.cord.StartApplication  --executor-memory 4G --num-executors 8 --master yarn-client spark-example-1.0-SNAPSHOT.jar

Original: https://www.cnblogs.com/hellowzd/p/13891678.html
Author: fleam
Title: spark

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/8894/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部