大数据开发写sql写烦了,要不要转?

如果说大数据是每天写sql还不太精准(精准的是用各种方式写SQL)

当你不创造东西时,你只会根据自己的感觉而不是能力去看待问题。会不会转别的,看个人兴趣,大数据方向还有那么多。

瞅瞅方向:如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。

丰富自己的能力,到处都机会。

现如今,正式为了应对大数据的这几个特点,开源的大数据框架越来越多,越来越强,先列举一些常见的:

文件存储:Hadoop HDFS、Tachyon、KFS
离线计算:Hadoop MapReduce、Spark
流式、实时计算:Storm、Spark Streaming、S4、Heron
K-V、NOSQL数据库:HBase、Redis、MongoDB
资源管理:YARN、Mesos
日志收集:Flume、Scribe、Logstash、Kibana
消息系统:Kafka、StormMQ、ZeroMQ、RabbitMQ
查询分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式协调服务:Zookeeper
集群管理与监控:Ambari、Ganglia、Nagios、Cloudera Manager
数据挖掘、机器学习:Mahout、Spark MLLib
数据同步:Sqoop
任务调度:Oozie

眼花缭乱的上面就有30多种吧,别说精通了,全部都会使用的,估计也没几个。

就我个人而言,主要经验是在第1个方向( 开发/设计/架构)

大数据开发写sql写烦了,要不要转?

入职了大半年后,经常加班,虽然累但学起来很快,不久就把大数据的相关组件,hadoop,hive,oozie ,shell,s

Original: https://blog.csdn.net/m0_57290404/article/details/125726963
Author: 测试小扎
Title: 大数据开发写sql写烦了,要不要转?

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/818090/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球