如果说大数据是每天写sql还不太精准(精准的是用各种方式写SQL)
当你不创造东西时,你只会根据自己的感觉而不是能力去看待问题。会不会转别的,看个人兴趣,大数据方向还有那么多。
瞅瞅方向:如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。
丰富自己的能力,到处都机会。
现如今,正式为了应对大数据的这几个特点,开源的大数据框架越来越多,越来越强,先列举一些常见的:
文件存储:Hadoop HDFS、Tachyon、KFS
离线计算:Hadoop MapReduce、Spark
流式、实时计算:Storm、Spark Streaming、S4、Heron
K-V、NOSQL数据库:HBase、Redis、MongoDB
资源管理:YARN、Mesos
日志收集:Flume、Scribe、Logstash、Kibana
消息系统:Kafka、StormMQ、ZeroMQ、RabbitMQ
查询分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式协调服务:Zookeeper
集群管理与监控:Ambari、Ganglia、Nagios、Cloudera Manager
数据挖掘、机器学习:Mahout、Spark MLLib
数据同步:Sqoop
任务调度:Oozie
眼花缭乱的上面就有30多种吧,别说精通了,全部都会使用的,估计也没几个。
就我个人而言,主要经验是在第1个方向( 开发/设计/架构)
入职了大半年后,经常加班,虽然累但学起来很快,不久就把大数据的相关组件,hadoop,hive,oozie ,shell,s
Original: https://blog.csdn.net/m0_57290404/article/details/125726963
Author: 测试小扎
Title: 大数据开发写sql写烦了,要不要转?
原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/818090/
转载文章受原作者版权保护。转载请注明原作者出处!