一.大数据方向工作介绍
二.大数据工程师的技能要求
三.大数据学习路径
一.大数据方向工作介绍
大数据方向的工作目前分为三个主要方向:
01.大数据工程师
02.数据分析师
03.大数据科学家
04.其他(数据挖掘本质算是机器学习,不过和数据相关,也可以理解为大数据的一个方向吧)
二.大数据工程师的技能要求
附上二份比较权威的大数据工程师技能图(图侵删)
总结如下:
必须技能10条:
01.Java高级(虚拟机、并发)
02.Linux 基本操作
03.Hadoop(此处为侠义概念单指HDFS+MapReduce+Yarn )
04.HBase(JavaAPI操作+Phoenix )
05.Hive(Hql基本操作和原理理解)
06.Kafka
07.Storm
08.Scala需要
09.Python
10.Spark (Core+sparksql+Spark streaming )
11.一些小工具(Sqoop等)
高阶技能6条:
11.机器学习算法以及mahout库加MLlib
12.R语言
13.Lambda 架构
14.Kappa架构
15.Kylin
16.Aluxio
在这里还是要推荐下我自己建的大数据学习交流群:199427210,群里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软件开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴加入。
三.学习路径
由于本人是从Java开发通过大概3个月的自学转到大数据开发的。所以我主要分享一下自己的学习路劲。
第一阶段:
01.Linux学习(跟鸟哥学就ok了)
02.Java 高级学习(《深入理解Java虚拟机》、《Java高并发实战》)
第二阶段:
03.Hadoop (董西成的书)
04.HBase(《HBase权威指南》)
05.Hive(《Hive开发指南》)
06.Scala(《快学Scala》)
07.Spark (《Spark 快速大数据分析》)
08.Python (跟着廖雪峰的博客学习就ok了)
第三阶段:
对应技能需求,到网上多搜集一些资料就ok了,我把最重要的事情(要学什么告诉你了),
剩下的就是你去搜集对应的资料学习就ok了
当然如果你觉得自己看书效率太慢,你可以网上搜集一些课程,跟着课程走也OK 。这个完全根据自己情况决定。如果看书效率不高就很网课,相反的话就自己看书。
学习过程中应该避免的错误
在学习新知识的过程中,每个人都会或多或少犯些错误。不要担心,这一点在所难免。但是我们要避免犯一些不该犯的错误。下面我们列出了一些在学习过程中应该避免的错误:
选择太难的问题:如果在学习初期处理得问题太过困难,会让你感到无比煎熬,很容易丧失学习信心。应该根据自己的学习程度选择相应难度的问题,入门初期宜选择简单的任务。这样才能让自己有信心学下去。不要“入门就放弃”。
学习太多的概念:现在网上有很多学习资源,不要贪多,什么都要看一看。选择几个适合自己的资料后专心去学就行了,千万不要杂而不精。
迷失在编程中:以前在你学习Java或其它语言过程中以及工作中,很可能只顾着敲代码就行了。但在数据科学中不是这样,你不再是单纯的开发软件,而是使用软件。所以不要把时间大把花在自己写算法上,有现成的库、包和工具,使劲用就行了。而且像R和Python都有强大的社区支持。简而言之,尽量让自己少写几行代码。
结语
希望本篇指南能帮助有开发背景的朋友顺利转向数据科学领域。总之,要记得提高自己的结构化思维&问题解决能力,多练习,尽可能用学到的知识解决实际问题。
领取专属 10元无门槛券
私享最新 技术干货