大数据工程师都学什么？大数据工程师主要工作有哪些？

大数据工程师都学什么？大数据工程师主要工作有哪些？信息化时代，掌握大数据技术能让你更快的了解人们的需求，从而定制相应的计划，开拓自己的市场。许多人可能都会这样的疑惑：大数据能学什么？需要掌握哪些技能？未来大数据工程师工作前景怎么样？别着急，小编今天就是为了解答大家心中的疑惑而来！下面就一一来介绍一下吧！

 

 

大数据工程师必备技能

Python语言：编写一些脚本时会用到。

Scala语言：编写Spark程序的佳语言，当然也可以选择用Python。

Ozzie，azkaban：定时任务调度的工具。

Hue，Zepplin：图形化任务执行管理，结果查看工具。

Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。

其他工具：Java高级(虚拟机、并发)、Linux 基本操作、Hadoop（HDFS+MapReduce+Yarn ）、 HBase（JavaAPI操作+Phoenix ）、Hive(Hql基本操作和原理理解）、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ） 、辅助小工具(Sqoop/Flume/Oozie/Hue等)

 

 

大数据工程技术人员工作内容

从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。

 

大数据工程技术人员主要工作

1.研究和开发大数据采集、清洗、存储及管理、分析及挖掘、展现及应用等有关技术；

2.研究、应用大数据平台体系架构、技术和标准；

3.设计、开发、集成、测试大数据软硬件系统；

4.大数据采集、清洗、建模与分析；

5.管理、维护并保障大数据系统稳定运行；

6.监控、管理和保障大数据安全；

7.提供大数据的技术咨询和技术服务。

 

 

   大数据人才稀缺

据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。报告表明，数据分析人才的供给指数低，仅为0.05，属于高度稀缺。根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

 

大数据专业就业三大方向

大数据主要的三大就业方向：大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。

 

大数据学校推荐

河北：保定动力工程技术技工学校、承德通达中专学校招生简章、中国轻工机电工程学校、石家庄经济职业学院、石家庄工商职业学院、石家庄市明泽职业中专学校、天津天狮学院（天元大学） 国际乘务创业学院

山东：山东职业技工学校、山东新华电脑学院、潍坊市技师学院