大数据工程师都学什么？大数据工程师主要工作有哪些？

已阅[5790]次 [2019-04-27]

大数据工程师都学什么？大数据工程师主要工作有哪些？信息化时代，掌握大数据技术能让你更快的了解人们的需求，从而定制相应的计划，开拓自己的市场。许多人可能都会这样的疑惑：大数据能学什么？需要掌握哪些技能？未来大数据工程师工作前景怎么样？别着急，小编今天就是为了解答大家心中的疑惑而来！下面就一一来介绍一下吧！

大数据工程师都学什么？大数据工程师主要工作有哪些？

大数据工程师必备技能

Python语言：编写一些脚本时会用到。

Scala语言：编写Spark程序的佳语言，当然也可以选择用Python。

Ozzie，azkaban：定时任务调度的工具。

Hue，Zepplin：图形化任务执行管理，结果查看工具。

Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。

其他工具：Java高级(虚拟机、并发)、Linux 基本操作、Hadoop（HDFS+MapReduce+Yarn ）、 HBase（JavaAPI操作+Phoenix ）、Hive(Hql基本操作和原理理解）、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ）、辅助小工具(Sqoop/Flume/Oozie/Hue等)

大数据工程师都学什么？大数据工程师主要工作有哪些？

大数据工程技术人员工作内容

从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。

大数据工程技术人员主要工作

1.研究和开发大数据采集、清洗、存储及管理、分析及挖掘、展现及应用等有关技术；

2.研究、应用大数据平台体系架构、技术和标准；

3.设计、开发、集成、测试大数据软硬件系统；

4.大数据采集、清洗、建模与分析；

5.管理、维护并保障大数据系统稳定运行；

6.监控、管理和保障大数据安全；

7.提供大数据的技术咨询和技术服务。

大数据人才稀缺

据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。报告表明，数据分析人才的供给指数低，仅为0.05，属于高度稀缺。根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。