etl开发与大数据开发区别（大数据etl和开发的区别）

本篇文章给大家谈谈etl开发与大数据开发区别，以及大数据etl和开发的区别对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、BI，数据仓库，ETL，大数据开发工程师有什么区别
• 2、大数据工程师和大数据分析师的区别
• 3、大数据和软件开发哪个方向好(大数据和软件技术哪个专业好)
• 4、大数据这个方向的入门职业有哪些
• 5、大数据专业和计算机专业有什么区别
• 6、大数据工程师和大数据开发工程师的职能有何区别

BI，数据仓库，ETL，大数据开发工程师有什么区别

准确的来说，商业智能BI不仅仅包含前端可视化分析、报表展现的能力，更包含了底层数据仓库的建设过程。

Gartner 在上世纪九十年代就已经提到了商业智能 Business Intelligence，它更多的认为BI是一种数据类的技术解决方案，将许多来自不同企业业中迟务系统的数据提取有分析价值的数据进行清洗、转换和加载，就是抽取Extraction、转换 Transformation、加载Loading 的ETL过程，最终合并到一个数据仓库中，按照一定的建模方式例如Inmon 的3NF 建模、Kimball 的维度建模或者两者都有的混合式架构模型，最终在这个基础上再利用合适的分析展现工具来形成各种可视化的分析报表为企业的管理决策层提供数据决策支撑。

所以，可以从这里能够看到数据仓库Data Warehouse 的位置是介于可视化报表和底层业务系统数据源之间的这一层，在整个BI项目解决方案中起到的是一个承上启下的作用。所以，BI在前端可视化分析层面要玩出各类精彩的动作，没有数据仓库这个核心力量的支撑是很难做到的。

那大家也会问到，市面上不是有很多直接链接数据源就可以拖拉拽分析的BI工具产品吗，不也卖猛李一样可以做知迅BI分析报表吗？这种独立的、单独的面向前端的BI分析工具，他们更多的定位是部门级和个人级的BI 分析工具，对于深层次的需要复杂数据处理、集成、建模等很多场景是无法解决的。最好的方式就是底层构建一套完整的数据仓库，把很多分析模型标准化，再利用这些前端BI分析工具结合起来，这样才能真正的把前端BI分析能力给释放出来。

很多企业认为只要买一个前端BI分析工具就可以解决企业级的BI所有问题，这个看法实际上也不可行的。可能在最开始分析场景相对简单，对接数据的复杂度不是很高的情况下这类BI分析工具没有问题。但是在企业的BI项目建设有一个特点，是一个螺旋式上升的建设过程。因为对接的业务系统可能会越来越多，分析的深度和广度会越来越多，数据的复杂度也会越来越有挑战性，这个时候没有一个很好的数据仓库架构支撑，光靠前端BI分析工具基本上是无法搞定的。

所以在企业中，我们需要明确我们的BI建设是面向企业级的还是个人和部门的分析工作。如果是个人数据分析师，使用这类前端BI分析工具就足够了。如果是需要构建一个企业级的BI项目，就不能只关注前端可视化分析能力这个层面，更应该关注到底层数据架构的构建，也就是数据仓库这个层面。

[img]

大数据工程师和大数据分析师的区别

大数据开发工程师：更侧重技术层面，主要要求会java和大数据常用框架结束，比如hadoop,hive,hbase,kafka,spark等胡氏段技术

大数据分析师：除了大数据开发所要掌握的技术之外，还要求会常用分析软件（spss,r，mysql）python，机器学习，算法相关内容

综合来看，大数据分析师对学历和专业背裤誉景要求更高，一般要研究生学历，统计学，数学相关专业的朋友，大数据开发工程核空师相对来说门槛要低一些，只要满足大专及以上学历，技术OK就行

大数据和软件开发哪个方向好(大数据和软件技术哪个专业好)

大数据和软件开发，其实准确来说，大数据桐禅也是软件开发当中的一个方向。

软件开发，猜测你指的应该是开发工程师、程序员一类的，从职业范畴来说，大数据开发也涵局春尘盖其中。从就业前景来说的话，大数据是目前比较热门的方向，薪资待遇在程序员群体当中也是拔尖的。

大数据具体来说，还可以细分方向。比如说大数据开发，主要是技术类工作，数据系统平台开发、数据应用开发、ETL开发、系统运维等工作，这方面的工作，现在需求普遍，待遇也好。

还有大数据分析挖掘，尤其是挖掘算法方向，现在也很受重视，尤其是是BAT大公司，数据资源多，这方面的岗位需求也多，待遇超出同级别其森升他很多岗位。

大数据这个方向的入门职业有哪些

大数据行业就业方向和职业：三大方向 ，羡腊碧十大职位兄举

三大方向：

大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。

十大职位：

一、ETL研发；

二、Hadoop开发；

三、可视化（前端展现）工具开发；

四、信息架构开发；

五、数据仓库研究；

六、OLAP开发；

七、数据科学研究；

八、数据预测（数据挖掘）分析；

九、企业数局渣据管理；

十、数据安全研究。

大数据专业和计算机专业有什么区别

一、课程设置不同

1、大数据专业将从大数据应用的三个主要层面（即数据管理、系统开发、海量数据分析与挖掘）系统地帮助企业掌握大数据应用中的各种典型问题的解决办法。

包括实现和分析协同过滤算法、运行和学习分类算法、分布式Hadoop集群的搭建和基准测试、分布式Hbase集群的搭建和基准测试、实现一个基于、Mapreduce的并行算法、部署Hive并实现一个的数据操作等等，实际提升企业解决实际问题的能力。

2、计算机专业：计算机应用基础、应用文写作、数学、英哪指语、德育、电工与电子技术、计算机网络技术、C语言、计算机组装与维修、企业网安全高级技术、企业网综合管理、windows server 2008操作系统。

局域网组建、Linux服务器操作系统、网络设备与网络技术（主要学习思科、华为公司设备的配置、管理、调试）、SQL Server、网络综合布线技术、CAD绘图等。

二、专业定位不同

1、计算机专业是计算机硬件与软件相结合、面向系统、侧重应用的宽口径专业。通过基础教学与专业训练，培养基础知识扎实、知识面宽、工程实践能力强，具有开拓创新意识，在计算机科学与技术领域从事科学研究、教育、开发和应用的高级人才。

2、大数据采集与管理专业是从大数据应用的数据管理、系统开发、海量数据分析与挖掘等层面系统地帮助企业掌握大数据应用中的各种典型问题的解决办法的专业。

三、培养目标芦蔽不同

计算机专业：

1、掌握电子技术和计算机组成与体系结构的基本原理、分析方法和实验技能，能从事计算机硬件系统开发与设计。

2、掌握程序设计语言、算法与数据结构、操作系统以及软件设计方法和工程的基本理论、基本知识与基本技能，具有较强的程序设计能力,能从事系统软件和大型应用软件的开发与研制。

3、掌握并行处理、分布式系统、网络与通信、多媒体信息处理、计算机安全、图形图象处理以及计算机辅助设计等方面的基本理论、分析方法和工程实践技能，具有计算机应用和开发的能力。

4、掌握计算机科学的基本理论，具有从事计算机科学研究的坚实基础。

大数据专业：

1、掌握大数据与Hadoop生态系统。详细介绍分析分布式文件系统HDFS、集群文件系统ClusterFS和NoSQL Database技术的原理与应用；分布式计算框架Mapreduce、分布式数据库HBase、分布式数据仓库Hive。

2、掌握关系型数据库技术。详细介绍关系型数据库的原理，掌握典型企业级数据库的构建、管理、开发及应用。

3、掌握分布式数据处理。详细介绍分析Map/Reduce计算模型和Hadoop Map/Reduce技术的原理与应用。

4、掌握海量数据分析与数据挖掘。详细介绍数据挖掘技术、数据挖掘算法_Minhash, Jaccard and Cosine similarity，TF-IDF数据挖掘算法_聚类算法；以及数据挖掘技术在行业中的具体应用。

扩展资料：

大数据主要的三大就业方向：大数据系统研发类人才、大数据应用开发陪缓州类人才和大数据分析类人才。

十大职位：

一、ETL研发；

二、Hadoop开发；

三、可视化（前端展现）工具开发；

四、信息架构开发；

五、数据仓库研究；

六、OLAP开发；

七、数据科学研究；

八、数据预测（数据挖掘）分析；

九、企业数据管理；

十、数据安全研究。

参考资料：百度百科-大数据专业

百度百科-计算机专业

大数据工程师和大数据开发工程师的职能有何区别

大数据工程师和大数据开发工程师两者之间没有区别。大数据工程师指的就是大数据开发工程师。大数据工程师（即大数据开发工程师）从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加搏祥以利用、管理、维护和服务。

大数据工程师（即大数据开发工程师）的职能如下：

1、大数桐游据采集（爬虫）、大数据清洗（ETL工程师）、大数据建模（算法工程师）与大数据分析（数据分析员）。

2、管理、分析展现及应用等技术（大数据开发工程师）。

3、研究、应用大数据平台体系架构、技术和标准。

4、设计、开发、集成、测试大数据软硬件系统。

5、管理、维护并保障大数据系统稳定运行。

6、监控、管理和保障大数据安全。

7、提供大数据的技术咨询和技术服务。

扩展资料：

大数据工程师（即大数据开发工程师）的技能要求：

1、精通Java技术知识，熟悉Spark、kafka、Hive、HBase、zookeeper、HDFS、MR等应用设计及开发。

2、了解python/shell等脚本局银销语言。

3、熟悉大数据平台架构，对ETL、数据仓库等有一定了解。

4、有数据可视化、数据分析、数学模型建立相关经验者优先考虑。

5、有爬虫系统开发经验者优先。

关于etl开发与大数据开发区别和大数据etl和开发的区别的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。