大数据开发和软件开发哪个前景好？

淩亂°似流年 2024-04-03 07:22 81阅读 0赞

大数据开发学习有难度，零基础入门要先学习Java语言打基础，然后进入大数据技术体系的学习，Hadoop、Spark、Storm等知识。软件开发工程师根据不同的学科从事的岗位也千差万别。

![d95be624354d64233835f1a5328c6149.jpeg][]

先说说大数据开发岗位和就业的前景，大数据开发岗位对于code能力、工程能力有要求，编程能力、语言表达能力、解决问题的能力。大数据开发会涉及到大量的开源的东西，而开源坑比较多，需要能够快速的定位问题解决问题，如果是零基础适合有一定的开发基础，然后对于新东西能够快速掌握。

大数据分析类的职位，在业务上，需要对业务能够快速的了解、理解、掌握，通过数据感知业务的变化，通过对数据的分析来做业务的决策，在技术上需要有一定的数据处理能力，比如一些脚本的使用、sql数据库的查询，execl、sas、R等工具的使用等等。在工具层面上，变动的范围比较少，主要还是业务的理解能力。

非理工科出身编程能力较差，但是对业务的理解能力还可以的话，其实是可以选择数据分析类的；从薪酬上看，开发类的薪酬会略大与数据分析类，由于岗位成本造成的，当然这只是一般情况下，任何领域的高端人才都是值钱。

数据开发是基础，数据分析师生化是对于开发的数据进行一定的研究和分析，然后得出数据背后的整体的现象和潜在的商业机遇，对于我们的整体的生活也是各有利弊。

**大数据开发是IT职业中的软件开发工程师是“大熊猫”，**大数据工程师的收入可超过同类型的岗位。在一二线城市，大数据开发的薪资基本上是10K+；拥有3-5年技术经验的人才可达到40K+。拥有3-5年技术经验的人才薪资可达到30K，从薪酬上看，一般情况下，开发类的薪酬会略高于与数据分析类的，这是由于岗位成本造成的。其实，任何领域的实战经验丰富的人才都是值钱。

学大数据基础包含涵盖大数据体系中的技术点，包括但不限于Linux、Zookeeper、Hadoop、Yam、Redis、HDFS、MapReduce、Hive、lmpala、Hue、Oozie、Storm、Kafka、Spark、Soark RDD、Spark SQL、Soark Streaming、Sqoop、Flume、CDH、Scala、Hbase、Flink、机器学习等，将离线数据分析、实时数据分析和内存数据计算中的技术点全面覆盖。

**学大数据需要具备的基础：**

**1、Linux**  
大数据相关软件都在Linux上运行，学好Linux快速掌握大数据相关技术会有很大的帮助，更好理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，少踩坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。

**2、Hadoop**  
大数据代名词，Hadoop包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，有个特点就是不管多大的数据只要给时间就能把数据跑完，但时间可能不是很快所以叫数据的批处理。

**3、Zookeeper**  
安装Hadoop的HA的时候就会用，Hbase也会用到。用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用的软件对有依赖，对于我们个人来讲只需要把安装正确，让正常的run起来就可以了。

**4、Mysql**  
学习完大数据的处理，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那？你能在Linux上把安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。

**5、Sqoop**  
把Mysql里的数据导入到Hadoop里。直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

**6、Hive**  
这个东西对于会SQL语法的来说就是神器，能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那？和Pig差不多掌握一个就可以了。

**7、Oozie**  
管理Hive或者MapReduce、Spark脚本，还能检查程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。

[2022新版黑马程序员MySQL知识精讲+mysql实战案例\_零基础mysql数据库入门到高级全套教程\_哔哩哔哩\_bilibili][2022_MySQL_mysql_mysql_bilibili]

[黑马程序员大数据项目实战教程\_大数据企业级离线数据仓库，在线教育项目实战（Hive数仓项目完整流程）\_哔哩哔哩\_bilibili][Hive_bilibili]

[2022新版黑马程序员python教程，8天python从入门到精通，学python看这套就够了\_哔哩哔哩\_bilibili][2022_python_8_python_python_bilibili]

[黑马程序员Python高级语法进阶教程\_python多任务及网络编程，从零搭建网站全套教程\_哔哩哔哩\_bilibili][Python_python_bilibili]

[黑马程序员Spark全套视频教程，4天spark3.2快速入门到精通，基于Python语言的spark教程\_哔哩哔哩\_bilibili][Spark_4_spark3.2_Python_spark_bilibili]

[2022新版黑马程序员大数据Hadoop入门视频教程，适合零基础自学的大数据Hadoop教程\_哔哩哔哩\_bilibili][2022_Hadoop_Hadoop_bilibili]

[d95be624354d64233835f1a5328c6149.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/b8ec15d6f0924781bfb164e93705226f.jpeg
[2022_MySQL_mysql_mysql_bilibili]: https://www.bilibili.com/video/BV1iF411z7Pu/
[Hive_bilibili]: https://www.bilibili.com/video/BV1ef4y1B7KX/
[2022_python_8_python_python_bilibili]: https://www.bilibili.com/video/BV1qW4y1a7fU/
[Python_python_bilibili]: https://www.bilibili.com/video/BV1Ex411x7Xn/
[Spark_4_spark3.2_Python_spark_bilibili]: https://www.bilibili.com/video/BV1Jq4y1z7VP/
[2022_Hadoop_Hadoop_bilibili]: https://www.bilibili.com/video/BV1CU4y1N7Sh/