大数据框架hadoop安装以及简介

比眉伴天荒 2023-02-24 03:36 3阅读 0赞

### 介绍: ###

Hadoop实现了一个[分布式文件系统][Link 1](重点)（Hadoop Distributed File System），简称HDFS。HDFS有高[容错性][Link 2]的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问[应用程序][Link 3]的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算

官网:[http://hadoop.apache.org/][http_hadoop.apache.org]

hadoop和大数据 和 spark关系详解:[https://www.zhihu.com/question/23036370][https_www.zhihu.com_question_23036370]

下载链接:[http://mirror.bit.edu.cn/apache/hadoop/common/][http_mirror.bit.edu.cn_apache_hadoop_common]

安装教程:[https://blog.csdn.net/pucao\_cug/article/details/71698903][https_blog.csdn.net_pucao_cug_article_details_71698903]

(修改配置文件需要所有机器都一致)

### hadoop的生态圈 ###

### ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTk0MTQ2_size_16_color_FFFFFF_t_70][] ###

###  优点: ###

### ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTk0MTQ2_size_16_color_FFFFFF_t_70 1][] ###

### 缺点: ###

1、Hadoop不适用于低延迟数据访问。

2、Hadoop不能高效存储大量小文件。

3、Hadoop不支持多用户写入并任意修改文件。

### 最后送上一张大数据技术生态图: ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTk0MTQ2_size_16_color_FFFFFF_t_70 2][]

[Link 1]: https://baike.baidu.com/item/%E5%88%86%E5%B8%83%E5%BC%8F%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9F/1250388
[Link 2]: https://baike.baidu.com/item/%E5%AE%B9%E9%94%99%E6%80%A7/9131391
[Link 3]: https://baike.baidu.com/item/%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F/5985445
[http_hadoop.apache.org]: http://hadoop.apache.org/
[https_www.zhihu.com_question_23036370]: https://www.zhihu.com/question/23036370
[http_mirror.bit.edu.cn_apache_hadoop_common]: http://mirror.bit.edu.cn/apache/hadoop/common/
[https_blog.csdn.net_pucao_cug_article_details_71698903]: https://blog.csdn.net/pucao_cug/article/details/71698903
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTk0MTQ2_size_16_color_FFFFFF_t_70]: /images/20230209/8b77241d770f40df90caad4efbfcfce0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTk0MTQ2_size_16_color_FFFFFF_t_70 1]: /images/20230209/1ee93d1b789241b28fd530c00ded9aec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTk0MTQ2_size_16_color_FFFFFF_t_70 2]: /images/20230209/4c433160219341e690ad8e19da2f2906.png