Hadoop(一)-hadoop安装

末蓝、 2023-01-19 03:24 6阅读 0赞

**1.下载二进制安装包**  
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz  
**2.下载后解压**  
tar -zxvf hadoop-2.10.1.tar.gz  
**3.配置JDK和Hadoop环境变量**  
vi /etc/profile,新增以下:

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64
    export PATH=$PATH:$JAVA_HOME/bin
    export HADOOP_HOME=/home/hadoop-2.10.1
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin

source /etc/profile  
**4.启动hadoop**  
**4.1默认情况下，hadoop使用的是Standalone独立模式，可以直接使用例子进行测试:**

mkdir input
    cp etc/hadoop/*.xml input
    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep input output 'dfs[a-z.]+'
    cat output/*

**4.2伪分布模式**  
修改的配置文件和分布式模式一样，只是配置是单节点的  
配置HDFS和副本数  
vi etc/hadoop/core-site.xml

<configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>

**4.3启动Hadoop**  
**先格式化一下hdfs，第一次安装可以使用**  
bin/hdfs namenode -format  
**启动namenode和datanode**  
sbin/hadoop-daemon.sh start namenode  
sbin/hadoop-daemon.sh start datanode  
**4.4访问hadoop web**  
http://192.168.1.166:50070/dfshealth.html\#tab-overview  
**4.5尝试往HDFS上传文件**  
**创建文件夹**  
bin/hdfs dfs -mkdir -p /user/test  
**上传文件**  
bin/hdfs dfs -put haha.txt /user/test  
**查看上传的文件**  
bin/hadoop dfs -cat /user/test/haha.txt

发表评论取消回复

表情：

评论列表（有 0 条评论，6人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop安装 --- 简易安装Hadoop

目录 1、使用xftp工具在opt目录下创建install和soft文件 2、使用xftp工具将压缩包上传到install文件 3、编写shell脚本 3.1、创建

系统管理员/ 2024年03月27日 16:08/ 0 赞/ 78 阅读

相关 Hadoop安装(二) --- Hadoop安装

目录修改hadoop313的权限更改配置文件配置core-site.xml 配置hadoop-env.sh 配置hdfs-site.xml 配置mapred

阳光穿透心脏的1/2处/ 2024年03月27日 13:14/ 0 赞/ 84 阅读

相关 Hadoop安装(一) --- JDK安装

目录 1.安装虚拟机 2.关防火墙 3.修改网络配置文件 4.重启网络服务 5.连接shell 6.安装vim工具 7.免密登陆 8. 开启远程免密登录配置

「爱情、让人受尽委屈。」/ 2024年03月27日 13:04/ 0 赞/ 52 阅读

相关 Hadoop之Hadoop安装

Hadoop安装序操作系统环境准备时钟同步（root账户）配置主机名关

曾经终败给现在/ 2023年07月12日 05:08/ 0 赞/ 19 阅读

相关 Hadoop(一)-hadoop安装

1.下载二进制安装包 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.10.1/hadoop-2.

末蓝、/ 2023年01月19日 03:24/ 0 赞/ 7 阅读

相关 Hadoop学习笔记（一）Hadoop的单节点安装

要想深入学习Hadoop分布式文件系统，首先需要搭建Hadoop的实验环境，Hadoop有两种安装模式，即单节点集群模式安装（也称为伪分布式）和完全分布式模式安装，本节只介绍单

- 日理万妓/ 2022年08月14日 05:46/ 0 赞/ 213 阅读

相关 hadoop学习（一）---hadoop简介

Hadoop 简介前言：人产生数据的速度越来越快，机器则更加快，more data usually beats better algorithms，所以需

骑猪看日落/ 2022年05月18日 10:18/ 0 赞/ 247 阅读

相关 Hadoop系列(一): Hadoop的伪分布式安装

在进行Hadoop的伪分布式安装之前，我们首先对Hadoop的一些基础的要点进行一下说明。关于Hadoop的详细概念，我们可以在搜狗百科上找到很详细的答案。 [https:/

「爱情、让人受尽委屈。」/ 2022年04月22日 09:10/ 0 赞/ 336 阅读

相关 Hadoop详解（一）：Hadoop简介

1. Hadoop 起源 1.1 Hadoop的身世首先我们介绍一下Nutch的发展情况，Nutch是一个以Lucene为基础实现的搜索引擎系统，Lucene为N

Myth丶恋晨/ 2022年03月24日 20:14/ 0 赞/ 652 阅读

相关 hadoop系列——linux hadoop安装

一、安装模式 1.单机版本 2.伪分布式 3.完全分布式二、安装过程 1.java jdk 安装 ![20200521092433791.png][] 2.ha

梦里梦外;/ 2021年09月21日 07:46/ 0 赞/ 417 阅读