linux环境下Hadoop安装

曾经终败给现在 2022-12-11 02:30 254阅读 0赞

# Hadoop安装 #

1.  下载安装VM以及ubuntu
2.  安装JDK
    
        sudo apt-get install openjdk-8-jdk
    
    在/etc/profile中写入环境变量
    
        export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
        export JRE_HOME=$JAVA_HOME/jre
        export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
        export PATH=$JAVA_HOME/lib:$JRE_HOME/lib:$PATH

3.下载hadoop

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.4/hadoop-3.1.4.tar.gz

解压

tar -zxf hadoop-3.1.4.tar.gz

4.安装软件ssh

sudo apt-get install ssh
    ssh localhost

如果没有密码就无法SSH到本地主机，请执行以下命令：

ssh-keygen -t rsa -P ' ' -f ~/.ssh/id_rsa
    
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    
    chmod 0600 ~/.ssh/authorized_keys

5.配置hadoop

在hadoop-3.1.4/etc/Hadoop/Hadoop-env.sh中添加

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

6.实现伪分布式

在hadoop-3.1.4/etc/Hadoop/core-site.xml中添加

<configuration>
    	<property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>

在hadoop-3.1.4/etc/Hadoop/hdfs-site.xml中添加

<configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>

7.配置完成后，执行格式化：

bin/hdfs namenode -format
    sbin/start-dfs.sh

7.配置完成后，执行格式化：

bin/hdfs namenode -format  
sbin/start-dfs.sh

8.输入jps检查配置

发表评论取消回复

表情：

评论列表（有 0 条评论，254人围观）

还没有评论，来说两句吧...

相关阅读

相关 linux环境下java环境安装

参考文章：https://blog.csdn.net/u010993514/article/details/82926514 https://yq.aliyun.com/a

梦里梦外;/ 2023年10月09日 09:41/ 0 赞/ 37 阅读

相关 Linux环境下Hadoop开发环境的安装

@\[TOC\]实验内容 \1）JAVA jdk8.0环境安装与配置； \\2）SSH环境安装与配置 \\\3）Hadoop伪分布式模式安装与配置一、实验过程

Love The Way You Lie/ 2023年07月24日 09:24/ 0 赞/ 13 阅读

相关 linux环境下Hadoop安装

Hadoop安装 1. 下载安装VM以及ubuntu 2. 安装JDK sudo apt-get install openjdk-8-jdk

曾经终败给现在/ 2022年12月11日 02:30/ 0 赞/ 255 阅读

相关 hadoop java linux_Hadoop在Linux环境下的配置

写在前面：在这之前需要有自己的Linux环境，了解常用的Linux命令。并且已经配置好了java环境，什么叫配置好呢，就是 echo $\{JAVA\_HOME\} 命令是

谁借莪１个温暖的怀抱￠/ 2022年11月09日 12:45/ 0 赞/ 180 阅读

相关 linux安装Hadoop-单机环境

如今大数据各种火，看看各种招聘网址，大数据、数据挖掘起薪20W啊，各种诱惑，所以，自己也学学大数据相关。具体大数据什么，能做什么，发展史等等，我在这里就不描述了，网上一大堆

小灰灰/ 2022年08月07日 06:50/ 0 赞/ 268 阅读

相关 Linux下安装hadoop

1、安装Linux、JDK 2、配置主机名 3、安装目录：/root/hadoop 安装： 1、解压 : tar -zxvf hadoop-2.4.

柔情只为你懂/ 2022年05月26日 01:18/ 0 赞/ 248 阅读

相关 Windows环境下hadoop安装和配置

第一步：下载文件 1.hadoop各种版本下载：[https://archive.apache.org/dist/hadoop/common/][https_archive.

Myth丶恋晨/ 2022年03月26日 10:22/ 0 赞/ 277 阅读

相关 windosw下安装spark-bin-hadoop环境

spark安装-windows安装下载spark-1.3.1-bin-hadoop2.6.tgz 下载地址： [https://download.csdn.net

梦里梦外;/ 2022年02月27日 07:08/ 0 赞/ 235 阅读

相关 Linux环境Hadoop安装配置

Linux环境Hadoop安装配置 1. 准备工作 (1)linux配置IP(NAT模式) 相关信息必须与VMnet8保持一致通过命令：vi /

曾经终败给现在/ 2022年01月18日 23:05/ 0 赞/ 316 阅读

相关 Hadoop环境下安装zkdash

zkdash是web端管理zookeeper的工具，使用起来非常方便，这篇博客主要介绍如何在Hadoop环境下安装zkdash。一、安装Python

叁歲伎倆/ 2021年09月15日 00:08/ 0 赞/ 352 阅读