轻松入门大数据第3章入门到进阶：系统玩转分布式文件系统HDFS 3.1 Hadoop之HDFS 3.1.10 HDFS核心配置文件及免密码登录

野性酷女 2024-03-22 16:13 4阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第3章 入门到进阶：系统玩转分布式文件系统HDFS
         *   *  3.1 Hadoop之HDFS
             *   *  3.1.10 HDFS核心配置文件及免密码登录

![在这里插入图片描述][bbe4e9462f6448b6935dc56f2d451b9c.png_pic_center]

#### 第3章 入门到进阶：系统玩转分布式文件系统HDFS ####

##### 3.1 Hadoop之HDFS #####

> 1.  初识HDFS
> 2.  HDFS假设和目标
> 3.  HDFS架构
> 4.  文件系统命名空间
> 5.  副本
> 6.  HDFS优缺点
> 7.  单节点HDFS部署
> 8.  HDFS命令行使用
> 9.  HDFS Java API使用
> 10. HDFS读写数据流程
> 11. 工作机制
> 12. 安全模式

###### 3.1.10 HDFS核心配置文件及免密码登录 ######

[https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html][https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-common_SingleCluster.html]

![在这里插入图片描述][445e1401b53c45ae8becee449b1b7732.png_pic_center]

这是单节点部署的配置文档。

【前置软件要求】

Linux 所需的软件包括：

1.  必须安装 Java™。推荐的 Java 版本在HadoopJavaVersions中描述。
2.  如果要使用可选的启动和停止脚本，则必须安装 ssh 并且必须运行 sshd 才能使用管理远程 Hadoop 守护程序的 Hadoop 脚本。此外，建议还安装 pdsh 以更好地管理 ssh 资源。

![在这里插入图片描述][343da9b80cd749ef8665c9f6c06fd41d.png_pic_center]

先把JDK 装一下吧

先下载一个Linux 版本的甩上去[https://www.oracle.com/sg/java/technologies/downloads/\#license-lightbox][https_www.oracle.com_sg_java_technologies_downloads_license-lightbox]

![在这里插入图片描述][db47ed1d7ae54d3ca4f3bbda1baab396.png_pic_center]

![在这里插入图片描述][8647318f7ee24fa797128c5bc237cace.png_pic_center]

![在这里插入图片描述][71205402818d4c82be60f4cf4b6ef757.png_pic_center]

甩到服务器中

![在这里插入图片描述][bb22736b24e04d35a29fcb6e5fc4e104.png_pic_center]

直接解压，配置一下环境变量

`tar -zxvf jdk-8u371-linux-x64.tar.gz -C ~/app/`

![在这里插入图片描述][8447fd87cd5a4eec956e06d746ba2e00.png_pic_center]

配置环境变量

`vim /etc/profile`

export JAVA_HOME=/home/hadoop/app/jdk1.8.0_371
    export PATH=$PATH:$JAVA_HOME/bin

![在这里插入图片描述][87d2e7fb22644c979e522178b593ff40.png_pic_center]

`source /etc/profile`

![在这里插入图片描述][0f81db11f22c4201b1c1aa756183f259.png_pic_center]

![在这里插入图片描述][aac5db734433451a85d2df092001ae36.png_pic_center]

OK， 修改Hadoop 配置文件

![在这里插入图片描述][62bbe855ef574dc4a5c5351968f078f0.png_pic_center]

![在这里插入图片描述][16390defc1224149805f3ff068be2fa0.png_pic_center]

配置：
    	etc/hadoop/hadoop-env.sh
    		JAVA_HOME=/home/hadoop/app/jdk1.8.0_371/

![在这里插入图片描述][7cc6ab4dcf2f464e837bbdd0441a1eff.png_pic_center]

配这个前，先修改一下主机名，和老师一致，`hadoop000`

![在这里插入图片描述][dd31a61cb71c4d5f82cba13414a36563.png_pic_center]

然后切回hadoop 用户一下

![在这里插入图片描述][d060ac9786904622ba4c75c2774c3b07.png_pic_center]

![在这里插入图片描述][1b2e4e7c40cd400eb8670460d137174e.png_pic_center]

![在这里插入图片描述][4fed6df2146941b383c1c15939aaac97.png_pic_center]

etc/hadoop/core-site.xml
    		<property>
    	        <name>fs.defaultFS</name>
    	        <value>hdfs://hadoop000:8020</value>
    	    </property>
    
    		<property>
    			<name>hadoop.tmp.dir</name>
    			<value>/home/hadoop/app/tmp/dfs332</value>
    		</property>

下一个

![在这里插入图片描述][d375de6404234c9493a6cc521d68bc9d.png_pic_center]

etc/hadoop/hdfs-site.xml
    		<property>
    	        <name>dfs.replication</name>
    	        <value>1</value>
    	    </property>

这是配置副本系数为1

![在这里插入图片描述][30e1bc7110ae42f99606b505d78fd829.png_pic_center]

配置免密登录

免密码登陆
    		cd ~
    		rm -rf .ssh
    
    		ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    		cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    		chmod 0600 ~/.ssh/authorized_keys

![在这里插入图片描述][33f69699ff4142389d279323c5cbcd18.png_pic_center]

测试一下，`ssh hadoop000`

![在这里插入图片描述][35d8204f2cf14f369a505877a6d93300.png_pic_center]

没问题。

还有一个东西

![在这里插入图片描述][a980c57db9574ada98264af93ccccb34.png_pic_center]

它默认是localhost，我们改成主机名

![在这里插入图片描述][73ffbfb7e88a493daeb0d02cfdad239b.png_pic_center]

![在这里插入图片描述][dfe2bbd617804fdbab6c465c8bab1cc2.png_pic_center]

这样就基本配置完成了

[bbe4e9462f6448b6935dc56f2d451b9c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/14e93146391b476e92aef9daf7dadc22.png
[https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-common_SingleCluster.html]: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
[445e1401b53c45ae8becee449b1b7732.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/2c1caaeed3fc403e8dcd72a7621730e2.png
[343da9b80cd749ef8665c9f6c06fd41d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/f4c695c5c84f43699bf94c0a2928c7b7.png
[https_www.oracle.com_sg_java_technologies_downloads_license-lightbox]: https://www.oracle.com/sg/java/technologies/downloads/#license-lightbox
[db47ed1d7ae54d3ca4f3bbda1baab396.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/d9a1913c3fba46b0a689f626c7bfa3a7.png
[8647318f7ee24fa797128c5bc237cace.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/1550e853d1524b5cbe60c3a0f152f0fc.png
[71205402818d4c82be60f4cf4b6ef757.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/543a45d1a20444ea982984f14f057b15.png
[bb22736b24e04d35a29fcb6e5fc4e104.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/5e8c26d7df324341adb262435b73ad93.png
[8447fd87cd5a4eec956e06d746ba2e00.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/003eaafba4a3444695ce010469eff66a.png
[87d2e7fb22644c979e522178b593ff40.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/23c94c735e2c43a88bd22112852b14a5.png
[0f81db11f22c4201b1c1aa756183f259.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/0b764ecf9c97430da51e8a287c5758de.png
[aac5db734433451a85d2df092001ae36.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/5759f36a5d3d4b61b086baf3e6fa48b9.png
[62bbe855ef574dc4a5c5351968f078f0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/5d4e1cc84b4b41098713899fdbb36d8d.png
[16390defc1224149805f3ff068be2fa0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/a83f144d3b284fa6beb205d8b05a3368.png
[7cc6ab4dcf2f464e837bbdd0441a1eff.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/452876aaded14b46b892f157ec08373b.png
[dd31a61cb71c4d5f82cba13414a36563.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/441e31e08cc84d53a661913588e1d30d.png
[d060ac9786904622ba4c75c2774c3b07.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/aea070e7a40d40ae9e2f36ca86f43052.png
[1b2e4e7c40cd400eb8670460d137174e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/27890bc1405148509e11e6c96f022304.png
[4fed6df2146941b383c1c15939aaac97.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/72e3efa3e8bf4068953b3d06af9ccac7.png
[d375de6404234c9493a6cc521d68bc9d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/ed5057884eda4348a8c90b615cfd9ae0.png
[30e1bc7110ae42f99606b505d78fd829.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/5ed5863c9d8744359af51f3e783bffa2.png
[33f69699ff4142389d279323c5cbcd18.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/13f031c219b34bafaab57d44661cc222.png
[35d8204f2cf14f369a505877a6d93300.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/58871ad9d18c4aea9bb781763ec97744.png
[a980c57db9574ada98264af93ccccb34.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/9b3cc265c1e84c54bc00386517ca3150.png
[73ffbfb7e88a493daeb0d02cfdad239b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/bd33fb2d8de24166852ef13e1d676464.png
[dfe2bbd617804fdbab6c465c8bab1cc2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/2338f0ae44e344d1873f5321b04c4f42.png