HDFS基本命令

你的名字 2023-10-01 10:51 6阅读 0赞

#### 1.具体操作过程如下： ####

#### 第一步：搭建3个节点 ####

#### 启动hadoop1虚拟机，配置IP地址，使用CRT连接上； ####

#### 启动hadoop2虚拟机，配置IP地址。 ####

#### （如果自己搭建了第3个hadoop3也启动起来） ####

#### 第二步：启动Hadoop集群 ####

#### 打开连接工具xshell或者CRT，连接hadoop1节点，进入hadoop启动文件夹中，启动集群。 ####

根据自己的Hadoop路径到sbin目录下：

cd /usr/local/hadoop-2.7.4/sbin

启动集群

./start-all.sh

#### 第三步：校验启动是否成功 ####

3个节点都使用jps查询：

hadoop1节点有：**jps、namenode、secondarynamenode、resourcemanager**

hadoop2节点有：**jps、datanode、nodemanager**

hadoop3节点有：**jps、datanode、nodemanager**（如果启动了hadoop3）

#### 第四步：练习HDFS基本操作 ####

1.  使用浏览器查看HDFS存储信息：输入自己的虚拟机IP地址

http://ip:50070

在任意目录下执行以下命令都可以

1.  新建文件夹
    
        hdfs dfs -mkdir /user
        hdfs dfs -mkdir /user/dfstest
2.  上传文件 （推荐使用下面的第一个）

**直接上传到hdfs的目录下**

hdfs dfs -copyFromLocal a.txt /user/dfstest/

**上传并更改文件名**

hdfs dfs -moveFromLocal a.txt /user/dfstest/b.txt

hdfs dfs -put a.txt /user/dfstest/c.txt

1.  下载文件

hdfs dfs -copyToLocal /user/dfstest/b.txt .

hdfs dfs -get /user/dfstest/c.txt .

1.  查看文件

hdfs dfs -cat /user/dfstest/a.txt

hdfs dfs -tail /user/dfstest/b.txt

hdfs dfs -text /user/dfstest/c.txt

1.  删除文件

hdfs dfs -rm /user/dfstest/c.txt

hdfs dfs -rmdir /user/dfstest

hadoop dfs –rm /user/..

#### 第五步：上传demo.txt文件至HDFS中 ####

1.  上传demo.txt文件至Linux

**这里采用rz直接上传到Linux上**

1.  新建目录
2.  上传demo.txt文件至HDFS
3.  查看文件是否上传成功
4.  查看文件前10行内容

hdfs dfs -cat /user/AccessCount/part-r-00000 | head -10

## 最后运行jar包试试 ##

hadoop jar dailyAccessCount.jar /user/root/demo.txt /user/AccessCount

发表评论取消回复

表情：

评论列表（有 0 条评论，6人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS - 命令

edits文件转为xml文件 hdfs oev XML -i /home/hadoop/data/hadoopdata/name/current/edits_...

秒速五厘米/ 2024年04月17日 20:42/ 0 赞/ 69 阅读

相关 HDFS基本命令

1.具体操作过程如下：第一步：搭建3个节点启动hadoop1虚拟机，配置IP地址，使用CRT连接上；启动hadoop2虚拟机，配置IP地址。（

你的名字/ 2023年10月01日 10:51/ 0 赞/ 7 阅读

相关 Windows10下HDFS基本命令介绍与使用

> 《Hadoop 最官方命令介绍-Hadoop-2.8.5》 > 传送门： [https://hadoop.apache.org/docs/r2.8.5/hadoop-p

╰半橙微兮°/ 2023年03月13日 11:54/ 0 赞/ 51 阅读

相关 HDFS命令：hdfs dfs

0.帮助命令 hdfs dfs -help hdfs dfs -help put 1.建立一个账号目录 -mkdir -p hdfs dfs -mkdir -

一时失言乱红尘/ 2023年03月01日 11:53/ 0 赞/ 8 阅读

相关 hdfs命令

ctrl+L清屏 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4

以你之姓@/ 2023年02月22日 08:11/ 0 赞/ 6 阅读

相关 HDFS基本操作

基本操作增在/目录下创建一个test1文件夹 hadoop fs -mkdir /test1 在Hadoop中的test1文件夹中创建一

た入场券/ 2022年10月01日 06:49/ 0 赞/ 224 阅读

相关 HDFS基本命令

HDFS常用命令：注：以下执行命令均在spark安装目录的bin目录下。 path 为路径 src为文件路径 dist 为文件夹 1、-help\[cmd\] 显

偏执的太偏执、/ 2022年07月15日 11:10/ 0 赞/ 263 阅读

相关 hdfs dfs 基本命令

1、创建文件夹 hdfs dfs -makir /data/demo/data/count 2、给文件夹中放置文件 hdfs dfs -put /data

分手后的思念是犯贱/ 2022年07月15日 11:07/ 0 赞/ 274 阅读

相关 hdfs dfs 基本命令

1、创建文件夹 hdfs dfs -makir /data/demo/data/count 2、给文件夹中放置文件 hdfs dfs -put /data

淩亂°似流年/ 2022年04月11日 08:56/ 0 赞/ 737 阅读

相关 hadoop(二)、HDFS基本命令的使用

hadoop fs -ls \[hdfs目录\] 显示当前目录结构，-ls -R 递归显示目录结构 hadoop fs -put \[文件\] \[hdfs目录\] 从本地加

叁歲伎倆/ 2022年03月14日 13:20/ 0 赞/ 196 阅读