hdfs和yarn常规命令

我不是女神ヾ 2022-05-15 01:43 179阅读 0赞

bin/hdfs dfsadmin -safemode leave   \#让namenode退出安全模式

hadoop dfsadmin -safemode leave \#退出安全模式

hadoop fs -mkdir -p /flowsum/input  建input文件夹

hadoop fs -put flow.data /flowsum/input  数据放入input文件夹里

hadoop fs -ls /flowsum/output  查看处理好的书籍列表‘

hadoop fs -cat /flowsum/output/part-r-00000

hadoop fs -ls hdfs://hadoop-server01:9000/  查看hdfs文件

hadoop fs -ls /   查看hdfs文件

hadoop fs  -mkdir  -p  /aaa/bbb/cc/dd    创建hdfs文件

hadoop fs -moveFromLocal  /home/hadoop/a.txt  /aaa/bbb/cc/dd    \#从本地剪切粘贴到hdfs

hadoop fs -moveToLocal   /aaa/bbb/cc/dd  /home/hadoop/a.txt    \#从hdfs剪切粘贴到本地

hadoop fs  -appendToFile  ./hello.txt  hdfs://hadoop-server01:9000/hello.txt   \#追加一个文件到已经存在的文件末尾

Hadoop fs  -appendToFile  ./hello.txt  /hello.txt

hadoop fs -cat  /hello.txt   \#显示文件内容

hadoop fs  -tail  /weblog/access\_log.1    \#显示一个文件的末尾

hadoop fs  -text  /weblog/access\_log.1   \#以字符形式打印一个文件的内容

hadoop fs  -chmod  666  /hello.txt    \#对文件所属权限

hadoop fs  -chown  someuser:somegrp   /hello.txt    \#对文件所属权限

hadoop fs  -copyFromLocal  ./jdk.tar.gz  /aaa/   \#从本地复制粘贴到hdfs

hadoop fs -copyToLocal /aaa/jdk.tar.gz   \#从hdfs复制粘贴到本地

hadoop fs  -cp  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2   \#从hdfs的一个路径拷贝hdfs的另一个路径

hadoop fs  -mv  /aaa/jdk.tar.gz  /    \#在hdfs目录中移动文件

hadoop fs -get  /aaa/jdk.tar.gz    \#就是从hdfs下载文件到本地

hadoop fs -getmerge /aaa/log.\* ./log.sum   \#合并下载多个文件

hadoop fs -rm -r /aaa/bbb/      \#删除文件或文件夹

hadoop fs  -rmdir   /aaa/bbb/ccc   \#删除空目录

hadoop fs  -df  -h  /   \#统计文件系统的可用空间信息

hadoop fs  -du  -s  -h /aaa/\*   \#统计文件夹的大小信息

hadoop fs -count /aaa/   \#统计一个指定目录下的文件节点数量

hadoop fs -setrep 3 /aaa/jdk.tar.gz   \#设置hdfs中文件的副本数量

yarn application -kill $ApplicationId  \#杀死mapreduce作业

yarn application -list  \#查看mapreduce作业

发表评论取消回复

表情：

评论列表（有 0 条评论，179人围观）

还没有评论，来说两句吧...

相关阅读

相关深入解析Hadoop生态核心组件：HDFS、MapReduce和YARN

HDFS 默认副本数是 3，这是因为 Hadoop 有着高度的容错性，从数据冗余以及分布的角度来看，需要在同一机房不同机柜以及跨数据中心进行数据存储以保证数据最大可用。因...

痛定思痛。/ 2024年04月25日 08:50/ 0 赞/ 48 阅读

相关 Hadoop生态 | HDFS | Yarn | Hive | Hbase

大数据技术的发展并不是偶然的，它的背后是对于成本的考量

妖狐艹你老母/ 2024年04月20日 07:39/ 0 赞/ 40 阅读

相关 HDFS - 命令

edits文件转为xml文件 hdfs oev XML -i /home/hadoop/data/hadoopdata/name/current/edits_...

秒速五厘米/ 2024年04月17日 20:42/ 0 赞/ 37 阅读

相关 yarn 和 npm 常用命令对比

<table> <thead> <tr> <th>Yarn</th> <th>npm</th> <th>作用</th> </tr>

梦里梦外;/ 2022年12月11日 09:24/ 0 赞/ 137 阅读

相关 Linux常规命令操作大全

Linux常用命令大全最近都在和Linux打交道，感觉还不错。我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制，当然，这也是很多人喜欢linux

清疚/ 2022年05月16日 13:45/ 0 赞/ 204 阅读

相关 hdfs和yarn常规命令

bin/hdfs dfsadmin -safemode leave \让namenode退出安全模式 hadoop dfsadmin -safemode leave \退

我不是女神ヾ/ 2022年05月15日 01:43/ 0 赞/ 180 阅读

相关浏览器不能访问yarn，hdfs

1.管理防火墙 service iptables stop 2.关闭selinux setenforce 0 3.关闭宿主机防火墙 4.添加yarn配置信息（yarn

冷不防/ 2022年03月27日 07:55/ 0 赞/ 304 阅读

相关 SparkStreaming读写kerberos HDFS（Yarn Cluster）

yarn Cluster模式也可适用于从集群外部提交（接口机）提交命令 spark-submit的最后一行为args参数，经多次尝试发现yarn cluster模式通

末蓝、/ 2022年01月31日 02:29/ 0 赞/ 165 阅读

相关 gitlab常规维护命令[备份和恢复]

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 维护命令查看状态 sudo gi

亦凉/ 2022年01月16日 00:43/ 0 赞/ 172 阅读

相关 Renode 常规命令和实例命令

Renode 常规命令和实例命令 Renode 有两种类型的命令，一种是常规命令，另一种是通过 C\ 实例导出的命令。常规命令使用 help 命令查看帮助，实例导出命令直

╰半夏微凉°/ 2021年12月11日 02:21/ 0 赞/ 301 阅读