Hadoop: python操作hdfs

Myth丶恋晨 2023-06-27 12:53 12阅读 0赞

`安装`

pip install hdfs

`api`

from hdfs.client import Client
    
    client = Client("http://hadoop000:50070/",root="/",timeout=10000,session=False)
    
    #　读取打开文件
    def read_hdfs_file(client, filename):
        with client.read(filename, encoding='utf-8', delimiter='\n') as reader:
            for line in reader:
                print(line)
    
    read_hdfs_file(client,"/readme.md")
    read_hdfs_file(client,"/readme2.md")
    
    
    #　追加写入
    client.write(hdfs_path, data, overwrite=False, append=True, encoding='utf-8')
    
    # 覆盖写入
    client.write(hdfs_path, data, overwrite=True, append=False, encoding='utf-8')
    
    
    # 查询目录文件 ls
    client.list(hdfs_path, status=False)
    
    # 创建目录
    client.makedirs(hdfs_path)
    
    # 删除文件
    client.delete(hdfs_path)
    
    # 上传文件
    client.upload(hdfs_path, local_path, cleanup=True)
    
    # hdfs -> 本地
    client.download(hdfs_path, local_path, overwrite=False)
    
    # 移动
    client.rename(hdfs_src_path, hdfs_dst_path)

详细官方文档

https://hdfscli.readthedocs.io/en/latest/api.html\#module-hdfs.client

发表评论取消回复

表情：

评论列表（有 0 条评论，12人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop: python操作hdfs

`安装` pip install hdfs `api` from hdfs.client import Client client =

Myth丶恋晨/ 2023年06月27日 12:53/ 0 赞/ 13 阅读

相关 Python API 操作Hadoop hdfs详解

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/ 友情链接： [高州阳光论坛][Link 2]https://www.hnt

缺乏、安全感/ 2022年12月29日 06:41/ 0 赞/ 213 阅读

相关 python使用hdfs库操作Hadoop的HDFS

此次使用python的hdfs库操作HDFS，首相安装该库：`pip install hdfs` 其次，要保证HDFS可用，如下图就代表可用，当然你列出的文件和我的不同 !

野性酷女/ 2022年11月21日 11:44/ 0 赞/ 537 阅读

相关 hadoop HDFS操作类

不废话，直接看代码： package com.fileSystem.utils; import org.apache.hadoop.con

ゝ一世哀愁。/ 2022年07月12日 06:49/ 0 赞/ 216 阅读

相关 hadoop HDFS操作类

不废话，直接看代码： package com.fileSystem.utils; import org.apache.hadoop.con

今天药忘吃喽~/ 2022年07月12日 06:49/ 0 赞/ 237 阅读

相关 Python API 操作Hadoop hdfs

http://pyhdfs.readthedocs.io/en/latest/ 1：安装由于是windows环境（linux其实也一样），只要有pip或者se

一时失言乱红尘/ 2022年06月05日 06:53/ 0 赞/ 245 阅读

相关 Hadoop HDFS操作

启动HDFS 首先，您必须格式化配置的HDFS文件系统，打开namenode（HDFS服务器），然后执行以下命令。 $ hadoop namenode -for

墨蓝/ 2022年06月02日 04:48/ 0 赞/ 276 阅读

相关 hadoop-hdfs,java操作hdfs

1.创建一个maven项目引入 1.相关的pom依赖: <dependency> <gro

迷南。/ 2022年05月14日 07:20/ 0 赞/ 356 阅读

相关 Hadoop操作HDFS命令

Hadoop操作HDFS命令如下所示： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息

缺乏、安全感/ 2021年12月15日 11:43/ 0 赞/ 381 阅读

相关 Hadoop操作HDFS的相关命令（python）

Hadoop操作HDFS的相关命令（python）本文是基于CentOS 7系统环境，搭建Hadoop集群环境，并在主节点上进行测试 CentOS 7 p

亦凉/ 2021年09月20日 17:36/ 0 赞/ 826 阅读