eclipse连接hadoop 2.6 ha配置

谁借莪１个温暖的怀抱￠ 2022-06-10 09:50 150阅读 0赞

以前都是直接在linux上运行的，昨天配置eclipse连接hadoop，可以正常连接hdfs，但是运行mapreduce的时候就一直有错误，今天终于解决了。我也不知道为什么有这么多错误，我只写我能运行的步骤。

1. 我的hadoop是2.6版本的，就下hadoop-eclipse-plugin-2.6.0.jar，然后放到eclipse插件位置，重启eclipse。

2.在eclipse-window-perspective-open perspective-other,选择map/reduce。

然后在map/reduce Locations中右键选择new hadoop location。

我的hadoop ha配置为：

<property>
      <name>dfs.nameservices</name>
      <value>myha</value>
    </property>
    <property>
      <name>dfs.ha.namenodes.myha</name>
      <value>nn1,nn2</value>
    </property>
    <property>
      <name>dfs.namenode.rpc-address.myha.nn1</name>
      <value>master:8020</value>
    </property>
    <property>
      <name>dfs.namenode.rpc-address.myha.nn2</name>
      <value>node1:8020</value>

![Center][]

master对应192.168.0.110。当然host是有配置的。user name的话我的就是自己计算机用户，我把权限关闭了：

<property>
    	<name>dfs.permissions</name>
    	<value>false</value>
    </property>

这样就可以看到hdfs的内容了。

3.window-perferences-hadoop map/reduce中选择hadoop目录。

hadoop目录就是把linux中的hadoop拉倒本地后的目录，我的是D:/hadoop。

然后下载了hadoop.dll和winutils.exe 64位的包，解压后的文件放到本地hadoop目录的bin目录下。

然后把hadoop.dll放到c:/windows/system32中。配置环境变量Path中加入hadoop目录的bin目录。

4.创建项目之后，把core-site.xml,hdfs-site.xml放到resource文件夹，创建mapreduce就可以运行了

[Center]: /images/20220610/b1d70b4cf9b54df1a491e416086e77ea.png

发表评论取消回复

表情：

评论列表（有 0 条评论，150人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop的HA集群配置详解

集群规划：主机名 IP 安装的软件运行的进程 hadoop01 192.168.60.101 jdk、hadoop Na

待我称王封你为后i/ 2022年12月14日 13:34/ 0 赞/ 158 阅读

相关 eclipse配置连接Hadoop

HDFS的Java API编程配置一、远程开发环境搭建 1.1 解压Hadoop压缩包，配置环境 1.2 配置wi

小灰灰/ 2022年11月09日 06:07/ 0 赞/ 163 阅读

相关 Hadoop HA

Hadoop集群设计部署在通用商用硬件集群上，而不是运行在昂贵的中型大型机以及专有硬件设备上，节约成本的同时，相对低廉的商业级机器也意味着Hadoop集群节点会出现故障宕机

柔光的暖阳◎/ 2022年06月13日 13:46/ 0 赞/ 151 阅读

相关 hadoop配置ha后，hbase配置的变化

hadoop配置完ha后，hbase的配置有一些变化。 hbase-site.xml <property> <name>hbase.ro

Myth丶恋晨/ 2022年06月11日 07:18/ 0 赞/ 194 阅读

相关 hadoop2.6.5 ha配置与yarn ha配置

前提：java，ssh，hosts都配置完了。 master: namenode resourcemanager zookeeper z

小鱼儿/ 2022年06月11日 05:10/ 0 赞/ 189 阅读

相关 eclipse连接hadoop 2.6 ha配置

以前都是直接在linux上运行的，昨天配置eclipse连接hadoop，可以正常连接hdfs，但是运行mapreduce的时候就一直有错误，今天终于解决了。我也

谁借莪１个温暖的怀抱￠/ 2022年06月10日 09:50/ 0 赞/ 151 阅读

相关 eclipse配置本地连接 hadoop

首先下载需要的jar包下载官网网站： [http://archive.cloudera.com/cdh5/cdh/5/][http_archive.cloudera.co

悠悠/ 2022年04月25日 08:36/ 0 赞/ 281 阅读

相关 Hadoop HA + Federation + YARN HA配置实现（九）

集群规划 ![20170328104414639][] 配置步骤一、前提准备 1）安装好Hadoop2.0集群《==参考《HADOOP HA+Federat

Love The Way You Lie/ 2022年04月25日 06:52/ 0 赞/ 272 阅读

相关 Eclipse连接Hadoop

首先打Eclipse，按Window—>Show View—>Other点击 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_t

柔光的暖阳◎/ 2022年04月08日 12:49/ 0 赞/ 195 阅读

相关 Hadoop HA

1、省略部分 jdk、ssh互信、ntpd、hadoop2.7.6下载、zookeeper部署 2、修改文件 [hadoop-env.sh][] [mapred-

水深无声/ 2022年02月13日 09:34/ 0 赞/ 314 阅读