eclipse配置本地连接 hadoop

悠悠 2022-04-25 08:36 280阅读 0赞

首先下载需要的jar包  
下载官网网站： [http://archive.cloudera.com/cdh5/cdh/5/][http_archive.cloudera.com_cdh5_cdh_5] 下载jar包tz  
下载hadoop所需要的jar包，后缀加上.tar.gz即可下载  
[http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.3.tar.gz][http_archive.cloudera.com_cdh5_cdh_5_hadoop-2.6.0-cdh5.9.3.tar.gz] 即可下载  
下载 hadoop-eclipse-plugin-2.6.0.jar  
提取码 mqu9  
[https://pan.baidu.com/s/19tsObCwrWl4if1CedFiBGA][https_pan.baidu.com_s_19tsObCwrWl4if1CedFiBGA]  
提取码 mqu9  
![在这里插入图片描述][20190530142405559.png]

1.  将hadoop-2.6.0-cdh5.9.3/tar.gz进行解压 放到某盘的目录下
2.  将网盘下载的这两个文件拖到 hadoop-2.6.0/bin 的目录下  
    ![在这里插入图片描述][20190530142620820.png]
3.  配置hadoop环境 在桌面此电脑——》 属性 ——》高级系统设置——》环境变量  
    新建一个配置hadoop环境  
    ![在这里插入图片描述][20190530193624328.png]
4.  在path下设置 bin 和sbin  
    ![在这里插入图片描述][20190530193701325.jpeg]
5.  设置完以后在cmd窗口 输入 hadoop vesion 查看是否配置成功  
    ![在这里插入图片描述][20190530194322817.png]
6.  在桌面找到eclipse点击属性打开文件所在的位置，将hadoop-eclipse-plugin-2.6.0.jar 拖到plugins 中
7.  打开eclipse ——打开window —preferences ——hadoop Map/Reduce  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70]

8.打开window ——show view ——other  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][20190530194401965.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 2]

9.连接成功以后显示hdfs文件  
![在这里插入图片描述][20190530194419557.png]

10.配置完重启一下机器  
11.有的同学配置设置完以后不显示左边的DFS, 点击 window——》perspective——》——》Open perspective——》点击Map/Reduce 小蓝象  
![在这里插入图片描述][20190530194437660.png]  
即可  
12.**安装配置中遇到的一些问题**  
1）首先在发现错误的时候，先重启eclipse机器或电脑  
2）首先查看环境是否配好，磁盘是否有权限，如果是window7系统，配置环境的时候把path里边用%%括起来  
![在这里插入图片描述][20190530194451249.png]  
3）当运行代码报这个错的时候需要改底层代码org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z  
1.在代码中 ctrl+shift +t 找到 NativeIO 底层代码  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 3]  
2.ctrl+f 找到axxess0 这个类

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][20190530194539755.png]

3.在工程下新建一个与底层代码相同的包，相同的类  
![在这里插入图片描述][20190530200213567.png]  
**还有一个错就是我找了好久才解决的错误**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 6]  
**明明自己有文件，却报找不到文件或目录，后来经过研究才知道是因为权限的问题  
就是在我hadoop-2.6.0这个放文件的磁盘没有权限，解决方案如下：**  
**比如：文件在C盘下发那个的 ： 点开c盘 右键属性**  
![在这里插入图片描述][20190530194557253.png]  
**点开安全 编辑属性 设置为完全控制以后重启eclipse 问题解决了**

[http_archive.cloudera.com_cdh5_cdh_5]: http://archive.cloudera.com/cdh5/cdh/5/
[http_archive.cloudera.com_cdh5_cdh_5_hadoop-2.6.0-cdh5.9.3.tar.gz]: http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.3.tar.gz
[https_pan.baidu.com_s_19tsObCwrWl4if1CedFiBGA]: https://pan.baidu.com/s/19tsObCwrWl4if1CedFiBGA
[20190530142405559.png]: /images/20220125/f2d2d64d104947659326a70d85fbdb34.png
[20190530142620820.png]: /images/20220125/4abcd7bce5f74f5d93e125b55708e0fc.png
[20190530193624328.png]: /images/20220125/3453745282ba451687f454ef110b4f14.png
[20190530193701325.jpeg]: /images/20220125/393a972cd7b04127b76ba512341bd49a.png
[20190530194322817.png]: /images/20220125/3f3f3f9cdcfb4869b7e907ae12b4ff0f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70]: /images/20220125/0d4cdb8b26cd4afaa443a2c2bfc16ad0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 1]: /images/20220125/4456a759da774843bb8a0d7b38653bfa.png
[20190530194401965.png]: /images/20220125/1204db7589084ceeab419cc2f60e6554.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 2]: /images/20220125/5ece89ad8b80484887f280e9aba052a7.png
[20190530194419557.png]: /images/20220125/cae4322a1e6f47a3b27459b997ece76d.png
[20190530194437660.png]: /images/20220125/c5fc3f2dd0044b449f0347356a2a7bb2.png
[20190530194451249.png]: /images/20220125/f0bc524261184564bc7ee44d8855b774.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 3]: /images/20220125/339935ff8303439dadcee49c9c08bacd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 4]: /images/20220125/54d110c2d279417b98959bfa703b5599.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 5]: /images/20220125/b6a694fb80ae4502b3687aeb5879b7b4.png
[20190530194539755.png]: /images/20220125/10d18a27a8c84501bf03bb4053b8dd22.png
[20190530200213567.png]: /images/20220125/b63b65870ca64446ab27d371d6abab08.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNDEyMjg5_size_16_color_FFFFFF_t_70 6]: /images/20220125/aaae01a1b70a4894bab301ea87632f36.png
[20190530194557253.png]: /images/20220125/e8b1ef9ef2f14f2b923471c0ea30e274.png