hadoop本地调试环境配置

浅浅的花香味﹌ 2023-10-18 11:17 3阅读 0赞

windows7，hadoop2.6.5

##### 在Windows 上试MapReduce #####

1.  下载hadoop-<version>.tar.gz (版本随意)  
    三方镜像地址：[http://mirror.bit.edu.cn/apache/hadoop/common/][http_mirror.bit.edu.cn_apache_hadoop_common]
2.  解压
3.  添加环境变量，将Hadoop的bin目录添加到环境变量  
    右键“计算机”-> 高级系统设置 -> 环境变量 -> 新增（用户变量/系统变量都可以） -> HADOOP\_HOME = E:\\Hadoop\\hadoop-2.6.5\\bin（修改为你自己hadoop的存放地址 + \\bin）
4.  下载本地调试必要的依赖文件 winutil.exe 和 hadoop.dll  
    有积分任性下载：[https://download.csdn.net/download/qq\_31772441/10785510][https_download.csdn.net_download_qq_31772441_10785510]  
    pan：链接：[https://pan.baidu.com/s/1sNb8EU0ic0gmBwwWrhVkLw][https_pan.baidu.com_s_1sNb8EU0ic0gmBwwWrhVkLw] 密码：29i7
5.  将 依赖文件解压到 Hadoop的bin目录中
6.  环境搞定
7.  本地调试MapReduce

###### 可能遇到的问题： ######

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

解决：将bin目录下的hadoop.dll 拷贝一份到 C:\\Windows\\System32

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

解决：检查环境变量配置，name一定要为HADOOP\_HOME；如果环境变量没有问题，那么重启IDEA或Eclipse，重新加载环境变量

[http_mirror.bit.edu.cn_apache_hadoop_common]: http://mirror.bit.edu.cn/apache/hadoop/common/
[https_download.csdn.net_download_qq_31772441_10785510]: https://download.csdn.net/download/qq_31772441/10785510
[https_pan.baidu.com_s_1sNb8EU0ic0gmBwwWrhVkLw]: https://pan.baidu.com/s/1sNb8EU0ic0gmBwwWrhVkLw

发表评论取消回复

表情：

评论列表（有 0 条评论，3人围观）

还没有评论，来说两句吧...

相关阅读

相关 hadoop本地调试环境配置

windows7，hadoop2.6.5 在Windows 上试MapReduce 1. 下载hadoop-<version>.tar.gz (版本随意)

浅浅的花香味﹌/ 2023年10月18日 11:17/ 0 赞/ 4 阅读

相关 windows本地机器配置hadoop

windows本地机器配置hadoop–API调用等等 —可以解决部分基于本机API调用时的空指针异常和基于本地的其他hadoop相关的空指针异常的报错问题 1. 下载

雨点打透心脏的1/2处/ 2023年09月29日 09:44/ 0 赞/ 2 阅读

相关本地调试hadoop mapreduce踩坑记录

相信大家踩过无数hadoop的天坑，我只是想在windows上调试下程序为什么这么麻烦呢? hadoop安装能正确安装hadoop是调试程序的关键。。下载

绝地灬酷狼/ 2022年12月04日 01:08/ 0 赞/ 129 阅读

相关 Windows本地配置hadoop运行环境

windows本地配置hadoop运行环境，可以帮助我们更好进行开发或者hadoop学习。本文介绍了如何搭建一个hadooop伪运行环境。一、下载安装包并配置环境变

快来打我*/ 2022年10月02日 13:49/ 0 赞/ 228 阅读

相关本地idea配置kafka源码调试环境

前言最近需要调试kafka源码，所以在本地idea配置一下运行环境，分享一下，给后面的新同学一个参考。环境下面是我用的环境，可以保证正确运行系统：

约定不等于承诺〃/ 2022年09月05日 11:24/ 0 赞/ 233 阅读

相关本地环境 XAMPP+phpStorm+XDebug+chrome 配置和断点调试

安装环境：XAMPP版本号V3.1.0 ;phpStorm版本8.0.3;windowsxp 32bit。 XAMPP、phpStorm 都直接安装在了D盘根目录，9999m

爱被打了一巴掌/ 2022年05月21日 11:11/ 0 赞/ 240 阅读

相关 Hadoop windows本地环境安装

hadoop使用java编写，所以windows安装和java一样也需要配置环境变量。一、下载所需文件 1. JDK下载地址，[jdk1.8下载][jdk1.8] 2.

红太狼/ 2022年05月13日 15:52/ 0 赞/ 319 阅读

相关 eclipse配置本地连接 hadoop

首先下载需要的jar包下载官网网站： [http://archive.cloudera.com/cdh5/cdh/5/][http_archive.cloudera.co

悠悠/ 2022年04月25日 08:36/ 0 赞/ 281 阅读

相关 VSCode配置本地PHP及C/C++调试环境

VSCode加入Php本地调试环境 1. 安装VSCode的system setup版。 2. 下载php。 [https://windows.php.net/][h

╰半橙微兮°/ 2022年03月16日 08:18/ 0 赞/ 284 阅读

相关配置hadoop环境

下载并且安装jdk 下载hadoop 2.2.1 修改主机名在root用户下编辑/etc/sysconfig/network文件命令：vi /etc/

快来打我*/ 2022年03月06日 11:44/ 0 赞/ 250 阅读