unable to load native-hadoop library,using buildtin-java classes where applicable的解决

电玩女神 2023-07-18 02:19 1阅读 0赞

安装hadoop启动之后总有警告：  
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

![format_png][]

问题示例

原因：  
Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。  
1 首先找到对应自己hadoop版本的64位的lib包，可以自己手动去编译，但比较麻烦，也可以去网上找，好多都有已经编译好了的。  
2 可以去网站：[http://dl.bintray.com/sequenceiq/sequenceiq-bin/][http_dl.bintray.com_sequenceiq_sequenceiq-bin] 下载对应的编译版本

![format_png 1][]

下载对应的编译版本

注：  
Hadoop 2.6.x 版本用hadoop-native-64-2.6.0.tar即可  
Hadoop 2.7.x 版本用hadoop-native-64-2.7.0.tar即可

3 将准备好的64位的lib包解压到已经安装好的hadoop安装目录lib/native下

tar -xvf hadoop-native-64-2.6.0.tar -C native

![format_png 2][]

tar -xvf hadoop-native-64-2.6.0.tar -C native

4 然后增加环境变量：

sudo vi /etc/profile

5 增加下面的内容：

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native  
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BlcnNpc3RlbmNlZ29pbmc_size_16_color_FFFFFF_t_70][]

6 让环境变量生效

source /etc/profile

![format_png 3][]

source /etc/profile

7 自检hadoop checknative –a 指令检查

![format_png 4][]

指令检查

问题成功解决：

![format_png 5][]

博主强烈推荐：https://blog.csdn.net/persistencegoing/article/details/84376427

希望大家关注我一波,防止以后迷路,有需要的可以加群讨论互相学习java ,学习路线探讨,经验分享与java求职

群号:721 515 304

[format_png]: /images/20230528/87898e25a36c4b4197ddbf3b65cfc047.png
[http_dl.bintray.com_sequenceiq_sequenceiq-bin]: https://link.jianshu.com?t=http://dl.bintray.com/sequenceiq/sequenceiq-bin/
[format_png 1]: /images/20230528/45ae518fd2a543ebaee665065ee38336.png
[format_png 2]: /images/20230528/6884cd495ec4474eb0ea2920d72ff911.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BlcnNpc3RlbmNlZ29pbmc_size_16_color_FFFFFF_t_70]: /images/20230528/7a1bea307fcb409cbeb65d8d9fe44c2d.png
[format_png 3]: /images/20230528/efd826f3763344a6bdbfcd1aad6facb8.png
[format_png 4]: /images/20230528/5c4fe261b50e4da394fc1a23cf995f17.png
[format_png 5]: /images/20230528/95d05301eba348f19a983ef83ce89b96.png