linux缺少第三方jar包,Hadoop MapReduce程序中解决第三方jar包问题

心已赠人 2023-01-21 15:27 26阅读 0赞

Hadoop MapReduce程序中解决第三方jar包问题--终极解决方案。

在项目中碰到了MapReduce任务中需要引入第三方jar包的问题；

一、现象

报一堆类似异常【Error: java.lang.ClassNotFoundException:\*\*\*】。

二、解决方案

随手一搜网上倒是不少解决方案，我选择两个典型方案，其它方案自行查找：

(1) 将依赖的第三方jar放在集群中每个节点$HADOOP\_HOME/lib目录下或者JDK的ext目录下，其中$HAOOP\_HOME为Hadoop的根目录。

(2) 将所有的jar包解压缩，然后把他和源程序的类文件打包到一个jar包中。

第一种基本满足我的要求，可以一试，第二种方法不易于维护舍弃。

三、测试

1、 把依赖的jar包放入集群中每个节点$HADOOP\_HOME/lib目录下；

2、重新执行job，依然报错，崩溃。。。，难道要重启hadoop集群？以后要是任务多了更改一些公用jar还要重启接受不了；

3、查看hadoop，发现确实是加载了lib中的jar包，如下所示：

\# add libs to CLASSPATH

for f in $HADOOP\_HOME/lib/\*.jar; do

CLASSPATH=$\{CLASSPATH\}:$f;

done

4、可能是自己愚笨或者环境问题，反正继续查找原因未果，放弃；

四、重新查找解决方案

2、英文地址：http://www.blowide.com/2010/04/including-external-jars-in-a-hadoop-job/

3、可问题来了，里面描述的lib目录建在哪里？执行时到底怎么调用的呀？

4、记得《Hadoop权威指南》中好像也有关于jar打包的处理措施，查找之

【任何非独立的JAR文件都必须打包到JAR文件的lib目录中。(这与Java的web application archive或WAR文件类似，不同的是，后者的JAR文件放在WEB-INF/lib子目录下的WAR文件中)】，天哪，看书不仔细就会遗留重要问题，网上的都是浮云呀。打包的时候把第三方包放到lib目录下和class文件一块打包即可。

5、按要求重新打包，执行，OK了。![0b1331709591d260c1c78e86d0c51c18.png][]

[0b1331709591d260c1c78e86d0c51c18.png]: /images/20221020/d2e01f99d0114cb0b065eadf43157b4e.png

发表评论取消回复

表情：

评论列表（有 0 条评论，26人围观）

还没有评论，来说两句吧...

相关阅读

相关 Maven项目导入第三方jar包

[Maven][]项目导入第三方jar包 1、打开本地maven仓库，进入bin目录，在目录上输入cmd，进入命令行 ![在这里插入图片描述][d8b6572eab5

今天药忘吃喽~/ 2024年03月23日 17:31/ 0 赞/ 24 阅读

相关 linux缺少第三方jar包,Hadoop MapReduce程序中解决第三方jar包问题

Hadoop MapReduce程序中解决第三方jar包问题--终极解决方案。在项目中碰到了MapReduce任务中需要引入第三方jar包的问题；一、现象报一堆类似

心已赠人/ 2023年01月21日 15:27/ 0 赞/ 27 阅读

相关 Android.mk添加第三方jar包

LOCAL\_PATH:= $(call my-dir) include $(CLEAR\_VARS) LOCAL\_STATIC\_JAVA\_LIBRARI

古城微笑少年丶/ 2022年08月02日 00:09/ 0 赞/ 155 阅读

相关 mapreduce引用第三方jar包

我的mapreduce运行要查询redis的数据，但是报错了。查了资料要引用第三方的jar包。在Job中添加第三方包。 job.addFileT

痛定思痛。/ 2022年06月12日 03:41/ 0 赞/ 285 阅读

相关打包包含第三方Jar包

在工程中包含第三方Jar包时，普通打包方式打出的Jar包无法包含第三方Jar包，这时可以使用net.sf.fjep.fatjar\_0.0.31.jar插件，将第三方Jar包包

ゝ一世哀愁。/ 2022年06月02日 01:43/ 0 赞/ 251 阅读

相关 Maven项目导出jar（包含第三方jar包）

在pom文件中加入： <build> <plugins> <plugin> <artifactId>maven\-assem

Bertha 。/ 2022年05月22日 10:50/ 0 赞/ 278 阅读

相关 Maven安装第三方jar包

用阿里的fastjson-1.1.37.jar做试例安装第三方jar包到本地仓库第一种方法进入jar包所在目录运行cmd mvn install:in

痛定思痛。/ 2022年04月17日 02:09/ 0 赞/ 715 阅读

相关 maven项目导入第三方jar包

maven项目导入第三方jar包 1.将jar包放入需要用到的项目中 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_

分手后的思念是犯贱/ 2022年03月10日 16:22/ 0 赞/ 336 阅读

相关 IDEA 手动添加第三方 Jar 包

点击 File，选择 Project Structure...，或使用快捷键 Ctrl+Shift+ALT+S，打开 Project Structure ![watermar

妖狐艹你老母/ 2022年02月03日 14:49/ 0 赞/ 396 阅读

相关 Maven项目配置第三方jar包

Maven 标签（空格分隔）： J2EE -------------------- Eclipse如何配置Maven及创建项目，在网上已经有很多教程，这里不再赘述，仅

港控/mmm°/ 2021年12月23日 00:09/ 0 赞/ 397 阅读