如何向hadoop集群定时提交一个jar作业？

缺乏、安全感 2022-04-12 07:59 172阅读 0赞

除了使用Hive，Pig来执行一个MapReduce任务，不需要专门的把项目打成jar包，提交执行，或者定时执行，因为Hive，Pig这些开源框架已经，帮我们自动打包上传了。  
  
而有些时候，我们自己手写了一个MapReduce的任务，然后这个任务里面依赖了其他的第三方包，比如说是Lucene的，或者是Solr，ElasticSearch的，那么打包的时候就需要将这些依赖的jar包也一起的打包进去。  
  
如果你用的是maven，那么事情就简单了，maven会自动把所有依赖的jar包，打成一个统一的jar，但是通常不需要maven，因为maven相对来说，还是比较复杂，我们更倾向于使用ant来打包，配置很灵活。  
  
那么，如何向hadooop集群提交作业呢？  
通常的命令如下：  
hadoop jar xxx.jar input out  
这样就会把jar包提交到hadoop集群上，只要包含依赖的jar也在这个jar包中，那么程序就不会出问题。  
  
那么，问题来了？ 我想定时执行一个作业，应该怎么写呢  
  
如果直接在linux下的crontab中，写定时启动的脚本，没问题，但是如果你的脚本是启动一个mr的任务，那么就有可能出现问题了，因为执行MR，是需要Hadoop的环境变量的，在crontab启用的shell进程，默认是没有激活环境变量的，所以，你有可能发现，自己的写的crontab脚本，奇怪的失效了。  
  
如何解决在crontab的进程里环境变量失效的问题？  
  
很简单，在启动的脚本开始前，再次激活的环境变量即可，代码如下：

#!/bin/bash
    ##下面的2行代码很重要，如果不再次激活环境变量，hadoop的jar就不能正确提交任务
    . /etc/profile
    . ~/.bash_profile

另外在crontab中，需要cd到当前目录下，执行，否则一些log不会被正确到该工程，或目录下：

//在下午的14点39分启动一个定时任务，使用nohup 挂起后台运行，并将所有的log重定向到一个log文件里
    39 14 * * *  cd /home/search/qindongliang/cr-dataload ; nohup sh start.sh 1  2015-04-10 all &> rate.log    &

另外一点需要注意，如果在crontab的进程中执行任务，那么最好使用nohup挂起后台运行，否则，hadoop的系统log会丢失，因为默认是在终端的界面上打印的。

[search@fsedump01sand cr-dataload]$ cat start.sh 
    #!/bin/bash
    ##下面的2行代码很重要，如果不再次激活环境变量，hadoop的jar就不能正确提交任务
    . /etc/profile
    . ~/.bash_profile
    
    
    echo "hadoop的home："$HADOOP_HOME
    echo `pwd`
    
    if [ ! $# -eq 3  ] ; then
    
    echo "第一个参数：请输入要处理的dataload业务 1:rate 2:keyword  "
    echo "第二个参数：请输入读取HDFS上读取数据的开始日期, 例如: 2015-04-10  "
    echo "第三个参数：请输入读取HDFS上读取数据的结束日期, 例如: 2015-05-10  "
    exit
    
    fi
    
    #参数1,mapping文件的地址
    p1="/user/d1/mapping.xml"
    
    #参数4，是否清空上一次的保存目录，0=清除，1=不清除
    p4="0"
    
    if [ $1 -eq  1  ] ; then
    #参数2，处理数据的输入路径
    p2="1"  
    p3="/fse2/conversions/rate/shard1/input"
    p5="rate"
    elif [ $1 -eq 2 ] ; then
    #参数2，处理数据的输入路径
    p2="2"
    p3="/fse2/conversions/keyword/shard1/input"
    #参数5，控制那个索引的
    p5="keyword"
    else
    echo  "不支持此参数，只能输入1或者2，请注意!"
    exit
    fi
    
    
    echo "==============参数信息=============="
    echo $p1
    echo $p2 
    echo $p3
    echo $p4
    echo $p5
    echo $2
    echo $3
    echo "===================================="
    
    #exit
    
    
    #参数3，处理数据结果的保存路径
    #p3="/user/d1/uvoutput"
    #p3="/user/d1/kwoutput"
    #p3="/fse2/conversions/keyword/shard1/input"
    #p3="/fse2/conversions/uv/shard1/input"
    
    
    #参数4，是否清空上一次的保存目录，0=清除，1=不清除
    #p4="0"
    
    #参数5，控制那个索引的
    #p5="keyword"
    #p5="uv"
    
    
    cs='.:'
    root="`pwd`/"
    curr="`pwd`/conf"
    echo $curr
    
    
    libpath="`pwd`/lib/"
    FILES=`ls $libpath`
    for txt in $FILES;do
            cs=$cs$libpath$txt:
    done
    cs=$cs$curr:$root"cr-dataload.jar"
    
    echo $cs
    echo [`date`] "开始启动dataload!"
    
    #nohup sh offline.sh  2014-12-01 2014-12-15 &> nohup.out &
    
    #hadoop jar  cr-dataload.jar   com.dhgate.search.rate.convert.StoreConvert -libjars $cs
    #java -cp $cs  com.dhgate.search.rate.convert.StoreConvert  $p1 $p2 $p3 $p4 $p5 $2 $3 
    #/home/search/hadoop/bin/hadoop jar  cr-dataload.jar   com.dhgate.search.rate.convert.StoreConvert  $p1 $p2 $p3 $p4 $p5 $2 $3  > $p2.log
    hadoop jar  cr-dataload.jar   com.dhgate.search.rate.convert.StoreConvert  $p1 $p2 $p3 $p4 $p5 $2 $3 
    #echo $cs