hadoop job 重要性能参数

布满荆棘的人生 2022-09-30 13:49 125阅读 0赞

<table style="color:rgb(51,51,51); font-family:Arial"> 
 <tbody> 
  <tr> 
   <td style="height:18pt; text-align:center"><strong>name</strong></td> 
   <td style="border-left-style:none; text-align:center"><strong>说明</strong></td> 
  </tr> 
  <tr style="height:17.25pt"> 
   <td style="height:17.25pt; border-top:none">mapred.task.profile</td> 
   <td style="border-top:none; border-left:none">是否对任务进行profiling，调用java内置的profile功能，打出相关性能信息</td> 
  </tr> 
  <tr style="height:17.25pt"> 
   <td style="height:17.25pt; border-top:none">mapred.task.profile.{maps|reduces}</td> 
   <td style="border-top:none; border-left:none">对几个map或reduce进行profiling。非常影响速度，建议在小数据量上尝试</td> 
  </tr> 
  <tr style="height:18pt"> 
   <td style="height:18pt; border-top:none">mapred.job.reuse.jvm.num.tasks</td> 
   <td style="border-top:none; border-left:none">1表示不reuse，-1表示无限reuse，其他数值表示每个jvm reuse次数。<span>reuse的时候，map结束时不会释放内存！</span></td> 
  </tr> 
  <tr style="height:17.25pt"> 
   <td style="height:17.25pt; border-top:none">mapred.{map|reduce}.tasks.speculative.execution</td> 
   <td style="border-top:none; border-left:none">会对运行慢的任务起一个备份任务，看哪个先完成，kill掉后完成的备份</td> 
  </tr> 
  <tr style="height:17.25pt"> 
   <td style="height:17.25pt; border-top:none">io.sort.spill.percent</td> 
   <td style="border-top:none; border-left:none">开始spill的内存比例阈值，对map和reduce都生效</td> 
  </tr> 
  <tr style="height:17.25pt"> 
   <td style="height:17.25pt; border-top:none">mapred.job.shuffle.input.buffer.percent</td> 
   <td style="border-top:none; border-left:none">reduce在copy时使用的堆空间的比例</td> 
  </tr> 
  <tr style="height:17.25pt"> 
   <td style="height:17.25pt; border-top:none">mapred.tasktracker.{map|reduce}.tasks.maximum</td> 
   <td style="border-top:none; border-left:none">一个Tasktracker上可同时运行的最大map、reduce任务数</td> 
  </tr> 
  <tr style="height:17.25pt"> 
   <td style="height:17.25pt; border-top:none">mapred.reduce.copy.backoff</td> 
   <td style="border-top:none; border-left:none">reduce获取一份map输出数据的最大时间，单位秒。</td> 
  </tr> 
  <tr style="height:17.25pt"> 
   <td style="height:17.25pt; border-top:none">io.compression.codecs</td> 
   <td style="border-top:none; border-left:none">压缩算法</td> 
  </tr> 
  <tr style="height:17.25pt"> 
   <td style="height:17.25pt; border-top:none">dfs.block.size</td> 
   <td style="border-top:none; border-left:none">hdfs上的文件block大小</td> 
  </tr> 
  <tr style="height:18pt"> 
   <td style="height:18pt; border-top:none">mapred.reduce.slowstart.completed.maps</td> 
   <td style="border-top:none; border-left:none">控制reduce的启动时机。表示全部map的百分之多少完成后，才启动reduce。如果机器内存紧张，可以适当设大改参数，等大部分map结束并释放内存后才启动reduce；如果希望尽快开始shuffle，则可配合大量map数，将该值设小，以尽早启动reduce，开始copy。</td> 
  </tr> 
  <tr style="height:18pt"> 
   <td style="height:18pt; border-top:none">io.sort.mb</td> 
   <td style="border-top:none; border-left:none">map使用的缓存，影响spill的次数。</td> 
  </tr> 
  <tr style="height:18pt"> 
   <td style="height:18pt; border-top:none">mapred.child.java.opts</td> 
   <td style="border-top:none; border-left:none">同时设置map和reduce的jvm参数</td> 
  </tr> 
  <tr style="height:18pt"> 
   <td style="height:18pt; border-top:none">mapred.map.child.java.opts</td> 
   <td style="border-top:none; border-left:none">分开设置map的jvm参数，包括GC策略</td> 
  </tr> 
  <tr style="height:18pt"> 
   <td style="height:18pt; border-top:none">mapred.reduce.child.java.opts</td> 
   <td style="border-top:none; border-left:none">分开设置reduce的jvm参数</td> 
  </tr> 
  <tr style="height:17.25pt"> 
   <td style="height:17.25pt; border-top:none">map.sort.class</td> 
   <td style="border-top:none; border-left:none">对map的输出key的排序方法</td> 
  </tr> 
  <tr style="height:17.25pt"> 
   <td style="height:17.25pt; border-top:none">mapred.output.compression.type</td> 
   <td style="border-top:none; border-left:none">压缩类型</td> 
  </tr> 
  <tr style="height:18pt"> 
   <td style="height:18pt; border-top:none">mapred.min.split.size</td> 
   <td style="border-top:none; border-left:none">每个map的最小输入大小，该值越大，map数越少</td> 
  </tr> 
  <tr style="height:18pt"> 
   <td style="height:18pt; border-top:none">mapred.max.split.size</td> 
   <td style="border-top:none; border-left:none">每个map的最大输入大小，该值约小，map数越多</td> 
  </tr> 
  <tr style="height:18pt"> 
   <td style="height:18pt; border-top:none">mapred.reduce.parallel.copies</td> 
   <td style="border-top:none; border-left:none">reduce从map结果copy数据时，每个reduce起的并行copy线程数。该值越大，io压力越大，但可能引起网络堵塞，copy效率反而降低。</td> 
  </tr> 
  <tr style="height:18pt"> 
   <td style="height:18pt; border-top:none">io.sort.factor</td> 
   <td style="border-top:none; border-left:none">merge时的并行merge数，同时影响map的spill文件merge和reduce中的merge</td> 
  </tr> 
  <tr style="height:18pt"> 
   <td style="height:18pt; border-top:none">mapred.compress.map.output</td> 
   <td style="border-top:none; border-left:none">指定map的输出是否压缩。有助于减小数据量，减小io压力，但压缩和解压有cpu成本，需要慎重选择压缩算法。</td> 
  </tr> 
  <tr style="height:18pt"> 
   <td style="height:18pt; border-top:none">mapred.map.output.compression.codec</td> 
   <td style="border-top:none; border-left:none">map输出的压缩算法</td> 
  </tr> 
  <tr style="height:17.25pt"> 
   <td style="height:17.25pt; border-top:none">mapred.output.compress</td> 
   <td style="border-top:none; border-left:none">reduce输出是否压缩</td> 
  </tr> 
  <tr style="height:17.25pt"> 
   <td style="height:17.25pt; border-top:none">mapred.output.compression.codec</td> 
   <td style="border-top:none; border-left:none">控制mapred的输出的压缩的方式</td> 
  </tr> 
  <tr style="height:18pt"> 
   <td style="height:18pt; border-top:none">io.sort.record.percent</td> 
   <td style="border-top:none; border-left:none">map中间数据的index和data在io.sort.mb中占内存的比例，默认0.05%，需要根据具体数据的特点调整：index的大小固定为16byte，需要根据data的大小调整这个比例，以使io.sort.mb的内存得到充分利用）。</td> 
  </tr> 
 </tbody> 
</table>

本文转载自CSDN文章：[hadoop job 重要性能参数][hadoop job]

[hadoop job]: http://blog.csdn.net/xiaolang85/article/details/8651894