异步任务池

绝地灬酷狼 2024-03-16 14:29 46阅读 0赞

<table> 
 <thead> 
  <tr> 
   <th align="left">Java中的线程池设计得非常巧妙，可以高效<code>并发执行</code>多个任务，但是在某些场景下需要对线程池进行扩展才能更好地服务于系统。例如，如果一个任务仍进线程池之后，运行线程池的程序重启了，那么线程池里的任务就会<code>丢失</code>。另外，线程池只能处理<code>本机</code>的任务，在<code>集群</code>环境下不能有效地调度所有机器的任务。所以，需要结合线程池开发一个<code>异步任务处理池</code>。下图异步任务池设计图。</th> 
  </tr> 
 </thead> 
</table>

![在这里插入图片描述][b2f9a4f980394b75afe1aef4038a3962.png_pic_center]

<table> 
 <thead> 
  <tr> 
   <th align="left"><code>任务池</code>的主要处理流程是，<strong><code>每台机器会启动一个任务池</code></strong> ，<strong><code>每个任务池里有多个线程池</code></strong> ，当某台机器将一个任务交给任务池后，任务池会先将这个任务<code>保存到数据库中</code>，然后某台机器上的任务池会从数据库中<code>获取</code>待执行的任务，再<code>执行</code>这个任务。</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">每个任务有几种状态，分别是创建（<code>NEW</code>）、执行中（<code>EXECUTING</code>）、重试（<code>RETRY</code>）、挂起（<code>SUSPEND</code>）、中止（<code>TEMINER</code>）和执行完成（<code>FINISH</code>）。</td> 
  </tr> 
  <tr> 
   <td align="left">·创建：<code>提交</code>给任务池之后的状态。</td> 
  </tr> 
  <tr> 
   <td align="left">·执行中：任务池从数据库中<code>拿到</code>任务执行时的状态。</td> 
  </tr> 
  <tr> 
   <td align="left">·重试：当执行任务时出现错误，程序<code>显式</code>地告诉任务池这个任务需要<code>重试</code>，并<code>设置</code>下一次<code>执行时间</code>。</td> 
  </tr> 
  <tr> 
   <td align="left">·挂起：当一个任务的执行<code>依赖</code>于其他任务完成时，可以将这个任务<code>挂起</code>，当<code>收到</code>消息后，再开始<code>执行</code>。</td> 
  </tr> 
  <tr> 
   <td align="left">·中止：任务执行<code>失败</code>，让任务池<code>停止</code>执行这个任务，并设置<code>错误消息</code>告诉调用端。</td> 
  </tr> 
  <tr> 
   <td align="left">·执行完成：任务执行<code>结束</code>。</td> 
  </tr> 
  <tr> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left"><strong><code>任务池的任务隔离</code></strong> 。异步任务有很多种类型，比如<code>抓取网页任务</code>、<code>同步数据任务</code>等，不同类型的任务优先级不一样，但是系统资源是有限的，如果低优先级的任务非常多，高优先级的任务就可能得不到执行，所以必须对任务进行<code>隔离执行</code>。使用<strong>不同的线程池处理不同的任务</strong>，或者<strong>不同的线程池处理不同优先级的任务</strong>，如果任务类型<code>非常少</code>，建议用<code>任务类型来隔离</code>，如果任务类型非常多，比如<code>几十个</code>，建议采用<code>优先级方式来隔离</code>。</td> 
  </tr> 
  <tr> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left"><strong><code>任务池的重试策略</code></strong> 。根据不同的任务类型设置不同的重试策略，有的任务对实时性要求高，那么每次的<code>重试间隔</code>就会非常短，如果对实时性要求不高，可以采用默认的重试策略，重试间隔随着次数的增加，时间不断增长，比如间隔几秒、几分钟到几小时。每个任务类型可以设置执行该任务类型线程池的最小和最大<code>线程数</code>、最大<code>重试次数</code>。</td> 
  </tr> 
  <tr> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left"><strong><code>使用任务池的注意事项</code></strong> 。任务必须无状态：任务不能在执行任务的机器中<code>保存数据</code>，比如某个任务是处理上传的文件，任务的属性里有文件的上传路径，如果文件上传到机器1，机器2获取到了任务则会处理失败，所以上传的文件必须存在其他的集群里，比如OSS或SFTP。</td> 
  </tr> 
  <tr> 
   <td align="left"></td> 
  </tr> 
  <tr> 
   <td align="left"><strong><code>异步任务的属性</code></strong> 。包括<code>任务名称</code>、<code>下次执行时间</code>、<code>已执行次数</code>、<code>任务类型</code>、<code>任务优先级</code>和执行时的<code>报错信息</code>（用于快速定位问题）。</td> 
  </tr> 
 </tbody> 
</table>

\-----------------------------------------------------------------------------读书笔记摘自 书名：Java并发编程的艺术 作者：方腾飞；魏鹏；程晓明

[b2f9a4f980394b75afe1aef4038a3962.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/efdaf3b9c97e436380372de37ee70bc4.png