文件下载神器之aria2

悠悠 2023-01-15 14:22 109阅读 0赞

### 文章目录 ###

*  1. 业务诉求
 *  2. 初次筛选
 *  3. 鹿死谁手
 *  4. aria2大获全胜
 *  5. 欢迎留言

# 1. 业务诉求 #

最近在工作过程中，得知了一个新的需求，就是需要每天去FTP服务器下载指定的文件，其中每天的下载量大约是百万级。经理要求在一天内得到比wget更加有效更加优雅的落地方案。这可真是压力山大啊！  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlcm9zdW5seQ_size_16_color_FFFFFF_t_70_pic_center][]  
  由于时间紧，任务重。没有时间去自己造轮子，所以就调研使用已有的高效的工具去解决上述问题。

那么问题来了，如何去寻找最高效的工具呢？用什么样的数据来证明哪个工具是最优的呢？  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlcm9zdW5seQ_size_16_color_FFFFFF_t_70_pic_center 1][]

# 2. 初次筛选 #

通过搜索引擎搜寻了一番，得到了以下三个候选者：aria2、axel、mwget。那如何进行评判呢？翻来覆去，苦思冥想，最终还是打开每日必上网站：[全球最大同性交友网站之github][github]。那就不妨看看这三个软件的评分数据吧(其中Star表示点赞数，Fork表示复制数)：

<table> 
 <thead> 
  <tr> 
   <th>软件</th> 
   <th>Star</th> 
   <th>Fork</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>aria2</td> 
   <td>22600</td> 
   <td>2700</td> 
  </tr> 
  <tr> 
   <td>axel</td> 
   <td>1800</td> 
   <td>197</td> 
  </tr> 
  <tr> 
   <td>mwget</td> 
   <td>15</td> 
   <td>4</td> 
  </tr> 
 </tbody> 
</table>

容易看出，软件与软件之间的差别真的比人与人之间的差别还要大。所以就先把最弱的mwget排除掉，再用实践证明aria2和axel到底哪个是真正的“屠龙刀”。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlcm9zdW5seQ_size_16_color_FFFFFF_t_70_pic_center 2][]

# 3. 鹿死谁手 #

由于下载数据量为百万级，但是由于时间有限，所以无法进行当天全量数据测试，随机抽样选择了一万数据进行测试。简单起见，用默认参数进行测试比较，另外为了证明是否比wget有提升，则同时加上wget的测评，结果如下所示：

<table> 
 <thead> 
  <tr> 
   <th>软件</th> 
   <th>1W文件下载时间(s)</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>aria2</td> 
   <td>225s</td> 
  </tr> 
  <tr> 
   <td>wget</td> 
   <td>387s</td> 
  </tr> 
  <tr> 
   <td>axel</td> 
   <td>756s</td> 
  </tr> 
 </tbody> 
</table>

让人大跌眼镜的是，axel比wget还差，可能是因为每个文件大小比较小。换个业务场景，axel效果可能就很好呢。

# 4. aria2大获全胜 #

那能否在aria2的基础上，优化参数从而达到最佳的效果呢？

通过不断优化参数，最终最优的命令为：aria2c -j 10 -i test\_url.csv -s 1 -q，其中-j 10表示10个进程同时下载，-i test\_url.csv表示从文件中逐行读取URL进行下载，-s 1表示单个线程(主要是由于**文件小**，如果大文件则选用多线程会更快)，-q表示静默模式(不会逐行打印下载信息，节约时间)。优化后的参数如下所示：

<table> 
 <thead> 
  <tr> 
   <th>软件</th> 
   <th>1W文件下载时间(s)</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>aria2 优化前</td> 
   <td>225s</td> 
  </tr> 
  <tr> 
   <td>aria2 优化后</td> 
   <td>190s</td> 
  </tr> 
 </tbody> 
</table>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlcm9zdW5seQ_size_16_color_FFFFFF_t_70_pic_center 3][]

虽然优化后提升不是特别明显，但这只是对于1W数据而言的。而生产环境是每天一百万的数据，所以差别就不小了。aria2其他参数可见链接[https://aria2.github.io/manual/en/html/aria2c.html][https_aria2.github.io_manual_en_html_aria2c.html]

由于自己是在Centos环境下安装使用aria2，它的安装命令很简单，如下所示：

yum install aria2

# 5. 欢迎留言 #

大家还有其他推荐的下载软件吗？适合于大量文件的神器嘛？有的话欢迎推荐，没有的话也可以聊聊自己有没有别的类似的需求呢。

文章最后给自己打个广告。先做个自我介绍：我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池安全恶意程序检测第一名，科大讯飞阿尔茨海默综合症预测挑战赛第四名，科大讯飞事件抽取挑战赛第七名，Datacon大数据安全分析比赛第五名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。以下几个专栏欢迎大家订阅学习：

AI比赛经验分享

[https://blog.csdn.net/herosunly/category\_9393702.html][https_blog.csdn.net_herosunly_category_9393702.html]

机器学习入门之工具篇

[https://blog.csdn.net/herosunly/category\_10457626.html][https_blog.csdn.net_herosunly_category_10457626.html]

爬虫实战  
[https://blog.csdn.net/herosunly/category\_10748674.html][https_blog.csdn.net_herosunly_category_10748674.html]

新手学Python  
[https://blog.csdn.net/herosunly/category\_10831935.html][https_blog.csdn.net_herosunly_category_10831935.html]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlcm9zdW5seQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221022/c7e481866ccf484e93c0dc81e6163672.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlcm9zdW5seQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221022/6cb805abb34b49b99ad4b73fad133155.png
[github]: https://github.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlcm9zdW5seQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221022/2541afad937948b19192d99d3743ee4a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlcm9zdW5seQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221022/c870c79f3e9d4650806bfecb3bdd84e5.png
[https_aria2.github.io_manual_en_html_aria2c.html]: https://aria2.github.io/manual/en/html/aria2c.htm
[https_blog.csdn.net_herosunly_category_9393702.html]: https://blog.csdn.net/herosunly/category_9393702.html
[https_blog.csdn.net_herosunly_category_10457626.html]: https://blog.csdn.net/herosunly/category_10457626.html
[https_blog.csdn.net_herosunly_category_10748674.html]: https://blog.csdn.net/herosunly/category_10748674.html
[https_blog.csdn.net_herosunly_category_10831935.html]: https://blog.csdn.net/herosunly/category_10831935.html