HiBench测试工具配置和使用教程

清疚 2022-05-06 12:58 572阅读 0赞

### 1、下载安装 ###

本文主要是本人在使用过程中的配置体会与技巧分享

关键配置/bin/hadoop.conf

![70][]

/bin/benchmark.conf

### ![70 1][] ###

### 2、数据大小设置 ###

修改/home/jeff/HiBench-master/conf/workloads/micro中的每个样例数据大小，默认有6中

![70 2][]

读取的是/home/jeff/HiBench-master/conf/Hibench.conf中的值

![70 3][]

### 3、/bin/run\_all.sh可以一次性跑所有样例 ###

设置要跑的样例

编辑/home/jeff/HiBench-master/conf/benchmark.lst保留要想测试的样例

由于实验需求我是要四中样例如下

![70 4][]

我只要跑hadoop样例不用spark样例，所以还要删除frameworks.lst中的spark删掉

![70 5][]

配置要一次性跑的程序之后

到/home/jeff/HiBench-master/bin中运行./run\_all.sh

然后查看report，我的report目录是/home/hadoop/report

![70 6][]

4、Hibench说明

其实是用的hadoop自带的测试包来生成各种测试数据。

可以通过运行hadoop jar hadoop-mapreduce-examples-2.6.4.jar teragen 10000 /home/terasotdata，[自己测试生成数据][Link 1]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RDRl9KaW5nRmVuZw_size_16_color_FFFFFF_t_70][]

如果要跑单个案例，可以进入

![20190310234717455.png][]

案例目录，先运行./prepare.sh

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RDRl9KaW5nRmVuZw_size_16_color_FFFFFF_t_70 1][]

也就是调用上面讲的那个hadoop自带的包生成数据，

再运行./run.sh

也可以在benckmark.lst中注释掉不需要的，然后运行/run\_all.sh

[70]: /images/20220506/cad99d3c162541b792defd826829159c.png
[70 1]: /images/20220506/8409160f7fc0494b98e5b4cddb1849e4.png
[70 2]: /images/20220506/86cff3f133364935b60730abca7191b7.png
[70 3]: /images/20220506/e04a4915defe4edeb0290c5826e4bfd3.png
[70 4]: /images/20220506/2a9ac365ec77458ea75b31e4ef5c50af.png
[70 5]: /images/20220506/9cec8ba9cf544ada86f0a46126c44db2.png
[70 6]: /images/20220506/50b0024af3c94bf1af59019181f061e5.png
[Link 1]: http://zhangbin.junxilinux.com/?p=574
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RDRl9KaW5nRmVuZw_size_16_color_FFFFFF_t_70]: /images/20220506/92a220af81174608ac0d3f32ffccc3cf.png
[20190310234717455.png]: /images/20220506/12f76b2d85424897aa6c6664794a9423.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RDRl9KaW5nRmVuZw_size_16_color_FFFFFF_t_70 1]: /images/20220506/b7592f5b80a04773953cdc1eca9746c4.png