Hypertable工具之random_write_test、random_read_test、ht_write_test、csvalidate

绝地灬酷狼 2022-08-27 08:00 223阅读 0赞

**1.random\_write\_test**  
命令： random\_write\_test  \[options\]  <total-bytes>  
该命令用于测试hypertable的写入速度。它将产生随机数据插入到表RandomTest中，插入数据的value总长度为total-bytes。RandomTest表必须提前创建于namespace”/”下，并且只有一个名称为Field的CF。产生的row和value都是随机的ASCII字符串，row长度为12，value长度由blocksize参数指定，默认为1000.   
Options:  
  --blocksize arg (=1000) Size of value to write  
  --checksum-file arg File to contain, for each insert, key '' <value-checksum> pairs  
  --flush Flush after each write  
  --no-log-sync Don't do a commit log sync when buffers are auto flushed  
  --seed arg (=1234) Random number generator seed  
  -h \[ --help \] Show this help message and exit  
  --help-config Show help message for config properties  
  --version Show version information and exit  
  -v \[ --verbose \] Show more verbose output  
  --debug Show debug output (shortcut of --logging-level debug)  
  --quiet Negate verbose  
  --silent Show as little output as possible  
  -l \[ --logging-level \] arg (=info) Logging level: debug, info, notice, warn, error, crit, alert, fatal  
  --config arg (=/dinglicom/hypertable/0.9.7.2/conf/hypertable.cfg) Configuration file.                                                                      
  --induce-failure arg Arguments for inducing failure  
  --workers arg Number of worker threads  
  --reactors arg Number of reactor threads

-t \[ --timeout \] argSystem wide timeout in milliseconds

**1.1blocksize参数**  
设置随机产生的value的长度，默认值为1000.  
示例：random\_write\_test --blocksize 200 100000000;写入的每个cell的value长度为200，共写入100000000字节的数据，即500000个cell。可能得到下面类似的结果：  
0%   10   20   30   40   50   60   70   80   90   100%  
|----|----|----|----|----|----|----|----|----|----|  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*  
  Elapsed time:  7.10 s  
 Total inserts:  500000  
    Throughput:  14931606.90 bytes/s  
    Throughput:  70432.11 inserts/s  
其中：Total inserts表示插入的cell总数；第一个Throughput表示每秒写入的字节数，本例中等于100000000/7.10；第二个表示每秒写入的cell数目, 本例中等于500000/7.10。  
实验表明：  
在其余条件不变的前提下，该参数变大时，每秒写入的字节数将变大，即写入速度将提高，反之亦然。

在不清除已有表数据的情况下，重复插入的row将与之前的 row重复，即因为产生随机数的规则一致，所以每批插入时将得到同样的row集合。

**1.2checksum-file参数**  
指定一个文件，保存在插入每个cell时对value的checksum结果，文件中每行即为一组row/checksum结果对。  
示例：random\_write\_test --blocksize 200 --checksum-file ./1.tsv  400; 将会在当前目录下新建一个文件1. Tsv，文件将包含下面类似的结果：  
L2sH0+JmJoVC    1260310456

NdxdzOwOdF2z    561363194

**1.3Flush参数**  
对每个cell的写入都执行flush，这将降低写入速率。  
示例：当执行random\_write\_test 100000000时，结果如下：  
  Elapsed time:  4.26 s  
 Total inserts:  100000  
    Throughput:  23762288.82 bytes/s  
    Throughput:  23480.52 inserts/s  
但是执行random\_write\_test –flush 100000000时，结果如下：  
  Elapsed time:  180.63 s  
 Total inserts:  100000  
    Throughput:  560255.85 bytes/s  
    Throughput:  553.61 inserts/s

可见使用了此参数后，写入速度上与前者有着数量级的差异。

**1.4no-log-sync参数**  
当缓冲（buffer）中的数据最终被持久化时，不进行Commit Log的同步，这将提高写入速率。  
示例：当执行random\_write\_test 100000000时，结果如下：  
Elapsed time:  4.26 s  
 Total inserts:  100000  
    Throughput:  23762288.82 bytes/s  
    Throughput:  23480.52 inserts/s  
但是执行random\_write\_test –flush 100000000时，结果如下：  
Elapsed time:  3.07 s  
    Total inserts:  100000  
    Throughput:  32984594.04 bytes/s  
    Throughput:  32593.47 inserts/s

可见不同步Commit Log时写入确实变快了一些。

**2.random\_read\_test**  
命令： random\_read\_test \[options\] <total-bytes>  
该命令用于测试hypertable的读取速度，应与random\_write\_test结合使用。它将按照写入相同的次序读取RandomTest表中的数据。如果发现row为空或者重复的数据，将抛出一个错误并退出，此时状态码为1。否则将输出与读取相关的统计信息并退出，此时状态码为0. total-bytes为需要读取的字节数。  
Options:  
  --blocksize arg (=1000) Size of value to write  
  --checksum-file arg File to contain, for each insert, key '' <value-checksum> pairs  
  --seed arg (=1234) Random number generator seed  
  --max-keys arg (=0) Maximum number of keys to lookup  
  -h \[ --help \] Show this help message and exit  
  --help-config Show help message for config properties  
  --version Show version information and exit  
  -v \[ --verbose \] Show more verbose output  
  --debug Show debug output (shortcut of --logging-level debug)  
  --quiet Negate verbose  
  --silent Show as little output as possible  
  -l \[ --logging-level \] arg (=info) Logging level: debug, info, notice, warn, error, crit, alert, fatal  
  --config arg (=/dinglicom/hypertable/0.9.7.2/conf/hypertable.cfg) Configuration file.                                                                      
  --induce-failure arg Arguments for inducing failure  
  --workers arg Number of worker threads  
  --reactors arg Number of reactor threads

-t \[ --timeout \] argSystem wide timeout in milliseconds

**2.1blocksize参数**  
与random\_write\_test的同名参数相似，并应该保持一致，否则将报错。例如：如果先执行random\_write\_test 100000000，再执行random\_read\_test --blocksize 200 100000000将得到如下类似的错误：  
Wrong number of results: 0 (key=pe8ATt1dRiZW, i=100000)  
但如果将此参数变为1000或者省略此参数即可。此命令将得到下面类似的结果：  
 Elapsed time:  39.08 s  
 Total scanned:  100000  
    Throughput:  2589883.88 bytes/s  
    Throughput:  2559.17 scanned cells/s

结果字段含义同random\_write\_test。

**2.2checksum-file参数**

与random\_write\_test的同名参数相似，用于在读取时对每个cell进行checksum，并将检验结果写入指定的文件中。此文件可与写入时生成的文件进行比较，如果一致，则读取没有错误，否则表明读取中有错误产生。

**2.3max-keys参数**  
需要读取的key数目，默认为0，即所有的key。当指定了此参数后，将只读取指定数目的key。  
示例：random\_read\_test –blocksize 200 –max-keys 10 20000;此示例表示之前写入数据时blocksize为200，读取时必须采用同样的参数。如果写入时total-bytes为20000，则表中共有100个cell，此处只要求读取前10个。可能得到下面类似的结果：  
 Elapsed time:  0.01 s  
 Total scanned:  10  
    Throughput:  3806280.74 bytes/s  
    Throughput:  1891.79 scanned cells/s

实验表明：当此参数和total-bytes冲突时，将以小的一方为准。例如：执行“random\_read\_test –blocksize 200 –max-keys 200 20000”时，将只读取所有的100个cell。但此参数和total-bytes都越界时将报错。例如：执行“random\_read\_test --blocksize 200 --max-keys 200 30000”时将报错。

**3.ht\_write\_test**  
命令：ht\_write\_test  \[options\]  <total-bytes>  
该命令与random\_write\_test命令相似，也用于测试hypertable的写入速度。与random\_write\_test不同的是，该命令可以指定row的长度，即key-size参数。  
该命令的value-size参数相当于random\_write\_test的blocksize参数。Max-keys参数表示写入的唯一row的最大数目，即一批写入的数据中，可以存在重复的row，但是唯一row的数目上限为此参数，这也是与random\_write\_test的不同之处。但是实际测试发现此参数并没有达到预期效果。  
Description:  
  This program will generate various types of write worload  for testing purposes.:  
  --max-keys arg (=0) Maximum number of unique keys to generate  
  --key-size arg (=12) Size of each key  
  --value-size arg (=1000) Size of each value  
  --seed arg (=1234) Pseudo random number generator seed  
  -h \[ --help \] Show this help message and exit  
  --help-config Show help message for config properties  
  --version Show version information and exit  
  -v \[ --verbose \] Show more verbose output  
  --debug Show debug output (shortcut of --logging-level debug)  
  --quiet Negate verbose  
  --silent Show as little output as possible  
  -l \[ --logging-level \] arg (=info) Logging level: debug, info, notice, warn, error, crit, alert, fatal  
  --config arg (=/dinglicom/hypertable/0.9.7.2/conf/hypertable.cfg) Configuration file.                                                                      
  --induce-failure arg Arguments for inducing failure  
  --workers arg Number of worker threads  
  --reactors arg Number of reactor threads  
  -t \[ --timeout \] arg System wide timeout in milliseconds  
示例：ht\_write\_test --max-keys 3 --key-size 5 --value-size 500 4500;  
此例将写入9个cell，每个cell的row长度为5，并且会出现重复的row，但是唯一的row应该最多为3个。可能得到下面类似的结果：  
 Elapsed time:  0.00 s  
 Total inserts:  9  
    Throughput:  1101601.72 bytes/s  
    Throughput:  2151.57 inserts/s

结果字段含义同random\_write\_test。

**4.Csvalidate**  
命令：csvalidate  \[options\]  <filename>  
该命令验证cellstore文件的有效性，并可对损坏的cellstore文件进行修复。  
Options:  
  --repair Repair any corruption that is found  
  --dfs arg DFS client endpoint in <host:port> format  
  --dfs-timeout arg Timeout in milliseconds for DFS client connections  
  -h \[ --help \] Show this help message and exit  
  --help-config Show help message for config properties  
  --version Show version information and exit  
  -v \[ --verbose \] Show more verbose output  
  --debug Show debug output (shortcut of --logging-level debug)  
  --quiet Negate verbose  
  --silent Show as little output as possible  
  -l \[ --logging-level \] arg (=info) Logging level: debug, info, notice, warn, error, crit, alert, fatal  
  --config arg (=/dinglicom/hypertable/0.9.7.2/conf/hypertable.cfg) Configuration file.                                                                      
  --induce-failure arg Arguments for inducing failure  
  --workers arg Number of worker threads  
  --reactors arg Number of reactor threads  
  -t \[ --timeout \] arg System wide timeout in milliseconds  
示例：csvalidate  /hypertable/tables/2/0/default/qyoNKN5rd\_\_dbHKv/cs0; 当文件没有损坏时，可能得到下面类似的结果：  
Checking /hypertable/tables/2/0/default/qyoNKN5rd\_\_dbHKv/cs0 ... valid  
示例：csvalidate –repair  /hypertable/tables/2/0/default/qyoNKN5rd\_\_dbHKv/cs0; 当文件没有损坏时，结果和上例类似，否则将试图修复此文件。