NvInfer Config 配置主推理引擎和二级推理引擎的配置组

待我称王封你为后i 2022-11-12 04:21 256阅读 0赞

NvInfer Config 配置 主推理引擎和二级推理引擎的配置组

在 DeepStream 应用程序中支持多个二级推理引擎。对于每个二级推理引擎，必须在配置文件中添加一个名为 secondary-gie%d 的单独组。例如:

[primary-gie]
    key1=value1
    key2=value2
    ...
    
    [secondary-gie1]
    key1=value1
    key2=value2
    ...

主推理器和二级推理器的配置如下所示。对于每个配置:

**enable**

*  含义：是否必须启用主推理引擎。
 *  类型和值：布尔
 *  示例：enable = 1
 *  平台：dGPU, Jetson Both GIEs

**gie-unique-id**

*  含义：要分配给 nvinfer 实例的唯一组件 ID。用于标识由实例生成的元数据。
 *  类型和值：数值，必须大于0
 *  示例：gie-unique-id=2
 *  平台：Both

**gpu-id**

*  含义：多个GPU的情况下，元件所使用的GPU设备ID
 *  类型和值：数值，必须大于0
 *  示例：gpu-id=1
 *  平台：dGPU, Both GIEs

**model-engine-file**

*  含义：模型预先生成的序列化引擎文件的绝对路径
 *  类型和值：字符串
 *  示例：model-engine-file=…/…/ models/Primary\_Detector/resnet10. caffemodel\_b4\_int8.engine
 *  平台：Both GIEs

**config-file**

*  含义：配置文件的路径名，指定 Gst-nvinfer 插件的属性。它可以包含除配置文件本身以外的表中描述的任何属性。属性必须在名为\[ property \]的组中定义。
 *  类型和值：字符串
 *  示例：config-file = samples\\configs\\deepstream-app\\config\_infer\_primary.txt
 *  平台：dGPU, Jetson Both GIEs

**batch-size**

*  含义：批处理中要一起推断的帧数
 *  类型和值：数值，必须大于0
 *  示例：batch-size=2
 *  平台：dGPU, Jetson Both GIEs

**interval**

*  含义：推理时要跳过的连续批数
 *  类型和值：数值，必须大于0
 *  示例：interval=2
 *  平台：dGPU, Jetson Both GIEs

**bbox-border-color**

*  含义：特定类别ID的检测框的边框颜色，指定为RGBA 格式。对于多个类 id，可以多次标识此属性。如果未为类 ID 标识此属性，则不为该类 ID 的对象绘制边框。
 *  类型和值：R:G:B:A 浮点型, 0≤R,G,B,A≤1
 *  示例：bbox-border-color2= 1;0;0;1 (Red for class-id 2)
 *  平台：dGPU, Jetson Both GIEs

**operate-on-gie-id**

*  含义：GIE的唯一ID，此GIE将对其元数据（NvDsFrameMeta）进行操作。
 *  类型和值：数值，必须大于0
 *  示例：operate-on-gie-id=1
 *  平台：dGPU, Jetson Secondary GIE

**operate-on-class-ids**

*  含义：此元件必须在其父元件的指定类别ID上进行操作。父元件是使用operate-on-gie-id指定的。
 *  类型和值：分号分隔的整数数组
 *  示例：operate-on-class-ids=1;2 (operate on objects with class IDs 1, 2 generated by parent GIE)
 *  平台：dGPU, Jetson Secondary GIE

**infer-raw-output-dir**

*  含义：将原始推理缓冲区内容转储到文件中的现有目录的路径名。
 *  类型和值：字符串
 *  示例：infer-raw-output-dir=/home/ubuntu/infer\_raw\_out
 *  平台：dGPU, Jetson Both GIEs

**labelfile-path**

*  含义：标签文件的路径名
 *  类型和值：字符串
 *  示例：labelfile-path=…/…/models/Primary\_Detector/labels.txt
 *  平台：dGPU, Jetson Both GIEs

**plugin-type**

*  含义：用于推理的插件。0: nvinfer (TensorRT) 1: nvinferserver (Triton inference server)
 *  类型和值：字符串
 *  示例：plugin-type=1
 *  平台：dGPU, Jetson Both GIEs

## 参考文献 ##

https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS\_ref\_app\_deepstream.html\#configuration-groups