OpenCV源码解析之Mat类理解及内存管理

浅浅的花香味﹌ 2022-05-17 08:43 549阅读 0赞

在OpenCV中，Mat是一个基础的类，也是最重要的类之一，它直接实现对图像的内存管理和数据操作。

## Mat的常见属性 ##

Mat类可以看作是一个数据结构，它以矩阵的形式来存储和管理数据，里面定义了大量的相关属性。而理解这些属性，是我们灵活运用OpenCV的基础。

<table style="width:674px;"> 
 <thead> 
 <tr> 
 <td style="border-color:#dddddd;width:93px;"> 属性 </td> 
 <td style="border-color:#dddddd;width:578px;"> 说明 </td> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td style="border-color:#dddddd;width:93px;"> data </td> 
 <td style="width:578px;"> uchar型的指针。Mat类分为了两个部分:矩阵头和指向矩阵数据部分的指针，data就是指向矩阵数据的指针。 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;width:93px;"> dims </td> 
 <td style="width:578px;"> 矩阵的维度，例如5*6矩阵是二维矩阵，则dims=2，三维矩阵dims=3. </td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;width:93px;"> rows </td> 
 <td style="width:578px;"> 矩阵的行数 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;width:93px;"> cols </td> 
 <td style="width:578px;"> 矩阵的列数 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;width:93px;"> size </td> 
 <td style="width:578px;"> 矩阵的大小，size(cols,rows) </td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;width:93px;"> channels() </td> 
 <td style="width:578px;"> 矩阵元素拥有的通道数，例如常见的彩色图像，每一个像素由RGB </td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;width:93px;"> type() </td> 
 <td style="width:578px;"> 表示了矩阵中元素的类型以及矩阵的通道个数，它是一系列的预定义的常量，其命名规则为CV_(位数）+（数据类型）+（通道数）如：,CV_8UC3 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;width:93px;"> depth() </td> 
 <td style="width:578px;"> 矩阵中元素的一个通道的数据类型，这个值和type是相关的。例如 type为 CV_8UC3，一个3通道的16位的有符号整数。那么，depth则是CV_8UC </td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;width:93px;"> elemSize() </td> 
 <td style="width:578px;"> 矩阵一个元素占用的字节数(不区分通道，即多个通道的总和) </td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;width:93px;"> elemSize1() </td> 
 <td style="width:578px;"> 矩阵一个元素每个通道占用的字节数(区分通道，单个个通道的值) </td> 
 </tr> 
 <tr> 
 <td style="border-color:#dddddd;width:93px;"> flags </td> 
 <td style="width:578px;"> 一个int型数字，保存了许多有用的信息，flags说明； </td> 
 </tr> 
 </tbody> 
</table>

注：本贴最初写于2018年7月，转眼已经过去了2年，貌似OpenCV中cv::Mat的结构也稍有改变。我贴下来的这张图是最新的OpenCV4.30版的，类是cv::Mat，比如读取一张480\*640\*3的标准的图片，结果如下（上表中后面有括号的如channels, step1, elemSize这些都是函数，不是参数，所以不能显示在参数列表里），

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_16_color_FFFFFF_t_70][]

你可能对这个表没什么感觉，那么我们看下面的

## Size和step的物理含义 ##

我们平常在处理图像时，最喜欢用width，height， stride这样的术语。OpenCV不同，自己在这搞个了个的step，size等，其实理解起来都差不多。

Mat类中的定义  
MatSize size:  
MatStep step;

理解：  
step1(i):每一维元素的通道数  
step\[i\]:每一维元素的大小，单位字节  
size\[i\]:每一维元素的个数  
elemSize()：每个元素大小，单位字节  
elemSize1()：每个通道大小，单位字节

若还是不明白，就看下面的例子，

构造一个3维数组，每一平面上元素的个数：8行，6列
 int matSize[] = { 5,8,6 };
 Mat mat1(3, matSize, CV_8UC3, Scalar::all(0));
 
 对于该矩阵（mat1）的理解如下，
 mat1.size[0] = 5 = 第0维的维度
 mat1.size[1] = 8 = 第1维的维度
 mat1.size[2] = 6 = 第2维的维度
 mat1.step[0] = 144, 表示面的大小，表示一个面占8*6*3=144个byte
 mat1.step[1] = 18, 表示线的大小，表示一根线6个点，6*3=18个byte
 mat1.step[2] = 3, 表示点的大小，表示一个点占3个byte
 mat1.step1(i) = mat1.step[i] / mat1.elemSize1()
 elemSize = 3, 也就是每个元素（点）的大小是3个byte, CV_16UC3则是6个byte
 elemSize1 = 1, 也就是通道的大小是一个byte，CV_16UC3则是2个byte
 
 elemSize可以通过下面的函数得到，
 inline size_t Mat::elemSize() const
 {
 return dims > 0 ? step.p[dims - 1] : 0;
 }
 
 elemSize1在源码中可以通过
 inline size_t Mat::elemSize1() const
 {
 return CV_ELEM_SIZE1(flags);
 }
 得到，返回的是一个宏，定义如下
 /** Size of each channel item,
 0x8442211 = 1000 0100 0100 0010 0010 0001 0001 ~ array of sizeof(arr_type_elem) */
 #define CV_ELEM_SIZE1(type) \
 ((((sizeof(size_t)<<28)|0x8442211) >> CV_MAT_DEPTH(type)*4) & 15)

## Mat的动态内存管理的实现 ##

Mat采用了跟STL相似的手法对内存进行动态的管理，不需要用户手动的管理内存。当实例析构的时候，内存会根据实际使用情况自动回收。  
比如，  
Mat image0 = imread("D:\\\\SpaceSoftwares\\\\ Lenna.jpg", 1);  
Mat imgtest(image0);  
这样的语句，imread会把lenna.jpg读取一个Mat中，并返回给image0; imgtest拿到的是image0的数据信息，至于图像数据本身，他们在内存中是共享的，执行Mat imgtest(image0)这句的构造函数是，

inline Mat::Mat()
        : flags(MAGIC_VAL), dims(0), rows(0), cols(0), data(0), datastart(0), dataend(0),
          datalimit(0), allocator(0), u(0), size(&rows), step(0)
    {}

当image0析构的时候，如果imgtest还有效，图像内存就不会回收（反过来也是），如果大家都不需要这个内存中的图像数据了，这块内存才会被回收。所以，你完全不用担心内存泄露等问题。

OpenCV是如何实现这个内存共享的呢？  
OpenCV是通过引用计数的方式来实现内存共享的。  
首先， Mat维护了一个数据结构UmatData，其中有一个参数叫refcount，用来表示被多少个变量所引用（不禁想到了windows中com组件类的管理）。例如上面这个例子中，imgtest被创建时，实际 运行的构造函数就是

inline
 Mat::Mat(const Mat& m)
 : flags(m.flags), dims(m.dims), rows(m.rows), cols(m.cols), data(m.data),
 datastart(m.datastart), dataend(m.dataend), datalimit(m.datalimit), allocator(m.allocator),
 u(m.u), size(&rows), step(0)
 {
 if( u )
 CV_XADD(&u->refcount, 1);
 if( m.dims <= 2 )
 {
 step[0] = m.step[0]; step[1] = m.step[1];
 }else
 {
 dims = 0;
 copySize(m);
 }
 }

这个构造函数只不过进行了一些常规的参数拷贝，其中关键点是通过CV\_XADD(&u->refcount, 1) 把计数器增加了1。这个计数器在Mat的其他构造函数中都是类似的，在Mat.create中则是通过下面的函数实现计算器加1，

inline
    void Mat::addref()
    {
        if( u )
            CV_XADD(&u->refcount, 1);
    }

当Mat析构的时候，他会运行release对计数器进行减1的操作，当refcount为0的时候，就会通过deallocate()释放图像数据的内存。

inline
 void Mat::release()
 {
 if( u && CV_XADD(&u->refcount, -1) == 1 )
 deallocate();
 u = NULL;
 datastart = dataend = datalimit = data = 0;
 for(int i = 0; i < dims; i++)
 size.p[i] = 0;
 #ifdef _DEBUG
 flags = MAGIC_VAL;
 dims = rows = cols = 0;
 if(step.p != step.buf)
 {
 fastFree(step.p);
 step.p = step.buf;
 size.p = &rows;
 }
 #endif
 }

这里有一个地方要注意理解，CV\_XADD执行的就是\_InterlockedExchangeAdd，它返回的是**减操作进行之前的refcount值**，所以这里判断条件是CV\_XADD(&u->refcount, -1) == 1，而不是CV\_XADD(&u->refcount, -1) == 0。

如果你要开辟新的空间，不想共享内存图片数据怎么办？

可以使用copyTo或clone()函数。

补充一点，如果你想强制回收内存，或者，在某种情况下你没有按常规方法处理Mat，当想要清空Mat时，可以使用cvReleaseMat(Mat) 来回收内存。cvReleaseMat(Mat)会调用cvDecRefData( arr )把计数器清零，用cvFree( &arr )来释放数据区。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_16_color_FFFFFF_t_70]: /images/20220517/d242d2cbbba84e2ba15fd903e8df68c2.png