TLD代码学习（转一）

缺乏、安全感 2022-08-08 17:41 80阅读 0赞

最近在看视觉跟踪方面的论文，ZK博士的TLD算法作为跟踪算法的state-of-the-art，当然不得不去拜读下了，看完论文后虽然对作者整体的思想有了一个大致了解，但是对于很多细节却也还是无从得知，好在作者将自己的算法源代码全部开源，这也造福了我们这些无知者的胃口，虽然网上有几个c++版本的源码，但是matlab版本作为作者的原始版本，拿来作研究也是极好的。

通览源代码，个人感觉精髓之处无非两个函数，即：

tldInit();

tldProcessFrame();

这二者一个是用来跟踪前的初始化工作，后者当然是run-time的跟踪工作。我个人的阅读注释也将从这两个函数展开。好了，闲话少叙，下面来看看tldInit()这个函数：

进去第一个函数是

**\[plain\]** [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  %输入： 
2.  %tld.source.bb 用户输入的目标标定框 
3.  %size(tld.source.im0.input) 输入图像的尺寸 
4.  %tld.model.min\_win 目标标定框的长或宽的最小尺寸 
5.  %输出： 
6.  %tld.grid 是一个6Xn(n表示不同有效尺度下共有多少个的网格)的矩阵，前四行组成列向量表示gridbox的4个顶点，5表示索引，6表示横向的分布点数 
7.  % tld.scales 有效尺度下gridbox的高和宽，为2Xm矩阵（m表示有效的尺度的个数） 
8.  \[tld.grid tld.scales\] = bb\_scan(tld.source.bb,size(tld.source.im0.input),tld.model.min\_win);

再让我们继续进入bb\_scan()函数：

**\[plain\]** [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1. bbW = round(bb\_width(bb) .\* SCALE);%bb\_width(bb)\*（0.1615～6.1917）矩形框变尺度 
2. bbH = round(bb\_height(bb) .\* SCALE); 
3. bbSHH = SHIFT \* min(bbH,bbH);%取bbH和bbH中最小的元素组成新的矩阵，维数和原来相同 SHIFT =0.1表示变形后的矩形框的移动步长 
4. bbSHW = SHIFT \* min(bbH,bbW); 
5. 
6. bbF = \[2 2 imsize(2) imsize(1)\]';%\[2 2 320 240\] 
7. 
8. bbs = \{\}; 
9. sca = \[\]; 
10. idx = 1; 
11. 
12. for i = 1:length(SCALE) 
13. if bbW(i) < MINBB || bbH(i) < MINBB, continue; end 
14. 
15. left = round(bbF(1):bbSHW(i):bbF(3)-bbW(i)-1);%2开头，0.1\* min(bbH(i),bbW(i))为步长，320- bbW(i)-1为结尾 
16. top = round(bbF(2):bbSHH(i):bbF(4)-bbH(i)-1);%2开头，0.1\* min(bbH(i),bbH(i))为步长，240- bbH(i)-1为结尾 
17. 
18. grid = ntuples(top,left);%重复功能，维度为2 X length(top)\*length(left);grid的每个列向量成为网格顶点的坐标点 
19. if isempty(grid), continue; end 
20. 
21. bbs\{end+1\} = \[grid(2,:); ...%省略号为续行，bbs前四行的列向量构成一个矩形网格的四个顶点 
22. grid(1,:); ... 
23. grid(2,:)+bbW(i)-1; ... 
24. grid(1,:)+bbH(i)-1; ... 
25. idx\*ones(1,size(grid,2));%坐标点对应的编号，从1开始 
26. length(left)\*ones(1,size(grid,2));\];%记录横向分布多少个点？ 
27. sca = \[sca \[bbH(i); bbW(i)\]\];%在原来SCA的基础上增加\[bbH(i); bbW(i)\]列向量,该列向量表示某个尺度因子下的gridbox的高和宽 
28. idx = idx + 1; 
29. end 
30. bb\_out = \[\]; 
31. for i = 1:length(bbs) 
32. bb\_out = \[bb\_out bbs\{i\}\]; 
33. end

总之，该函数功能就是扫描输入图像得到很多的gridbox。

下面来到了产生特征的函数

**\[plain\]** [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  %输入： 
2.  %tld.model.num\_trees：有10棵分类树 
3.  %tld.model.num\_features：每棵树里有13个特性，这里是会有13个点对的比较 
4.  %输出： 
5.  %tld.features： 4\*13X10的矩阵，为fern分类器选取的随机点对，4表示一个点对的四个坐标值 
6.  tld.features = tldGenerateFeatures(tld.model.num\_trees,tld.model.num\_features,1);

还是进入一看究竟：

**\[plain\]** [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1. SHI = 1/5; 
2. SCA = 1; 
3. OFF = SHI; 
4. 
5. x = repmat(ntuples(0:SHI:1,0:SHI:1),2,1);%ntuples生成网格点坐标2X36矩阵，repmat表示将生成的矩阵作为初始化元素(还是矩阵) 
6. %生成一个2X1的大矩阵,这里是4X36(6\*6)矩阵 
7. x = \[x x + SHI/2\];%前者4X36矩阵，后者矩阵偏移0.1 
8. k = size(x,2);%k = 36\*2 
9. %rand(1,k)随机生成都1Xk维随机分布矩阵，范围0～1 
10. r = x; r(3,:) = r(3,:) + (SCA\*rand(1,k)+OFF);%x的第3行加上随机的1X72矩阵（0～1）再加上0.2 
11. l = x; l(3,:) = l(3,:) - (SCA\*rand(1,k)+OFF);%x的第3行减去随机的1X72矩阵（0～1）再减去0.2 
12. t = x; t(4,:) = t(4,:) - (SCA\*rand(1,k)+OFF);%x的第4行减去随机的1X72矩阵（0～1）再减去0.2 
13. b = x; b(4,:) = b(4,:) + (SCA\*rand(1,k)+OFF);%x的第4行加上随机的1X72矩阵（0～1）再加上0.2 
14. 
15. x = \[r l t b\]; 
16. 
17. idx = all(x(\[1 2\],:) < 1 & x(\[1 2\],:) > 0,1);%idx和X维数相同，如果满足条件相应元素为1，否则为0 
18. x = x(:,idx);%挑选满足条件的所有X的列 
19. x(x > 1) = 1;%x元素中大于1的则用1代替此元素 
20. x(x < 0) = 0;%x元素中小于0的则用0代替此元素 
21. 
22. numF = size(x,2);%看看现在X还有多少列 
23. 
24. x = x(:,randperm(numF));%randperm(numF)从1～numF的数字序列随机打乱，整个表达式是指把X的列打乱 
25. x = x(:,1:nFEAT\*nTREES);%取x的前130列，x目前为4x130矩阵 
26. x = reshape(x,4\*nFEAT,nTREES);%把X塑造成4\*13 X 10 的矩阵

整个函数就是生成10\*13个特征点对，坐标用小数表示，表示在box的相对位置，至于为什么随机我也感觉挺困惑的，求解释啊！！

下面再来到fern(0)；没什么好说的，来看下面的吧：

**\[plain\]** [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  %输入： 
2.  %tld.source.im0.input：输入的图像 
3.  %tld.grid：6Xn(n表示不同有效尺度下共有多少个的网格)的矩阵，gridbox信息 
4.  %tld.features：4\*13X10的矩阵，为fern分类器选取的随机点对，4表示一个点对的四个坐标值 
5.  %tld.scales： 有效尺度下gridbox的高和宽，为2Xm矩阵（m表示有效的尺度的个数） 
6.  %输出： 
7.  fern(1,tld.source.im0.input,tld.grid,tld.features,tld.scales); % allocate structures

进入CPP的fern

**\[cpp\]** [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1. iHEIGHT = mxGetM(prhs\[1\]);//240
2. iWIDTH = mxGetN(prhs\[1\]);//320
3. nTREES = mxGetN(mxGetField(prhs\[3\],0,"x"));//10
4. nFEAT = mxGetM(mxGetField(prhs\[3\],0,"x")) / 4; // feature has 2 points: x1,y1,x2,y2 13
5. thrN = 0.5 \* nTREES;//等于5
6. nSCALE = mxGetN(prhs\[4\]);//获得共有多少种尺度的BOX,即有效尺度的个数
7. 
8. IIMG = (**double**\*) malloc(iHEIGHT\*iWIDTH\***sizeof**(**double**));//积分图像变量准备
9. IIMG2 = (**double**\*) malloc(iHEIGHT\*iWIDTH\***sizeof**(**double**));//平方积分图像变量准备
10. 
11. // BBOX
12. mBBOX = mxGetM(prhs\[2\]);//等于6 
13. nBBOX = mxGetN(prhs\[2\]);//等于在各个有效尺度下有多少个网格
14. BBOX = create\_offsets\_bbox(mxGetPr(prhs\[2\]));//创建保存网格数据索引等数据
15. //prhs\[3\]是4\*13X10的矩阵
16. //matlab 代码中有f.x = x;f.type = 'forest';见到下面就不怪了
17. **double** \*x = mxGetPr(mxGetField(prhs\[3\],0,"x"));//获得特征点的指针
18. **double** \*s = mxGetPr(prhs\[4\]);//各种尺度的BOX的尺寸
19. OFF = create\_offsets(s,x);//记录各个特征点对在各种尺度下box中的具体位置
20. 
21. **for** (**int** i = 0; i<nTREES; i++) \{ 
22. WEIGHT.push\_back(vector<**double**>(pow(2.0,nBIT\*nFEAT), 0));//nBIT=1,权重分配权2^13
23. nP.push\_back(vector<**int**>(pow(2.0,nBIT\*nFEAT), 0));//nBIT=1,nP分配2^13
24. nN.push\_back(vector<**int**>(pow(2.0,nBIT\*nFEAT), 0));//nBIT=1,nN分配2^13
25. \} 
26. //static vector<vector <double> > WEIGHT;
27. //static vector<vector <int> > nP;
28. //static vector<vector <int> > nN;下面见怪不怪,10X 2^13的容器
29. **for** (**int** i = 0; i<nTREES; i++) \{ 
30. **for** (**int** j = 0; j < WEIGHT\[i\].size(); j++) \{ 
31. WEIGHT\[i\].at(j) = 0; 
32. nP\[i\].at(j) = 0; 
33. nN\[i\].at(j) = 0; 
34. \} 
35. \}

来具体看看create\_offset\_bbox和creater\_offset两个函数

**\[cpp\]** [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1. **int** \*offsets = (**int**\*) malloc(BBOX\_STEP\*nBBOX\***sizeof**(**int**));//7\*nBBOX\*sizeof(int)
2. **int** \*off = offsets; 
3. 
4. **for** (**int** i = 0; i < nBBOX; i++) \{ //nBBOX表示所有的网格数
5. **double** \*bb = bb0+mBBOX\*i;//偏移到下一个网格的属性的向量
6. //sub2idx(row,col,height) ((int) (floor((row)+0.5) + floor((col)+0.5)\*(height)))
7. //floor不大于
8. //bb\[0\]:left bb\[1\]top bb\[2\]right bb\[3\]bottom iHEIGHT:240 bb\[4\]索引从1开始 bb\[5\]表示number of left-right bboxes
9. //以下记录索引是从左到右，从上到下方式
10. \*off++ = sub2idx(bb\[1\]-1,bb\[0\]-1,iHEIGHT);//左上顶点索引
11. \*off++ = sub2idx(bb\[3\]-1,bb\[0\]-1,iHEIGHT);//左下顶点索引
12. \*off++ = sub2idx(bb\[1\]-1,bb\[2\]-1,iHEIGHT);//右上顶点索引
13. \*off++ = sub2idx(bb\[3\]-1,bb\[2\]-1,iHEIGHT);//右下顶点索引
14. \*off++ = (**int**) ((bb\[2\]-bb\[0\])\*(bb\[3\]-bb\[1\]));//记录当前网格的大小
15. \*off++ = (**int**) (bb\[4\]-1)\*2\*nFEAT\*nTREES; // pointer to features for this scale
16. \*off++ = bb\[5\]; // number of left-right bboxes, will be used for searching neighbours
17. \} 
18. **return** offsets;

**\[cpp\]** [view plain][] [copy][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1. **int** \*offsets = (**int**\*) malloc(nSCALE\*nTREES\*nFEAT\*2\***sizeof**(**int**));//
2. **int** \*off = offsets; 
3. 
4. **for** (**int** k = 0; k < nSCALE; k++)\{ //共有多少种尺度的BOX
5. **double** \*scale = scale0+2\*k;//scale0第一种尺度的尺寸信息，\*2表示列向量有2维，即高和宽，此表达式表示偏移到下一个box的尺寸向量
6. **for** (**int** i = 0; i < nTREES; i++) \{ //10
7. **for** (**int** j = 0; j < nFEAT; j++) \{ //13
8. //x0 4\*13 X 10 的矩阵
9. **double** \*x = x0 +4\*j + (4\*nFEAT)\*i;//4\*j因为每个feature是一个4维列向量，(4\*13)\*i即下一棵树
10. //sub2idx(row,col,height) ((int) (floor((row)+0.5) + floor((col)+0.5)\*(height)))
11. //scale\[1\]宽，scale\[0\]高,x\[0\]x坐标，x\[1\]y坐标
12. \*off++ = sub2idx((scale\[0\]-1)\*x\[1\],(scale\[1\]-1)\*x\[0\],iHEIGHT);//记录第一个点在该尺度BOX的具体位置,并转化为索引
13. \*off++ = sub2idx((scale\[0\]-1)\*x\[3\],(scale\[1\]-1)\*x\[2\],iHEIGHT);//记录第二个点在该尺度BOX的具体位置，并转化为索引
14. \} 
15. \}

1.  \}

今天继续，下面是开始要生成正负例来训练分类器了，首先：