使用Qt+OpenCV自己写了一个带旋转角度的NCC灰度模板匹配算子以及它的演示软件。算子的原理是基于NCC灰度匹配。
一、什么是NCC匹配
1、基于Normalized cross correlation(NCC：归一化互相关)用来比较两幅图像的相似程度已经是一个常见的图像处理手段。在工业生产环节检测、监控领域对对象检测与识别均有应用。NCC算法可以有效降低光照对图像比较结果的影响。而且NCC最终结果在0到1之间，所以特别容易量化比较结果，只要给出一个阈值就可以判断结果的好与坏。
2、在opencv代码中，matchTemplate函数里面有个方法是cv::TM_CCOEFF_NORMED ，它实现了NCC算子。CCOEFF的英文全称是：Correlation Coefficient，中文译为相关系数；NORMED是归一化的意思。但是该函数本身是不支持旋转角度和金字塔分级的，所以需要自己实现这些功能。matchTemplate函数保存在源码文件imgproc文件夹下的templmatch.cpp中。
https://github.com/opencv/opencv/blob/2.2/modules/imgproc/src/templmatch.cpp
https://github.com/opencv/opencv/blob/2.4.13.7/modules/imgproc/src/templmatch.cpp
https://github.com/opencv/opencv/blob/3.4.18/modules/imgproc/src/templmatch.cpp
https://github.com/opencv/opencv/blob/4.5.5/modules/imgproc/src/templmatch.cpp
建议：看v2.x的源码，比较精简。从v3.x开始新增了mask参数。
3、 matchTemplate函数各个方法的计算公式如下：
请重点关注NCC算子的计算方式cv::TM_CCOEFF_NORMED。公式摘录自书籍《学习OpenCV 3》第13章，模板匹配。
此外，OPenCV官方网站的文档也提供了公式说明：
https://docs.opencv.org/3.4.18/df/dfb/group__imgproc__object.html
v4.6.0版本的文档更详细，还新增了参数Mask的说明：
https://docs.opencv.org/4.6.0/df/dfb/group__imgproc__object.html
那么，公式里的T和I分别是什么意思？
T 代表模板图像(w,h)， I代表待匹配图像(W,H)。
R 代表输出的结果矩阵，大小为 (W-w+1)x(H-h+1)。
(x,y)代表结果矩阵的每个元素的坐标。
(x’,y’)代表模板矩阵的每个元素的坐标。
详情见：
https://blog.csdn.net/qq_42791845/article/details/103700503
https://blog.csdn.net/m0_38007695/article/details/114535686
https://blog.csdn.net/weixin_44229257/category_11737954.html
4、从OpenCV源码matchTemplate函数得出，在进行每种方法计算的时候，并不是直接在空间域操作，而是在crossCorr函数中，将输入图像做了一次DFT变换（即傅里叶变换），将 空间域的图像转换到 频率域中来进行处理，这也解释了OpenCV代码的高效性原因。
void crossCorr( const Mat& img, const Mat& _templ, Mat& corr, Point anchor, double delta, int borderType )
其实，crossCorr函数计算的结果就是 TM_CCORR的方法的计算结果，求两个矩阵的卷积。
TM_CCORR公式
OpenCV源码在执行完成crossCorr()函数之后，会继续调用：
static void common_matchTemplate( Mat& img, Mat& templ, Mat& result, int method, int cn )
所有方法都是基于crossCorr得到的结果矩阵的基础，再继续计算下去的。
TM_SQDIFF公式可以展开
TM_CCOEFF公式可以展开
其中 sum(I) 为源图像中模板图像对应区域的和，mean(T) 是模板图像的均值。
TM_CCOEFF_NORMED的分母
其中 σ 2为模板图像的方差，N,M 分别是模板图像的宽和高。
详情见：
https://blog.csdn.net/m0_38007695/article/details/114535686
https://blog.csdn.net/weixin_44229257/article/details/125059085
一句话总结：
OpenCV源码没有按照前面提到的公式来计算，而是采用了傅里叶变换，目的是加快运算速度。
其实傅里叶变换仍然不是最快的方法，计算卷积最快的方法是SIMD。
详情见：
https://www.cnblogs.com/Imageshop/p/4126753.html
https://www.cnblogs.com/Imageshop/p/9069650.html
https://www.cnblogs.com/Imageshop/p/8469208.html
5、如果不想使用傅里叶变换（不想在频域计算），而是直接在空间域计算，那么按照 CV_TM_SQDIFF公式，我们来计算
resultImage是结果矩阵R
templateImage是模板矩阵T
srcImage是原图矩阵I
(x,y)代表结果矩阵的每个元素的坐标。
(x’,y’)代表模板矩阵的每个元素的坐标。
for (int resultImageRow = 0; resultImageRow < resultImage_rows; resultImageRow++)
{
for (int resultImageCol = 0; resultImageCol < resultImage_cols; resultImageCol++)
{
int sum = 0;
short int temp = 0;
for (int templateImageRow = 0; templateImageRow < templateImage_rows; templateImageRow++)
{
for (int templateImageCol = 0; templateImageCol < templateImage_cols; templateImageCol++)
{
temp = templateImage.ptr<uchar>(templateImageRow)[templateImageCol] - srcImage.ptr<uchar>(resultImageRow + templateImageRow)[templateImageCol + resultImageCol];
sum += temp * temp;
}
}
resultImage.ptr<int>(resultImageRow)[resultImageCol] = sum;
}
}</int></uchar></uchar>
TM_CCORR公式，直接在空间域计算
int* resultImagePtr;
uchar* srcImagePtr;
uchar* templateImagePtr;
for (int resultImageRow = 0; resultImageRow < resultImage_rows; resultImageRow++)
{
resultImagePtr = resultImage.ptr<int>(resultImageRow);
for (int resultImageCol = 0; resultImageCol < resultImage_cols; resultImageCol++)
{
int sum = 0;
short int temp = 0;
for (int templateImageRow = 0; templateImageRow < templateImage_rows; templateImageRow++)
{
srcImagePtr = srcImage.ptr<uchar>(resultImageRow + templateImageRow) + resultImageCol;
templateImagePtr = templateImage.ptr<uchar>(templateImageRow);
for (int templateImageCol = 0; templateImageCol < templateImage_cols; templateImageCol++)
{
temp1 = *(srcImagePtr++);
temp2 = *(templateImagePtr++);
sum += temp1 * temp2;
}
}
*(resultImagePtr++) = sum;
}
}</uchar></uchar></int>
二、该演示软件实现的主要功能：
未使用商业图像处理库，而是纯粹Qt+OpenCV
1、NCC匹配
2、金字塔
3、最大重叠率
4、旋转角度
5、匹配分数
6、不支持缩放
7、模板文件读写
8、ROI框选功能，人机交互
三、部分头文件
创建模板，对照学习halcon的算子create_ncc_model
查找物体，对照学习halcon的算子find_ncc_model
#ifndef CNCCMATCH_H
#define CNCCMATCH_H
#include "nccmodelid.h"
#include "result.h"
class VISIONCORE_EXPORT CNccMatch
{
public:
CNccMatch();
virtual ~CNccMatch();
public:
void createNccModel(const cv::Mat &imageModel, int numLevels, double angleStart, double angleExtent, double angleStep, CNCCModelID &modelID);
void findNccModel(const cv::Mat &imageSearch, const CNCCModelID &modelID, double angleStart, double angleExtent, double minScore, int numMatches, double maxOverlap, int numLevels,
std::vector<int> &vtRow, std::vector<int> &vtColumn, std::vector<double> &vtAngle, std::vector<double> &vtScore);
private:
void multipleMaxLoc(const cv::Mat &image, double minScore, int numMatches, std::vector<cv::point> &vtLocations, std::vector<double> &vtMaxima);
void imageRotate(cv::Mat &imageSrc, double angle, cv::Mat &imageDst, cv::Mat &mask);
void clusterAnalyze(const std::vector<smatchresult> &vtSrc, std::vector<smatchresult> &vtDst, double disThreshold = 10);
void nmsMatchesRotatedRect(const std::vector<smatchresult> &vtSrc, const cv::Size &modelsize, std::vector<smatchresult> &vtDst, double maxOverlap);
void nmsMatchesRect(const std::vector<smatchresult> &vtSrc, std::vector<smatchresult> &vtDst, double maxOverlap);
};
#endif // CNCCMATCH_H</smatchresult></smatchresult></smatchresult></smatchresult></smatchresult></smatchresult></double></cv::point></double></double></int></int>
四、演示软件截图
未使用商业图像处理库，而是纯粹Qt+OpenCV
五、下一版的优化改进方向
1、模板积分图像实现预计算
2、CPU指令集的优化提速
优化提速的好文章：
https://www.cnblogs.com/Imageshop/p/14559685.html
六、bilibili视频教程
OpenCV中的模板匹配（二）源码对比_哔哩哔哩_bilibili
OpenCV中的模板匹配（七）相关性系数匹配_哔哩哔哩_bilibili
OpenCV中的模板匹配（八）归一化相关性系数匹配_哔哩哔哩_bilibili
X、引申知识点：NCC匹配与形状匹配的比较
create_ncc_model
find_ncc_model
read_ncc_model
write_ncc_model
clear_ncc_model
create_scaled_shape_model
find_scaled_shape_model
read_shape_model
write_shape_model
clear_shape_model
1、NCC匹配优点
纹理
对焦不清
形状轻微变形
2、形状匹配优点
精度高
支持X/Y 方向缩放
支持物体遮挡
支持多模板
支持非线性光照变化
3、他人写的git
GitHub – luosch/stereo-matching: stereo-matching using SSD, NCC and ASW
4、什么是模板匹配？
模板匹配就是在整个图像区域发现与给定图像最相似的小块区域，所以模板匹配首先需要一个模板图像，另外需要一个待检测图像：
在待检测图像上，从左到右，从上到下，计算模板图像与重叠子图像的匹配度（相似度），匹配度（相似度）越大，两者相同的可能性越大。
对于每一个位置将计算的相似结果保存在矩阵 R 中。如果输入图像的大小为 WxH 且模板图像的大小为 wxh，则输出矩阵R 的大小为 (W-w+1)x(H-h+1) 。
获得 R 后，从 R 中找出匹配度最高的位置，那么该位置对应的区域就是最匹配的，区域为以该点为顶点，长宽和模板图像一样大小的矩阵。)
Original: https://blog.csdn.net/libaineu2004/article/details/123132530
Author: libaineu2004
Title: 我的Qt作品（11）使用Qt+OpenCV实现一个带旋转角度的NCC灰度模板匹配演示软件
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/532799/
转载文章受原作者版权保护。转载请注明原作者出处！