ORB特征提取与匹配
- slambook2/ch7/orb_cv.cpp
* - 1. 头文件
- 2. 图片输入
- 3. 初始化
- 4. 第一步:检测 Oriented FAST 角点位置
- 5. 第二步:根据角点位置计算 BRIEF 描述子
- 6. 第三步:对两幅图像中的BRIEF描述子进行匹配，使用 Hamming 距离
- 7. 第四步:匹配点对筛选
- 8. 第五步:绘制匹配结果
- 完整程序
- 代码实践
slambook2/ch7/orb_cv.cpp
1. 头文件
#include
#include
#include
#include
#include
using namespace std;
using namespace cv;
2. 图片输入
确保图像个数为2：
int main(int argc, char **argv) {
if (argc != 3) {
cout << "usage: feature_extraction img1 img2" << endl;
return 1;
}
Mat img_1 = imread(argv[1], CV_LOAD_IMAGE_COLOR);
Mat img_2 = imread(argv[2], CV_LOAD_IMAGE_COLOR);
assert(img_1.data != nullptr && img_2.data != nullptr);
- *
imread函数
#include
Mat cv::imread ( const String & filename,int flags = IMREAD_COLOR )
imread函数原型非常简单，可以总结为三点
返回值，Mat 类型， 即返回读取的图像，读取图像失败时返回一个空的矩阵对象（Mat::data == NULL)参数1 filename， 读取的图片文件名，可以使用相对路径或者绝对路径，但必须带完整的文件扩展名（图片格式后缀）参数2 flags, 一个读取标记，用于选择读取图片的方式，默认值为1，flag值的设定与用什么颜色格式读取图片有关
图像类型有以下几种：
CV_LOAD_IMAGE_UNCHANGED——等价取值为-1，这个标识在新版本中已被废置，可以忽略
CV_LOAD_IMAGE_GRAYSCALE——等价取值为0，返回灰色图像
CV_LOAD_IMAGE_COLOR——等价取值为1，返回彩色图像
CV_LOAD_IMAGE_ANYDEPTH——等价取值为2，若图像深度是16位或者32位，就返回对应深度，否则，返回8位图像
如果输入有冲突的标志，将采用较小的数字值
assert函数
assert() 的用法像是一种”契约式编程”，在我的理解中，其表达的意思就是，程序在我的假设条件下，能够正常良好的运作，其实就相当于一个 if 语句：
if(假设成立)
{
程序正常运行；
}
else
{
报错&&终止程序！（避免由程序运行引起更大的错误）
}
3. 初始化
std::vector<KeyPoint> keypoints_1, keypoints_2;
Mat descriptors_1, descriptors_2;
Ptr<FeatureDetector> detector = ORB::create();
Ptr<DescriptorExtractor> descriptor = ORB::create();
Ptr<DescriptorMatcher> matcher = DescriptorMatcher::create("BruteForce-Hamming");
FeatureDetector特征检测器类，通过创建该类对象来使用多种特征检测方法。【用于检测指定特征点的角点位置】
OpenCV2.4.3中提供了10种特征检测方法：FAST，SIFT，SURF，ORB，HARRIS，SimpleBlob，STAR，MSER，GFTT，Dense。
这里使用ORB特征检测方法DescriptorExtractor特征描述子提取类，提供了一些特征描述子提取的算法。
其可以针对图像关键点，计算其特征描述子，其可以被表达成密集(dense)，即固定维数的向量。
其计算方式为每隔固定个像素计算。
一个特征描述子是一个向量，特征描述子的集合为Mat格式，每一行是一个关键点的特征描述子。
OpenCV支持四种类型的特征描述子提取方法：SIFT，SURF，ORB，BRIEF。-
DescriptorMatcher特征匹配类，提供了一些特征点匹配的方法。
该类主要包含图像对之间的匹配以及图像和一个图像集之间的匹配。
OpenCV2中的特征匹配方法都继承自该类。
对于误匹配情况，提供了KNNMatch方法。 -
*
vector
vector<T> v1;
- *
Ptr<featuredetector> detector = ORB::create();</featuredetector>
static Ptr<ORB> cv::ORB::create (
int nfeatures = 500,
float scaleFactor = 1.2f,
int nlevels = 8,
int edgeThreshold = 31,
int firstLevel = 0,
int WTA_K = 2,
int scoreType = ORB::HARRIS_SCORE,
int patchSize = 31,
int fastThreshold = 20
)
nfeatures ：最多提取的特征点的数量；
scaleFactor ： 金字塔图像之间的尺度参数，类似于SIFT中的?；
nlevels： 高斯金字塔的层数；
edgeThreshold ：边缘阈值，这个值主要是根据后面的patchSize来定的，靠近边缘edgeThreshold以内的像素是不检测特征点的。
firstLevel-：看过SIFT都知道，我们可以指定第一层的索引值，这里默认为0。
WET_K ： 用于产生BIREF描述子的点对的个数，一般为2个，也可以设置为3个或4个，那么这时候描述子之间的距离计算就不能用汉明距离了，而是应该用一个变种。OpenCV中，如果设置WET_K = 2，则选用点对就只有2个点，匹配的时候距离参数选择NORM_HAMMING，如果WET_K设置为3或4，则BIREF描述子会选择3个或4个点，那么后面匹配的时候应该选择的距离参数为NORM_HAMMING2。
scoreType ：用于对特征点进行排序的算法，你可以选择HARRIS_SCORE，也可以选择FAST_SCORE，但是它也只是比前者快一点点而已。
patchSize ：用于计算BIREF描述子的特征点邻域大小。
4. 第一步:检测 Oriented FAST 角点位置
使用detect方法，将其存入Keypoints变量中
chrono::steady_clock::time_point t1 = chrono::steady_clock::now();
detector->detect(img_1, keypoints_1);
detector->detect(img_2, keypoints_2);
- *
时间工具chrono
使用 chrono 时，最主要应该是下面这两种用来记录时间的类别：
纪录时间点的 ： time_point
纪录时间长度的 ： duration
Chrono 一般来说有提供两种 clock 可以使用，分别是：system_clock 和 steady_clock。
system_clock ：是直接去抓系统的时间，有可能在使用中会被被修改（参考）；
steady_clock ：则是确实地去纪录时间的流逝，所以不会出现时间倒退的状况
举例：
std::chrono::steady_clock::time_point t1 = std::chrono::steady_clock::now();
std::cout << "Hello World\n";
std::chrono::steady_clock::time_point t2 = std::chrono::steady_clock::now();
std::cout << "Printing took "
<< std::chrono::duration_cast<std::chrono::microseconds>(t2 - t1).count()
<< "us.\n";
通过 clock 类别所提供的 now() 这个函数，可以快速地取得 现在的时间；而两者相减的话，则会产生一个型别为 duration 的结果；在上面的例子里面，就是一开始先取得当下的时间 t1，然后输出一个字串后、再去取得一个时间 t2，之后两者相减，就可以取得 中间过程所花费的时间了。在这边则是在相减后，把结果转换成以 micro second 为单位后，再做输出。
5. 第二步:根据角点位置计算 BRIEF 描述子
descriptor->compute(img_1, keypoints_1, descriptors_1);
descriptor->compute(img_2, keypoints_2, descriptors_2);
chrono::steady_clock::time_point t2 = chrono::steady_clock::now();
chrono::duration<double> time_used = chrono::duration_cast<chrono::duration<double>>(t2 - t1);
cout << "extract ORB cost = " << time_used.count() << " seconds. " << endl;
Mat outimg1;
drawKeypoints(img_1, keypoints_1, outimg1, Scalar::all(-1), DrawMatchesFlags::DEFAULT);
imshow("ORB features", outimg1);
- *
drawKeypoint函数
cv2.drawKeypoints(image, keypoints, outImage, color=None, flags=None)
image
原始图像，可以使三通道或单通道图像；
keypoints
特征点向量，向量内每一个元素是一个KeyPoint对象，包含了特征点的各种属性信息；
outImage
特征点绘制的画布图像，可以是原图像；
color
绘制的特征点的颜色信息，默认绘制的是随机彩色；Scalar::all(-1) // 颜色随机
flags
特征点的绘制模式，其实就是设置特征点的那些信息需要绘制，那些不需要绘制，有以下几种模式可选：
DEFAULT：只绘制特征点的坐标点,显示在图像上就是一个个小圆点,每个小圆点的圆心坐标都是特征点的坐标。
DRAW_OVER_OUTIMG：函数不创建输出的图像,而是直接在输出图像变量空间绘制,要求本身输出图像变量就是一个初始化好了的,size与type都是已经初始化好的变量
NOT_DRAW_SINGLE_POINTS：单点的特征点不被绘制
DRAW_RICH_KEYPOINTS：绘制特征点的时候绘制的是一个个带有方向的圆,这种方法同时显示图像的坐标,size，和方向,是最能显示特征的一种绘制方式。
6. 第三步:对两幅图像中的BRIEF描述子进行匹配，使用 Hamming 距离
vector<DMatch> matches;
t1 = chrono::steady_clock::now();
matcher->match(descriptors_1, descriptors_2, matches);
t2 = chrono::steady_clock::now();
time_used = chrono::duration_cast<chrono::duration<double>>(t2 - t1);
cout << "match ORB cost = " << time_used.count() << " seconds. " << endl;
7. 第四步:匹配点对筛选
auto min_max = minmax_element(matches.begin(), matches.end(),
[](const DMatch &m1, const DMatch &m2) { return m1.distance < m2.distance; });
double min_dist = min_max.first->distance;
double max_dist = min_max.second->distance;
printf("-- Max dist : %f \n", max_dist);
printf("-- Min dist : %f \n", min_dist);
std::vector<DMatch> good_matches;
for (int i = 0; i < descriptors_1.rows; i++)
{
if (matches[i].distance max(2 * min_dist, 30.0))
{
good_matches.push_back(matches[i]);
}
}
- *
minmax_element() 函数
minmax_element (ForwardIterator first, ForwardIterator last, Compare comp);
first：一个输入迭代器，指示要比较的范围的第一个位置。
last：一个输入迭代器，指示要比较的范围中过去的最后一个元素。
comp： 一个用户定义的二元谓词函数，它接受两个参数，如果两个参数按顺序返回真，否则返回假。它遵循严格的弱排序来对元素进行排序。
8. 第五步:绘制匹配结果
Mat img_match;
Mat img_goodmatch;
drawMatches(img_1, keypoints_1, img_2, keypoints_2, matches, img_match);
drawMatches(img_1, keypoints_1, img_2, keypoints_2, good_matches, img_goodmatch);
imshow("all matches", img_match);
imshow("good matches", img_goodmatch);
waitKey(0);
- *
drawMatches()函数
void drawMatches( const Mat& img1, const vector<KeyPoint>& keypoints1,
const Mat& img2, const vector<KeyPoint>& keypoints2,
const vector<vector<DMatch> >& matches1to2, Mat& outImg,
const Scalar& matchColor=Scalar::all(-1), const Scalar& singlePointColor=Scalar::all(-1),
const vector<vector<char> >& matchesMask=vector<vector<char> >(), int flags=DrawMatchesFlags::DEFAULT );
img1 – 源图像1
keypoints1 – 源图像1的特征点.
img2 – 源图像2.
keypoints2 – 源图像2的特征点
matches1to2 – 源图像1的特征点匹配源图像2的特征点[matches[i]] .
outImg – 输出图像具体由flags决定.
matchColor– 匹配的颜色（特征点和连线),若matchColor ==Scalar::all(-1)，颜色随机.
singlePointColor – 单个点的颜色，即未配对的特征点，若matchColor ==Scalar::all(-1)，颜色随机.
matchesMask –Mask决定哪些点将被画出，若为空，则画出所有匹配点.
flags – Fdefined by DrawMatchesFlags.
- *
waitKey()函数
1.waitKey()与waitKey(0)，都代表 无限等待，waitKey函数的默认参数就是int delay = 0，故这俩形式本质是一样的。
2.waitKey(n)，等待 n毫秒后，关闭显示的窗口。
完整程序
#include
#include
#include
#include
#include
using namespace std;
using namespace cv;
int main(int argc, char **argv) {
if (argc != 3) {
cout << "usage: feature_extraction img1 img2" << endl;
return 1;
}
Mat img_1 = imread(argv[1], CV_LOAD_IMAGE_COLOR);
Mat img_2 = imread(argv[2], CV_LOAD_IMAGE_COLOR);
assert(img_1.data != nullptr && img_2.data != nullptr);
std::vector<KeyPoint> keypoints_1, keypoints_2;
Mat descriptors_1, descriptors_2;
Ptr<FeatureDetector> detector = ORB::create();
Ptr<DescriptorExtractor> descriptor = ORB::create();
Ptr<DescriptorMatcher> matcher = DescriptorMatcher::create("BruteForce-Hamming");
chrono::steady_clock::time_point t1 = chrono::steady_clock::now();
detector->detect(img_1, keypoints_1);
detector->detect(img_2, keypoints_2);
descriptor->compute(img_1, keypoints_1, descriptors_1);
descriptor->compute(img_2, keypoints_2, descriptors_2);
chrono::steady_clock::time_point t2 = chrono::steady_clock::now();
chrono::duration<double> time_used = chrono::duration_cast<chrono::duration<double>>(t2 - t1);
cout << "extract ORB cost = " << time_used.count() << " seconds. " << endl;
Mat outimg1;
drawKeypoints(img_1, keypoints_1, outimg1, Scalar::all(-1), DrawMatchesFlags::DEFAULT);
imshow("ORB features", outimg1);
vector<DMatch> matches;
t1 = chrono::steady_clock::now();
matcher->match(descriptors_1, descriptors_2, matches);
t2 = chrono::steady_clock::now();
time_used = chrono::duration_cast<chrono::duration<double>>(t2 - t1);
cout << "match ORB cost = " << time_used.count() << " seconds. " << endl;
auto min_max = minmax_element(matches.begin(), matches.end(),
[](const DMatch &m1, const DMatch &m2) { return m1.distance < m2.distance; });
double min_dist = min_max.first->distance;
double max_dist = min_max.second->distance;
printf("-- Max dist : %f \n", max_dist);
printf("-- Min dist : %f \n", min_dist);
std::vector<DMatch> good_matches;
for (int i = 0; i < descriptors_1.rows; i++) {
if (matches[i].distance max(2 * min_dist, 30.0)) {
good_matches.push_back(matches[i]);
}
}
Mat img_match;
Mat img_goodmatch;
drawMatches(img_1, keypoints_1, img_2, keypoints_2, matches, img_match);
drawMatches(img_1, keypoints_1, img_2, keypoints_2, good_matches, img_goodmatch);
imshow("all matches", img_match);
imshow("good matches", img_goodmatch);
waitKey(0);
return 0;
}
代码实践
https://blog.csdn.net/qq_38364548/article/details/122108705
Original: https://blog.csdn.net/qq_38364548/article/details/125096415
Author: @曾记否
Title: slambook2（ch7）—— orb_cv.cpp代码详解（ORB特征提取与匹配）
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/704060/
转载文章受原作者版权保护。转载请注明原作者出处！