图像检索实验报告

Project4 Image Retrieval 戚婷 SA14006019

Project 4

（一）实验方法：

1. （构造样本库）对每一幅图像利用DoG算子寻找关键点，每个关键点处构造SIFT向量，该幅图像的所有关键点的SIFT矢量构成该图像的特征矢量集。所有图像的特征矢量集构成样本库特征矢量集；

2. （匹配检索）求出需要检索的图像的特征矢量集，用ANN搜索算法，与样本库特征矢量集进行相似度匹配并输出最相似的前K张图。

（二）实验算法原理：

1. 图像的多尺度表示：

利用SIFT算法提取特征时的尺度不变性，对图像的SIFT特征构成样本库。 构建尺度空间，在尺度空间内找到稳定的关键点。 尺度空间定义为：

L(x,y,?)?G(x,y,?)?I(x,y)

其中G(x,y,?)?12??2e?(x2?y2)/2?2是尺度可变的高斯函数核。

2. 关键点的构造：

为得到关键点，构建高斯差分尺度空间：

D(x,y,?)?[G(x,y,k?)?G(x,y,?)]?I(x,y)

?L(x,y,k?)?L(x,y,?)检测D(x,y,?)的局部极值点作为候选关键点。

极值点定义为，检测点和它同尺度的八个相邻点和上下相邻尺度对应的9*2共26个点相比较，若是最小值或者最大值，就认为该点是该尺度下的特征点。

为增强匹配稳定性，提高抗噪声能力，需要剔除不良特征点，即： 1） 低对比度的关键点 2） 不稳定的边缘响应点。 具体剔除方法为：

1）对D(x,y,?)在候选点x处进行泰勒展开式到二次项：

Project4 Image Retrieval 戚婷 SA14006019

?DT1T?2DD(x)?D?x?xx 2?x2?x?2D?1?D1?D?????，若对其求极值得到x，计算D(x)?D?x2?x?x2?x?)|?0.3则剔除。 |D(x2）计算Hessen矩阵：

边缘响应点剔除通过Hessen矩阵来确定是否剔除：

?DxxH???DyxDxy? Dyy??Tr(H)?Dxx?Dyy????,2Det(H)?DxxDyy?Dxy???,

Tr(H)2(???)2(r???)2(r?1)2???2Det(H)??r?rTr(H)2(r?1)2?若该点不满足则剔除。

Det(H)r3. 生成关键点描述子生成：

构造SIFT 特征矢量：在每一个关键点周围找一个16*16的像素领域，划分成4*4的小

区域，每个区域，求得像素梯度分布特性，每个区域共8个方向特性，这样一个关键点有128维方向性信息。这样，对所有图像可以构建一个SIFT的样本库，根据该库来匹配图像。

4. ANN搜索：

利用Kd树的方法来对每一幅待检索图像进行相似图像匹配。在图像样本库P中，和测试集Q中，分别提取样本库和测试集图像的SIFT向量集，ANN算法可以快速找到样本库中与测试图像欧氏距离最短的K个点。这样，匹配点数越多，则相似程度越好，这样即可进行图片相似程度排序。

(三) 实验程序：

VLfeat工具包：本实验中用到VLfeat工具包，该工具包在本次实验中用于图像特征提取（SIFT）以及ANN搜索最近kd树的计算。所以在运行程序前需要将工具箱文件夹

vlfeat-0.9.17下的toolbox文件夹添加到路径中，并运行toolbox文件夹中的vl_setup程序，完成后即可。

实验中数据文件：data是图像库，file是对应的SIFT向量库。 实验中编写的程序如下：

Project4 Image Retrieval 戚婷 SA14006019

（1）Pre_sift.m: 用来对图像库中的图像进行关键点位置和对应的128维SIFT向量的构建，返回值F是关键点的信息，D是SIFT向量集。另外，还构造了D向量集kd树kdforest。 （2）main.m: 遍历2050张图像来寻得每一类图像中各图像的相似图像。根据K值的不同得到不同的结果。并计算描述算法性能的各项指标。

（3）pre_read.m 、pre_root.m、pre_sift_write.m:用于图像文件的读取及特征矢量的读写。 （4）demo.m: 为示例程序，完成给定一幅图像，完成图像搜索过程。

(四) 实验结果及分析：

1. 每个种类中50幅图像的指标均值：

结果数据为一个41*50*4大小的矩阵，41表示41类，50表示每一类含50幅图像，4表示有4种检索返回情况，分别为返回K张图（K=10,20,50,100）。第n行第m列元素表示第n类图像中第m幅图像的检索准确率。

下表1至表4分别为为1到41类的检索准确率结果（不考虑cluster类，即第13类值为0）：

表1 P@K （K=10）

1 11 22 32 2 12 23 33 3 14 24 34 4 15 25 35 5 16 26 36 6 17 27 37 7 18 28 38 8 19 29 39 9 20 30 40 10 21 31 41 0.6850 0.3590 0.1350 0.1080 0.1600 0.2810 0.1150 0.1350 0.1020 0.1180 0.1130 0.1300 0.5680 0,1430 0.1200 0.1100 0.1020 0.1330 0.1110 0.1660 0.4430 0.1420 0.1460 0.1380 0.1038 0.1180 0.1382 0.2019 0.1041 0.1580 0.1018 0.2178 0.1382 0.1322 0.1042 0.1320 0.2320 0.1040 0.1318 0.1140 表2 P@K （K=20）

1 11 22 32 2 12 23 33 3 14 24 34 4 15 25 35 5 16 26 36 6 17 27 37 7 18 28 38 8 19 29 39 9 20 30 40 10 21 31 41 0.8220 0.3420 0.1060 0.0640 0.1160 0.2430 0.0760 0.0910 0.0540 0.0670 0.0700 0.0780 0.3250 0.1100 0.0810 0.0650 0.0570 0.0940 0.0640 0.1420 0.4260 0.1080 0.0820 0.0530 0.0760 0.1040 0.1450 0.0540 0.0620 0.1220 0.0600 0.1790 0.0890 0.0800 0.0650 0.0960 0.1820 0.0710 0.0710 0.0670

表3 P@K （K=50）

Project4 Image Retrieval 戚婷 SA14006019

1 11 22 32 2 12 23 33 3 14 24 34 4 15 25 35 5 16 26 36 6 17 27 37 7 18 28 38 8 19 29 39 9 20 30 40 10 0.0504 21 0.1104 31 0.0876 41 0.0396 0.7796 0.2632 0.1020 0.0320 0.0868 0.1454 0.0536 0.0616 0.0872 0.0536 0.0464 0.1684 0.0872 0.0624 0.0396 0.0360 0.0704 0.0348 0.3056 0.0828 0.0564 0.0244 0.0612 0.0832 0.0956 0.0252 0.0416 0.0428 0.1352 0.0580 0.0540 0.0440 0.0664 0.1300 0.0436 0.0612 表4 P@K （K=100）

1 11 22 32 2 12 23 33 3 14 24 34 4 15 25 35 5 16 26 36 6 17 27 37 7 0.0446 18 0.0316 28 0.0702 38 0.0548 8 19 29 39 9 20 30 40 10 21 31 41 0.4634 0.1826 0.1038 0.0238 0.0684 0.1030 0.0464 0.0400 0.1036 0.0858 0.0522 0.0308 0.2050 0.0692 0.0480 0.0172 0.0546 0.0738 0.0392 0.0966 0.0452 0.0406 0.0448 0.0544 0.0438 0.0398 0.0528 0.0590 0.0300 0.0944 0.0252 0.0416 0.0554 0.0392 0.0704 0.0300 其中，红色标出的为正确率最高值，蓝色标出的为准确率最低值。各指标详细的值 P@K，R@K，F@K，MRR@K 都在result.mat中可以看到。

2. 全部图像指标的平均值如下：

MeanofP@K（K=10） = 0.1632 MeanofP@K（K=20） = 0.1236 MeanofP@K（K=50） = 0.0895 MeanofP@K（K=100）= 0.0718

其他各项指标均存储在result.mat文件中。 3. 平均每幅图像检索时间：

Mean_time=30.9328 seconds

实验平台: inter core @I5 8G DDR3 matlab2013a 4. 实验结果分析：

从实验结果可以看出第一类的检索准确率要优于其他类别，分析原因，可能是因为SIFT特征能很好的刻画出第一类中的手风琴图片的特性，因此对其匹配准确性也较高。 总体上看，实验结果中有一些类别的准确率较低，故算法还需要进一步的改进，可以考虑添加图像的其他特征矢量，例如灰度共生矩阵或者灰度直方图特征等等。

Project4 Image Retrieval 戚婷 SA14006019

参考文献：

【1】 吴锐航, 李绍滋, 邹丰美. 基于SIFT 特征的图像检索倡[J]. 计算机应用研究, 2008, 25(2).

【2】 Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International journal of computer vision, 2004, 60(2): 91-110.