图像拼接方法总结

图像拼接方法总结

图像拼接方法总结 ........................................................................................................................... 1

引言 ................................................................................................................................... 1

1 基于网格的拼接 ................................................................................................................... 3

2基于块匹配的拼接（也叫模板匹配） ................................................................................ 4

3基于比值法拼接 .................................................................................................................... 6

4 基于FFT的相位相关拼接 .................................................................................................. 7

基于特征的图像配准方法 ............................................................................................................... 9

5 Harris角点检测算法 ........................................................................................................... 10

6基于SIFT尺度不变特征的图像拼接 ................................................................................ 15

SIFT主要思想及特点 .................................................................................................... 16

SIFT算法详细过程 ........................................................................................................ 16

SIFT匹配算法实现 ........................................................................................................ 20

7 基于surf 的图像配准 ....................................................................................................... 22

SURF算法介绍 ........................................................................................................................ 22

算法详细过程 ......................................................................................................................... 23

8 基于最大互信息的图像配准 ............................................................................................. 24

9 基于小波的图像拼接 ......................................................................................................... 27

10 基于轮廓特征的图像拼接技术 ....................................................................................... 27

引言

首先研究了图像拼接的基本技术，包括图像预处理、图像配准、图像融合，

图像的预处理包括：图像预处理的主要目的是为了：降低图像配准的难度，提高图像配准精

度。图像

预处理包括：图像投影、图像去噪、图像修正等。

图像配准采用的算法主要有两类：

一类是基于区域的算法，是指利用两张图像间灰度的关系来确定图像间坐标变化的参

数，其中包括基于空间的像素配准算法包括（1基于块匹配，2基于网格匹配，3基于比值

匹配），基于频域的算法（4既是基于FFT的相位相关拼接）等。

另一类是基于特征拼接的算法，是利用图像中的明显特征（点，线，边缘，轮廓，角

点）来计算图像之间的变换，而不是利用图像中全部的信息，其中包括5 Harris角点检测算

法，6 SIFT（角点）尺度不变特征转换算法，7 surf（角点，这种方法是sift方法的改进，

速度提高）特征算法，

第三类是8 基于最大互信息的拼接，9 基于小波（将拼接工作由空间域转向小域波，

即先对要拼接的图像进行二进小波变换，得到图像的低频、水平、垂直三个分量，然后对这

三个分量进行基于区域的拼接，分别得到三个分量的拼接结果，最后进行小波重构即可获得

完整的图像）。

图像的融合：1直接平均值法、2基于小波变换、3线性加权法4 最大值法 5 多元回归算法

1 基于网格的拼接

优缺点：计算量大，精度高，很难选择初始步长。

方法：

可在一幅图像的重叠区域中取一个网格，然后将网格在另一幅图像上依次移动，计算两

幅图像中所有网格点中对应像素点的RGB值的差的平方和。找出其中的最小值，并记录其

对应的网格位置，即是最佳匹配位置。为了减少运算量并提高匹配精度，将算法分为两个步

骤:首先是粗匹配，网格每次水平或垂直移动一个指定的网格间距。接着是精确匹配，算法

假设当前点为最佳匹配点并以此为中心，网格分别向上下、左右各移动一个小步长，计算该

网格点对应像素差的平方和，将其中的最小值与当前值进行比较，如果此值比当前值优，则

替换当前点，成为新的最佳点。该步骤的初始步长定为第一步移动步长的一半，依次循环进

行，每次循环步长减为当前值的一半，直到水平步长和垂直步长均减为零为止。

下面简单说明该算法，为了方便描述，假设两幅图像重叠区域在50～150个像素，网格模板

数为9*9，网格水平间距和垂直间距均为10个像素，网格上的A点与第二幅图像边界的A

点(即是边界的中点)重合，假设第二幅图像中的A点为最佳匹配位置。经过算法拼接后的结

果如图1(b)所示。

图 2 网格模板匹配算法框图

相关文章有：

1 一种改进的变网格模板数字图像快速拼接

2 基于网格模板的最小欧氏距离准则图像自动拼接

3 一种基于网格的数码相机数字化图像纠正拼接算法

2基于块匹配的拼接（也叫模板匹配）

基于像素的算法是在一幅图像中选取一个模板,根据评价函数在另一幅图像中寻找与之

最相似的点或区域。该算法对图像存在大量相似区域且重叠部分较小的情况,模板块选取的

随性会使拼接出现很大误差.

先对两幅相邻图像进行特征点提取,然后根据特征点的位置在第一副图像确定模板块的

大小,在第二幅图像确定搜索范围,然后进行匹配计算,完成图像拼接。本文采用精度较高的

Harris角检测算子来提取特征点。（下面章节详细介绍）

基于模板匹配的图像拼接就是在图像的已知重叠区域中裁剪出一块矩形区域作为模板,

和被搜索图像中同样大小的一块区域进行对比,根据两个区域特征的相似程度来确定最佳的

匹配位置。若模板选择得不理想,则提取的模板可能会因为特征不明显而导致误匹配。

基于模板匹配的全景图像拼接算法可描述为:

Step1:划定模板图;

Step2:在匹配图中设定搜索范围,找出与模板图具有最大相似性的位置；

Step3:调入包含图,根据最大相似位置无缝拼接。

在拼接算法中,第1步模板的选择对匹配的准确度影响很大,而计算时间消耗最大的是

第2步,即模板匹配。本文在已有的模板匹配理论基础上,对这两点不足作了改进。首先根据

Harris算子提取的特征点的位置确定模板块的位置。在第一幅图像重叠区域,对Harris算子提

取的特征点按I值大小进行排序,并选择其中I值最大的3个点确定一个模板。这3个特征点

要满足不在一条直线上的条件,且每两点间距离要大于某一定值p且小于q。根据此原则确定

的模板大小为M×N,p和q的设定是为防止模板过小或者过大,因为模板过小会使匹配精度

降低,过大则影响计算的速度。记下所选模板中I值最大点在模板中的位置(i,j)和模板内特征

点个数T。

图1匹配流程图

然后在第二幅图像内进行由粗到精的模板匹配。在第二幅图像重叠区域内以每个特征点作为

待搜索模板中的位置(i,j),以此来确定大小为M×N的模板,并统计各搜索模板内特征点个数

Ni。当Ni与第一幅图像中所确定模板内的特征点个数T相差很大时,可将该模板区域直接删

除,不进行下一步的精确匹配,即互相关运算,仅对满足条件的几个搜索待匹配模板,进行相关

运算,确定精确匹配,即:当

进行相关运算;当

为设定个数),则在此搜索模板内不与确定模板

时,该搜索模板与确定模板进行相关运算,寻找最优匹配块。本

文利用互相关系数法来确定与模板块最为相似的匹配块:

式中,

值,

为确定模板图像上点的灰度值, 为待匹配模板图像上点的灰度

C为互相关系数,当C=0时,表示不相关,当C=1时,表示完全相关。在进行相关运算中,最大相

关系数的地方即为目标图像所在的位置。最后比较几次相关运算得到的C值,确定两幅图像

最佳配准点的位置。

参考文章：

1 特征提取与模板匹配结合的图像拼接方法

2 边缘重叠图像拼接中的特征选取

3 基于块匹配和特征点匹配的图像拼接算法研究

4 基于ROI块匹配的全景图像拼接鲁棒性方法

5 图像拼接技术及其在眼底摄像中的应用

6 图像模板匹配快速算法研究

3基于比值法拼接

优缺点：计算量大，精度高，利用图像信息少，只利用2条竖直的平行特征线段，对图像采

集提出了较高要求，不适用于旋转或者纹理特征较多的图像。

方法：

算法的思路是选取一幅图像重叠部分中间隔的一定距离的2列的比值作模板,在第二幅图像

中对应重叠区域搜索最佳匹配,找到与第一幅图像索取模板对应的2列,实现拼接.

如图1所示,图1a为(W1×H)像素的图像,图1b为(W2×H)像素的图像, W1和W2可以

相等,也可以不等.图1a和图1b为左右重叠关系,图1a在图1b的左边,本文暂不考虑垂直方向

重叠的问题,垂直方向重叠与水平方向类似.在图1a的重叠区域选取间隔为span的2列像素

(第j列和第j+span列),计算其对应像素比值,即为a模板,a(i)=P1(i,j)/P1(i,(j+span)),其中i∈(1,

H),j为选定的列.在第二幅图像中从第一列起依次取间隔为span的2列,计算其对应像素的比

值即为b模板,b(i,j)=P21(i,j)/P22(i,j),其中p21(i,j)=P2(i,j),(i∈(1,H),j∈(1, W2-span))P22(i,j)=P2

(i,j),(i∈(1,H),J∈(span+1,W2)).计算a模板与b模板差值,即为c模板.c(i,j)=(a(i,j)-b(i,j))2,其中(i

∈(1,H),j∈(1, W2-span)).c为二维数组,计算c对应的列向量求和,就得到sum,sum(j)=∑Hi=1c

(i,j),sum(j)的大小就反映了两幅图像选定像素对应的列的差异,sum(j)的最小值Summin对应

的列坐标Collablemin即为最佳匹配.

相关文章：

1基于比值法图像拼接算法研究

4 基于FFT的相位相关拼接

优缺点：图像的旋转，平移，比例变换都能在傅里叶变换域中反映出来，利用变换域

方法还有可能获得一定程度的抵抗噪声的鲁棒性，同时傅里叶变换可以采用FFT

的方法提高执行的速度，另外，傅氏变换由于有成熟的快速算法和易于硬件实现，

方法：

首先在参考图像中心处截取一个小区域图像,然后在待配准图像中寻找一个同样大小的区域,

使得在对数极坐标表示下,这两个小区域图像的互功率谱经傅里叶反变换后是一个二维脉冲

信号。所要寻找的小区域中心点在待配准图像中的位置即为所要估计的平移参数,二维脉冲

信号中脉冲的位置与缩放因子和旋转角度有关,由此而得到图像配准参数。

相位相关是用于配准图像的平移变换的典型方法,其依据是傅立叶变换的特性.设f1(x,y)和f2

(x,y)是两幅图像.(x0,y0)是两幅图像间的平移量,则有

则它们之间的傅立叶变换F1(u,v)和F2(u,v)满足下式:

这就是说,两幅图像具有相同的傅立叶变换和不同的相位关系,而相位关系式由两者之间的平

移直接决定的.定义两幅图像的互能量谱如下:设G(u,v)是f1(x,y)和f2(x,y)的互能量谱,

这里F*(u,v)是F(u,v)的共轭.如果两图像间仅有平移变化,则

对式(4)取傅立叶反变换,就会得到一个冲击函数,该函数在其它各处为零,只在平移的位置上

不为零.这个位置就是两图像间的平移量.旋转在傅立叶变换中是一个不变量.根据傅立

叶变换的旋转性质,旋转一幅图像,在频域相当于对其傅立叶变换做相同角度的旋转.如果两

图像f1(x,y)和f2(x,y)间有平移,旋转和尺度变换,设平移量为(x0,y0),旋转角度为θ,尺度变换

为r[1],则有

则它们的傅立叶变换满足

模,对上式取模得到

当r=1时,两图像间仅有平移和旋转变换.此时可以看出两个频谱的幅度是一样的,只是有一个

旋转关系.通过对其中一个频谱幅度进行旋转,用最优化方法寻找最匹配的旋转角度就可以确

定.

当r≠1时,对式(6)进行极坐标变换,可以得

到

对第一个坐标进行对数变换,得到

变量代换后写为

这样,通过相位相关技术,可以一次求得尺度因子r和旋转角度θ,然后根据r和θ对原图像进

行缩放和旋转校正,再利用相位相关技术求得平移量

步骤：

由上面的相位相关技术原理可以看出,要得到配准好的图像,首先利用笛卡尔坐标到对数极坐

标的转换求出比例因子和旋转角度,按此值对欲配准图像变换后,再利用互能量谱与反变换计

算求出平移量,最后进行相应的变换就可得到配准好的图像.

具体的基于傅里叶梅林变换的图像配准过程如下:

1)对原图像进行傅立叶变换,并求出各自的能量.

2)高通滤波.

3)将滤波后的各图像转换为对数极坐标的形式,并求其互能量谱,从而得到比例系数和旋转角

度.

4)将欲配准的图像旋转、比例放大后再与原图像计算互能量谱,从而得到平移量.

参考文章：

1 基于matlab的傅里叶梅林变换算法图像拼接的实现

2基于相位相关的图像配准算法

3基于频域的遥感图像互信息配准方法

4基于频域和时域相结合的医学图像配准算法

5基于傅里叶变换的红外热波图像拼接

6基于位相相关检测的图像配准算法

7 一种改进的频域相关法图像快速配准

8一种傅里叶—梅林变换空间图像快速配准算法

基于特征的图像配准方法

(1)图像的特征点比图像的像素点要少很多，从而大大减少了匹配过程的计算

量。

(2)特征点的匹配度量值对位置变化比较敏感，可以提高匹配的精度。

(3)特征点的提取过程可以减少噪声的影响，对灰度变化、图像形变以及遮挡

等都有较好的适应能力。

基于特征的图像配准方法一般步骤：首先要对待配准图像进行特征提取，再

利用提取到的特征完成两幅图像特征之间的匹配，通过特征的匹配关系建立图像

之间的配准映射变换。常用到的图像特征有：特征点(包括角点、高曲率点等)直线

段、边缘、轮廓、闭合区域特征结构以及统计特征如矩不变量、重心等。角点特

征等边缘特征[27]和角点特征[26]是两种较常用的特征。

基于特征点提取的图像配准的基本步骤如下图

图3-1特征点提取流程

5 Harris角点检测算法

基本知识：

1角点：最直观的印象就是在水平、竖直两个方向上变化均较大的点，即Ix、Iy都较大

2边缘：仅在水平、或者仅在竖直方向有较大的变化量，即Ix和Iy只有其一较大

3平坦地区：在水平、竖直方向的变化量均较小，即Ix、Iy都较小

角点的提取步骤：

两幅图的角点的匹配：

粗匹配方法有：1 基于归一化互相关的匹配（NCC），2 基于欧氏距离匹配 3 SSDA

精匹配可采用RANSAC

(1) 基于归一化互相关的匹配方法：

互相关方法是目前基于兴趣点特征的图像配准中最常用的方法，它是从欧氏

距离发展而来。如果f(x,y)和t(x,y)分别为待配准图像一和待配准图象二。则它们的

欧氏平方距离定义为：

将其展开：

式中t (x -u ,y -v)为常数。如果式中f 2(x ,y)近似为常数的话，则上面式中的

互相关部分可以作为待配准图像一和待配准图象二之间的相似度量，即：

可以看出如果∑f 2(x ,y)在图像不同位置不同时，待配准图像一和待配准图象二之间

的互相关相似度量会失败，待配准图像一和待配准图象二之间的相似度量极大值会

出现在错误的位置。

因此引入归一化的互相关的相似度量可以解决因为∑f 2(x ,y)变化带来的匹配误差。

由施瓦茨不等式：

推出：

NCC取值范围是0~1，适用于进行图象相似性度量。引入∑f 2(x ,y)作为相似性

度量的控制因素，可以在一定程度上减少由于待配准图象变化带来低频匹配误差。

算法流程如图所示：

A 原始图像 B harris 特征点标注图像

harris特征点精匹配后的图像 拼接后的图像（中间有痕迹）

空间变换：采用仿射变换

方法：

完成特征点匹配之后，就得到了两幅图像的同名点集合。为了将两幅图像配准到一起，接下

来要做的事情是将一幅图像通过空间变换的方法变换到另一幅图像的坐标系中。

图 图像空间变换过程示意图

空间变换的实现原理如图3-2所示，它所处理的对象是“待配准图像”和“标

准图像”。处理的目标是将“待配准图像”校正并投射到“标准图像”的坐标系

中，并完成图像边界处像素灰度的融合和拼接缝隙的消除。

由于空间变换过程有可能将“待配准图像”变换到“标准图像”的坐标范围

之外，因此首先需要计算经过空间变换之后的图像分布范围rect _disp，如图3-2

中虚线所示的方框，然后对该范围中的像素逐个进行坐标转换和像素融合处理。

假设空间变换采用仿射变换模型，该模型的正变换公式表示为：

该模型的逆变换公式表示为：

其中，(x ,y)为同名点在“标准图像”中的坐标，(u ,v)为同名点在“待配准图

像”中的坐标。

又设经过特征点匹配过程得到了M个同名点，表示为

i =1,2,,M。

空间变换的具体步骤如下：

第一步，根据这组M个同名点，确定逆变换的模型参数

0 1 2 0 1 2

a ,a ,a ,b ,b ,b。采

用最小二乘方法，具体如下：

根据同名点对

i =1,2,,M构造超定方程组：

超定方程的矩阵表示形式为：

则逆变换的模型参数 的最小二乘解为：

第二步，根据同名点计算正变换的模型参数aa0 ,aa1 ,aa2 ,bb0,bb1 ,bb2，并采用正

变换公式

计算“待配准图像”在“标准图像”的坐标系中的分布范围，即计算出“待

配准图像”的四个顶角(0,0),(0,H),(W,0),(W ,H)在“标准图像”的坐标系中

的分布范围，进而可以确定配准图像的分布范围，记为rect _disp。

第三步，根据逆变换公式

对“待配准图像”进行空间变换，即利用逆变换公式计算分布范围rect _disp

个像素点(x ,y)在“待配准图像”中的坐标(u ,v)，获取其图像灰度。

图3.11 Harris角点检测结果

图3.12 互相关粗匹配结果

相关文章：

1基于特征点提取的图像配准技术及应用

2 基于角点变换矩阵的图像拼接

3基于特征的图像拼接技术研究

4基于特征的图像拼接技术研究2

5基于特征点的图像拼接算法研究

6 基于特征配准的全景图像拼接技术研究

7 基于块匹配和特征点匹配的图像拼接算法研究

8 基于特征点的全景图合成方法研究

9 基于harris算子的彩色数码影像焦点特征提取

10 基于点特征匹配的SUSAN,hsrris算子比较

11 基于NCC与SSDA的快速特征点匹配融合算法

12 基于harris角点检测算法的图像拼接

13 图像拼接算法研究

6基于SIFT尺度不变特征的图像拼接

优缺点：

方法及原理：

按照图像匹配算法所利用的图像信息，可以分为基于区域的方法和基于特征

的方法。基于特征的图像匹配算法先提取图像显著特征，再进行特征匹配，大大

压缩了图像信息的数据量，同时保持了图像的位移、旋转、比例方面的特征，故

在配准时计算量小，速度较快、鲁棒性好。本章主要研究基于SIFT和Harris

角点算子的两种匹配算法，总结两种算法的优缺点。

SIFT主要思想及特点

SIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，

尺度，旋转不变量。

SIFT算法详细过程

图像加载

灰度化

以因子2增采样

选定尺度因子k 和初始尺度

不断以





k





与高斯核卷积

no



生成DOG尺度空间

空间极值点检测

精确定位极值点

结束

除去低对比度点

用Hessian矩阵

除去边缘响应

计算领域梯度直方图

指定关键点方向

归一化特征向量

卷积次数

=k？

生成128维SIFT特征

向量

以因子2降采样

no

坐标轴旋转为关

键点方向

做差

生成高斯尺度空间

取16*16的邻域

图3.1 sift算法详细过程

图像小于

16*16？

计算4*4个种子点8个

方向梯度直方图

1）尺度空间的生成

尺度空间理论目的是模拟图像数据的多尺度特征。高斯卷积核是实现尺度变

换的唯一线性核，于是一副二维图像的尺度空间定义为：

L(x,y,



)G(x,y



)I(x,y)

（3-1）

其中

G(x,y,



)

是尺度可变高斯函数。

G(x,y,



)

1

2



2

e

(x

2

y

2

)

/2



2

（3-2）

（x，y）是空间坐标，



是尺度坐标。为了有效的在尺度空间检测到稳定的关键

点，提出了高斯差分尺度空间（DOG scale-space）。利用不同尺度的高斯差分核

与图像卷积生成。

D(x,y,



)(G(x,y,k



)G(x,y,



))I(x,y)L(x,y,k



)L(x,y,



)

（3-3）

图3.2 高斯尺度空间图像金字塔的构建

[3]

2）空间极值点检测

如图3.3所示，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应

的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

图3.3 DoG尺度空间局部极值检

[

3

]

构建尺度空间需确定的参数有



，O，S：



(o,s)



0

2

os/S

（3-4）

，

oo

min

[0,...,O1],

s[0,...,S1]

其中



0

是基准层尺度。O是组坐标，s是子层坐标。空间坐标x是组的函数，设

x

0

是0组的空间坐标，则

x2

o

x

0

,o,x

0





0,...,N

0

1







0,...,M

0

1



（3-5）

如果



M

0

,N

0



是基础组o=0的分辨率，则其他组的分辨率由下式获得：



N



M



N

0





o

0



,M

0





o

0





2



2



（3-6）

3）精确确定极值点位置

通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度），

同时去除低对比度的关键点和不稳定的边缘响应点(因为DoG算子会产生较强的

边缘响应)，以增强匹配稳定性、提高抗噪声能力。

①空间尺度函数

D

T

1

T



2

D

D(x,y,



)D



x

0

,y

0

,





XXX

）泰勒展开式如下:

2

X

0

2

X

0

D

T

1

T



2

D

D(x,y,



)D



x,y,





xxx

2

x2

x

（3-7）

ˆ

： 对上式求导,并令其为0,得到精确的位置

x



2

D

1

D

ˆ

x

x

2

x

（3-8）

②在已经检测到的特征点中,要去掉低对比度的特征点和不稳定的边缘响应点。

去除低对比度的点：把公式（3-8）代入公式（3-7），只取前两项可得：

1D

T

ˆ

)D



x,y,







ˆ

D(xx

2x

（3-9）

ˆ



0.03

，该特征点就保留下来，否则丢弃。 若

D



x

③边缘响应的去除

一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而

在垂直边缘的方向有较小的主曲率。主曲率通过一个2x2 的Hessian矩阵H求

出:



D

xx

H





D

xy

（3-10）

D

xy



D

yy





导数由采样点相邻差估计得到。D的主曲率和H的特征值成正比，令



为最

大特征值，



为最小的特征值，则

T

r

(H)D

xx

D

yy









（3-11）

Det(H)D

xx

D

yy

(D

xy

)

2





（3-12）

令







，则：

2

T

r

(H)

2

(







)(r







)

2

(r1）



Det(H)



r



2

r

（3-13）

2

(r1)

r

的值在两个特征值相等的时候最小，随着r的增大而增大，因此，

为了检测主曲率是否在某域值r下，只需检测:

T

r

(H)

2

(r1)

2



Det(H)r

（3-14）

4）关键点方向分配

利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算

子具备旋转不变性。

m(x,y)(L(x1,y)L(x1,y))

2

(L(x,y1)L(x,y1))

2

（3-15）



(x,y)



tan2((L(x,y1)L(x,y1))(L(x1,y)L(x1,y)))

（3-16）

式(3-15)

，

（3-16）为(x,y)处梯度的模值和方向公式。其中L所用的尺度为每个

关键点各自所在的尺度。在实际计算时，我们在以关键点为中心的邻域窗口内采

样，并用直方图统计邻域像素的梯度方向。

5）特征点描述子生成

首先将坐标轴旋转为关键点的方向，以确保旋转不变性。 接下来以关键

点为中心取8×8的窗口。利用公式3-15求得每个像素



i,j



的梯度幅值

m

i,j

与梯度

方向



i,j

，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值。此图中一

个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方

向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹

配也提供了较好的容错性。

图3.4 由关键点邻域梯度信息生成特征向量

[3]

6）最近邻粗匹配

特征点粗匹配就是计算所有特征向量的距离，根据最近临和次近临距离之比

判定，当这个比值小于事先设定的一个阈值则认为是一对匹配点。

7）RANSAC精匹配

精匹配采用的是RANSAC（随机抽样一致法），于1981年由Fischler和Bolles最

先提出

[16]

它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参

数，得到有效样本数据的算法。RANSAC算法的基本假设是样本中包含正确数据，

也包含异常数据，即数据集中含有噪声。这些异常数据可能是由于错误的测量、

错误的假设、错误的计算等产生的。同时RANSAC也假设，给定一组正确的数据，

存在可以计算出符合这些数据的模型参数的方法。

SIFT匹配算法实现

参考图 待匹配图

尺度空间生成 尺度空间生成

极值点检测 极值点检测

精确定位极值点 精确定位极值点

关键点方向指定 关键点方向指定

SIF特征描述 SIF特征描述

最近临粗匹配

RANSAC精匹配

图3.4 SIFT特征匹配算法流程图

图3.6 SIFT特征检测结果

图3.8正确匹配与伪匹配点

相关文章：

1 sift特征匹配讲义

2基于sift算法的图像配准

3基于块匹配和特征点匹配的图像拼接算法研究

4基于特征的图像拼接技术研究2（吉林大学）

5基于特征的图像拼接技术研究

6

基于特征点提取的图像配准技术及应用

7基于特征配准的全景图像拼接技术研究

8 图像局部特征提取与匹配及应用研究

7 基于surf 的图像配准

SURF算法介绍

SURF方法整体思想流程同SIFT类似，但在整个过程中采用了与SIFT不同的方

法 。两者关键技术的对比如表4.1所示。

表5.1 SIFT Vs. SURF算法

特征点检测

特征点方向

SIFT

用不同尺度的图片与高斯

函数做卷积

特征点邻接矩形区域内，

利用梯度直方图计算

SURF

用不同大小的box filter与原始图

像(integral image)做卷积易于并行

特征点邻接圆域内，计算x、y方

向上的Haar小波响应

描述符生成

20*20(单位为pixel)区域20*20(单位为sigma)区域划分为

划分为4*4(或2*2)的子区4*4子域，每个子域计算5*5个采

域，每个子域计算8bin直样点的Haar小波响应，记录∑dx,

方图 ∑dy, ∑|dx|,∑|dy|。

目标

图像

SURF

描述符

最近邻

特征匹配

待配准

图像

SURF

描述符

图5.1 基于SUFR的配准算法流程图

Ransac去

伪匹配点

采样

插值

图像

配准

算法详细过程

1） SURF检测

特征点的检测依然基于尺度空间理论。在（x,y）处的点，在尺度



上的Hessian

矩阵定义为：

H

L

xx

(x,



)L

xy

(x,



)

L

xy

(x,



)L

yy

(x,



)

（5-1）



2

式中：

L

xx

是高斯滤波二阶导

2

g(



)

同

I(x,y)

卷积的结果。



x

用类似SIFT的方法构建尺度图像金字塔，在每一阶中选择4层的尺度图像如

滤波模板大小为

NN

,则对应的尺度

s1.2N9

；用Hessian矩阵求出极值后，

在3 x 3 x 3的立体邻域内进行非极大值拟制，只有比上一尺度、下一尺度及本

尺度周围的26个邻域值都大或者都小的极值点，才能作为候选特征点，然后在尺

度空间和图像空间中进行插值运算，得到稳定的特征点位置及所在的尺度值。

SURF算法特征点主方向是基于特征点领域内的点在x,y方向上的Haar小波响

应，并给这些响应赋值高斯权重系数，使得靠近特征点的响应贡献大，远离特征

点的响应贡献小。然后在60°范围内的响应相加以形成新的矢量，遍历整个圆形

区域，选择最长矢量的方向为该点的主方向。

2） 特征匹配

用 SURF 方法获得参考图像和待配准图像的特征点后，进行特征匹配，文中

采用最近邻向量匹配法，当最近临与次近临之比小于某个阈值时则判定为一对匹

配点，然后再用RANSAC算法对匹配点进行精匹配。

3） 参数估计

获得图像间的匹配对后，就要估算图像间的关系，假设图像间存在仿射变换

关系：



m

1

M



m

4





0

m

2

m

5

0

m

3



m

6



（5-20）

1





设

p(x

1

,y

1

),q(x

2

,y

2

)

是一对匹配点，则有：



x

1





m

1



y

1







m

4





1









0

m

2

m

5

0

m

3





x

2



m

6







y

2



（5-21）

1





1









用最近邻匹配法得到的匹配对中，还可能有误匹配。这时需要结合

RANSAC和最小二乘法来计算图像间的变换关系。

4） 重采样插值

确定模型参数后，对待配准图像进行重采样，得到同一坐标系下的配准结果。

常用的插值方法有最近邻法、双线性法、双三次卷积法等。

相关文章：

1 基于sift算法的图像配准

2 基于SURF的彩色图像配准

3 基于SURF的敦煌壁画数字图像的智能拼接系统研究

4 基于SURF的图像配准方法研究

5 基于surf算法的水下图像实时配准

6 基于SURF特征匹配的图像拼接算法

7 基于SUR特征匹配算法的全景图像拼接

8 基于扩展的SURF描述符的彩色图像配准技术

8 基于最大互信息的图像配准

配准原理

最大互信息配准法把互信息作为配准模型，它认为两幅基于共同解剖结构的

图像达到最佳配准时，它们对应的像素特征的灰度互信息应该最大I’4]，因为这时两幅图

像的不确定性已经很小，或者说不确定性的减少量达到了最大，图像的嫡也就达到了最小，

此时的配准使得图像联合像素信息分布有所确定。

学图像配准是一个多参数优化过程，配准的目标实际上是要找到一个最优变换。基于最大互

信息的图像配准把整幅图像的灰度作为配准的依据，互信息作为相似性测度，通过最大化该

相似性测度来得到一个最优变换:

在该最优变换厂下两幅图像的互信息达到最大。

基于最大互信息的图像配准法具有很多优势:

(1)不需要对图像进行预处理，如特征点提取的损失:

(2)几乎可以用在任何不同模式图像的配准，图像分割等，降低了配准精度即使是当其中一

个图像的数据部分缺损时也能得到很好的配准效果

(3)可以得到很高的配准精度，为临床和科研提供了保证。

最大互信息配准法目前被公认为是配准精度和鲁棒性最好的回溯性配准方法之一,已

经被广泛地应用于CT/MR、PET/MR等多种配准工作。

互信息配准的基本步骤

基于互信息的图像配准就是寻找一个空间变换关系，使得经过该空间变换后两幅图像间的互

信息达到最大。其基本步骤如下:

(l)在两幅待配准的图像中，以一幅图像作为参考图像，另一幅为浮动图像，

定义一个统一的坐标系，确定图像间的空间变换形式;

(2)根据空间变换，将浮动图像中的点变换到参考图像坐标系中，对变换后的

非整数坐标上的点进行灰度插值，计算两幅图像间的互信息;

(s)通过优化算法，不断改变空间变换参数的值，寻求两幅图像之间互信息的

最大值，并搜索互信息达到最大值对应的空间变换参数。

图3.2互信息计算流程图

MI配准的准则

定义1:设T(·)是一种空间变换,s(x,y,z)为基准图像,f(x,y,z)为移动图像,对所有坐标(x,y,z),

如果有s(x,y,z)=f(T(x,y,z)),此时T(·)称为最优的变换。

当限定摄像机光心固定不动,朝不同方向旋转拍摄获取图像,即各图像间仅存在平移

(tx,ty,0)和绕坐标轴旋转θ角度,T(·)变换模型可以表示为

因此,要确定最优的变换T,也就是求解最优的参数tx、ty和θ。要进行图像f(x,y)、s(x,y)的

拼接,就是要根据给定的相似测度准则,求解变换关系,使得两幅图像间的相似性达到最大。对

应于映射T的两幅图像间的相似性可以表示为

式中,α表示相似性测度。

对于s(x,y)中灰度为k的像素p,与其在f(x,y)中灰度为q的对应像素T(p),k和q在统计学上

的相关性可以用MI式(3)来衡量,其中概率分布由两幅图像重叠部分的联合灰度直方图得到,

因此MI(f(T(x,y)),s(x,y))的计算本质上是依赖于αT。

以MI作为相似性测度进行配准的原理是:当两幅具有相同结构的图像达到最佳匹配时,

它们对应图像特征的MI应为最大,即

两幅图像的配准评价标准可以看作是寻找最佳变换T。因此,配准过程转化为求解变换T的3

个参数的优化值,即基于最大MI的图像配准是多参数最优化过程。对图像配准,MI与两个图

像的重叠区域的大小成正比[8],变换T的优化值变化了,重叠部分将随之变化,因此使用归一

化MI(NMI)更能反映配准函数α*的变化,文献[9]给出了NMI的表示形式

其中,a、b代表2幅待配准的图像。

MI图像拼接算法流程

基于最大MI图像拼接算法流程如图1所示。首先通过自动选取相邻图像的配准区域,来减少

相似度函数的运算量;然后通过全局优化算法和局部搜索算法,在进行图像配准过程中通过计

算MI不断优化3个变换参数,直至得到最优解;最后对配准后的图像进行无缝合成

参考文章：

1 基于最大互信息的图像拼接优化算法

2 场景图像拼接关键技术研究

3 医学图像配准算法研究

4 基于互信息的多模医学图像配准方法研究

5 基于互信息的医学图像感性配准研究

6 遥感图像拼接算法研究

7 一种改进的遗传算法与最大互信息图像配准方法

8 图像拼接关键技术研究与实现

9 基于小波的图像拼接

这种方法是与其他方法结合在一起使用。

参考文章

1 基于局部能量和小波系数相位特征的图像融合方法

2 基于小波变换和互信息的医学图像配准方法研究

3 基于小波和区域的图像拼接方法

10 基于轮廓特征的图像拼接技术

1俞 辉,侯在克,何旭莉,等.一种基于轮廓特征的图像拼接算法设计与实现[J].石油大学学报:

自然科学版,2003,27(2):114-118.

2张 静,胡志萍,刘志泰,等.基于轮廓相位相关的图像自动拼接[J].大连理工大学学

报,2005,45(1):68-74.

3 Li H,Manjunath B S,Mitra S K.A contour based approach tomultisensor image

registration[J].IEEE Trans Image Process-ing,1995(4):320-334.

4 Hu M Pattern Recognition by Moment Invariants[J].IEEE Transaction on

Information Theory,1962,8(1):179-187.

基于轮廓特征的算法是指对图像进行轮廓提取,然后再对提取的轮廓进行匹配,从而确定重叠

位置。文献[9]中轮廓提取分两步进行,首先,图像I(x,y)与Laplacian-of-Gaussian(LoG)算子进行

卷积,检测出图像像素符号变化的点(过零点)作为边界点,其中LoG算子可分解为两个独立滤

波算子(拉普拉斯算子和高斯算子),加快运算的速度;第二步,利用卷积后图像在x和y两个方

向上的梯度(kx,ky),计算每个过零点的边缘强度S(x,y):

然后通过双阈值的方法对过零点进行处理,形成图像的轮廓曲线。提取轮廓之后,利用链码对

轮廓进行描述,在匹配阶段,用闭合轮廓的五个形状特征进行匹配:周长,离质心最长和最短的

边界点,Hu变换[10]中的一阶和二阶不变矩。文献[11]在轮廓提取阶段,先对卷积图进行增强,

用区域增长的方法进行辅助校正,改善提取效果,用形状签名代替链码,提高了计算的速度,在

一定程度上降低了噪声和镜头形变的影响。文献[12]把基于轮廓特征和相位相关方法结合在

一起进行拼接。

优缺点：

基于轮廓特征的算法可以改善光照的影响,解决旋转的问题,但是要求提取出比较精确的明显

的轮廓特征,而轮廓特征的提取易受噪声的干扰,不适用于轮廓特征不明显或噪声干扰较大的

图像。