- 相關(guān)推薦
圖像拼接算法及實現(xiàn)
論文關(guān)鍵詞：圖像拼接 圖像配準 圖像融合 全景圖
論文摘要：圖像拼接(image mosaic)技術(shù)是將一組相互間重疊部分的圖像序列進行空間匹配對準,經(jīng)重采樣合成后形成一幅包含各圖像序列信息的寬視角場景的、完整的、高清晰的新圖像的技術(shù)。圖像拼接在攝影測量學、視覺、遙感圖像處理、圖像分析、計算機圖形學等領(lǐng)域有著廣泛的應(yīng)用價值。 一般來說,圖像拼接的過程由圖像獲取,圖像配準,圖像合成三步驟組成,其中圖像配準是整個圖像拼接的基礎(chǔ)。本文研究了兩種圖像配準算法:基于特征和基于變換域的圖像配準算法。 在基于特征的配準算法的基礎(chǔ)上,提出一種穩(wěn)健的基于特征點的配準算法。首先改進Harris角點檢測算法,有效提高所提取特征點的速度和精度。然后利用相似測度NCC(normalized cross correlation——歸一化互相關(guān)),通過用雙向最大相關(guān)系數(shù)匹配的方法提取出初始特征點對,用隨機采樣法RANSAC(Random Sample Consensus)剔除偽特征點對,實現(xiàn)特征點對的精確匹配。最后用正確的特征點匹配對實現(xiàn)圖像的配準。本文提出的算法適應(yīng)性較強,在重復(fù)性紋理、旋轉(zhuǎn)角度比較大等較難自動匹配場合下仍可以準確實現(xiàn)圖像配準。
Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this paper, the algorithm adapted, in the repetitive texture, such as relatively large rotation more difficult to automatically match occasions can still achieve an accurate image registration.
Key words: image mosaic, image registration, image fusion, panorama
第一章 緒論
1.1 圖像拼接技術(shù)的研究背景及研究意義
圖像拼接(image mosaic)是一個日益流行的研究領(lǐng)域，他已經(jīng)成為照相繪圖學、計算機視覺、圖像處理和計算機圖形學研究中的熱點。圖像拼接解決的問題一般式，通過對齊一系列空間重疊的圖像，構(gòu)成一個無縫的、高清晰的圖像，它具有比單個圖像更高的分辨率和更大的視野。
早期的圖像拼接研究一直用于照相繪圖學，主要是對大量航拍或衛(wèi)星的圖像的整合。近年來隨著圖像拼接技術(shù)的研究和發(fā)展，它使基于圖像的繪制（IBR）成為結(jié)合兩個互補領(lǐng)域——計算機視覺和計算機圖形學的堅決焦點，在計算機視覺領(lǐng)域中，圖像拼接成為對可視化場景描述（Visual Scene Representaions）的主要研究方法：在計算機形學中，現(xiàn)實世界的圖像過去一直用于貼圖，即合成靜態(tài)的背景和增加合成物體真實感的貼圖，圖像拼接可以使IBR從一系列真是圖像中快速繪制具有真實感的新視圖。
在軍事領(lǐng)域網(wǎng)的夜視成像技術(shù)中，無論夜視微光還是紅外成像設(shè)備都會由于攝像器材的限制而無法拍攝視野寬闊的圖片，更不用說360 度的環(huán)形圖片了。但是在實際應(yīng)用中，很多時候需要將360 度所拍攝的很多張圖片合成一張圖片，從而可以使觀察者可以觀察到周圍的全部情況。使用圖像拼接技術(shù)，在根據(jù)拍攝設(shè)備和周圍景物的情況進行分析后，就可以將通過轉(zhuǎn)動的拍攝器材拍攝的涵蓋周圍360 度景物的多幅圖像進行拼接，從而實時地得到超大視角甚至是360 度角的全景圖像。這在紅外預(yù)警中起到了很大的作用。
微小型履帶式移動機器人項目中，單目視覺不能滿足機器人的視覺導航需要，并且單目視覺機器人的視野范圍明顯小于雙目視覺機器人的視野。利用圖像拼接技術(shù)，拼接機器人雙目采集的圖像，可以增大機器人的視野，給機器人的視覺導航提供方便。在虛擬現(xiàn)實領(lǐng)域中，人們可以利用圖像拼接技術(shù)來得到寬視角的圖像或360 度全景圖像，用來虛擬實際場景。這種基于全景圖的虛擬現(xiàn)實系統(tǒng)，通過全景圖的深度信息抽取，恢復(fù)場景的三維信息，進而建立三維模型。這個系統(tǒng)允許用戶在虛擬環(huán)境中的一點作水平環(huán)視以及一定范圍內(nèi)的俯視和仰視，同時允許在環(huán)視的過程中動態(tài)地改變焦距。這樣的全景圖像相當于人站在原地環(huán)顧四周時看到的情形。在醫(yī)學圖像處理方面，顯微鏡或超聲波的視野較小，醫(yī)師無法通過一幅圖像進行診視，同時對于大目標圖像的數(shù)據(jù)測量也需要把不完整的圖像拼接為一個整體。所以把相鄰的各幅圖像拼接起來是實現(xiàn)遠程數(shù)據(jù)測量和遠程會診的關(guān)鍵環(huán)節(jié)圓。在遙感技術(shù)領(lǐng)域中，利用圖像拼接技術(shù)中的圖像配準技術(shù)可以對來自同一區(qū)域的兩幅或多幅圖像進行比較，也可以利用圖像拼接技術(shù)將遙感衛(wèi)星拍攝到的有失真地面圖像拼接成比較準確的完整圖像，作為進一步研究的依據(jù)。
從以上方面可以看出，圖像拼接技術(shù)的應(yīng)用前景十分廣闊，深入研究圖像拼接技術(shù)有著很重要的意義
1.2圖像拼接算法的分類
圖像拼接作為這些年來圖像研究方面的重點之一，國內(nèi)外研究人員也提出了很多拼接算法。圖像拼接的質(zhì)量，主要依賴圖像的配準程度，因此圖像的配準是拼接算法的核心和關(guān)鍵。根據(jù)圖像匹配方法的不同仁闊，一般可以將圖像拼接算法分為以下兩個類型：
�。�1) 基于區(qū)域相關(guān)的拼接算法。
這是最為傳統(tǒng)和最普遍的算法�；趨^(qū)域的配準方法是從待拼接圖像的灰度值出發(fā)，對待配準圖像中一塊區(qū)域與參考圖像中的相同尺寸的區(qū)域使用最小二乘法或者其它方法計算其灰度值的差異，對此差異比較后來判斷待拼接圖像重疊區(qū)域的相似程度，由此得到待拼接圖像重疊區(qū)域的范圍和位置，從而實現(xiàn)圖像拼接。也可以通過FFT 變換將圖像由時域變換到頻域，然后再進行配準。對位移量比較大的圖像，可以先校正圖像的旋轉(zhuǎn)，然后建立兩幅圖像之間的映射關(guān)系。
當以兩塊區(qū)域像素點灰度值的差別作為判別標準時，最簡單的一種方法是直接把各點灰度的差值累計起來。這種辦法效果不是很好，常常由于亮度、對比度的變化及其它原因?qū)е缕唇邮�。另一種方法是計算兩塊區(qū)域的對應(yīng)像素點灰度值的相關(guān)系數(shù)，相關(guān)系數(shù)越大，則兩塊圖像的匹配程度越高。該方法的拼接效果要好一些，成功率有所提高。
(2) 基于特征相關(guān)的拼接算法。
基于特征的配準方法不是直接利用圖像的像素值，而是通過像素導出圖像的特征，然后以圖像特征為標準，對圖像重疊部分的對應(yīng)特征區(qū)域進行搜索匹配，該類拼接算法有比較高的健壯性和魯棒性。
基于特征的配準方法有兩個過程：特征抽取和特征配準。首先從兩幅圖像中提取灰度變化明顯的點、線、區(qū)域等特征形成特征集岡。然后在兩幅圖像對應(yīng)的特征集中利用特征匹配算法盡可能地將存在對應(yīng)關(guān)系的特征對選擇出來。一系列的圖像分割技術(shù)都被用到特征的抽取和邊界檢測上。如canny 算子、拉普拉斯高斯算子、區(qū)域生長。抽取出來的空間特征有閉合的邊界、開邊界、交叉線以及其他特征。特征匹配的算法有：交叉相關(guān)、距離變換、動態(tài)編程、結(jié)構(gòu)匹配、鏈碼相關(guān)等算法。
1.3本文的主要工作和組織結(jié)構(gòu)
本文的主要工作：
(1) 了前人在圖像拼接方面的技術(shù)發(fā)展歷程和研究成果。
(2) 學習和研究了前人的圖像配準算法。
(3) 學習和研究了常用的圖像融合算法。
(4) 用matlab實現(xiàn)本文中的圖像拼接算法
(5) 總結(jié)了圖像拼接中還存在的問題，對圖像拼接的發(fā)展方向和應(yīng)用前景進行展望。
本文的組織結(jié)構(gòu)：
第一章主要對圖像拼接技術(shù)作了整體的概述，介紹了圖像拼接的研究背景和應(yīng)用前景，以及圖像拼接技術(shù)的大致過程、圖像拼接算法的分類和其技術(shù)難點。第二章主要介紹討論了圖像預(yù)處理中的兩個步驟，即圖像的幾何校正和噪聲點的抑制。第三章主要介紹討論了圖像配準的多種算法。第四章主要介紹討論了圖像融合的一些算法。第五章主要介紹圖像拼接軟件實現(xiàn)本文的算法。第六章主要對圖像拼接中還存在的問題進行總結(jié)，以及對圖像拼接的發(fā)展進行展望。
1.4 本章小結(jié)
本章主要對圖像拼接技術(shù)作了整體的概述，介紹了圖像拼接的研究背景和應(yīng)用前景，以圖像拼接算法的分類和其技術(shù)難點，并且對全文研究內(nèi)容進行了總體介紹。
第二章 圖像拼接的基礎(chǔ)理論及圖像預(yù)處理
2.1圖像拼接
圖像拼接技術(shù)主要有三個主要步驟：圖像預(yù)處理、圖像配準、圖像融合與邊界平滑，
如圖。
圖像拼接技術(shù)主要分為三個主要步驟：圖像預(yù)處理、圖像配準、圖像融合與邊界平滑，圖像預(yù)處理主要指對圖像進行幾何畸變校正和噪聲點的抑制等，讓參考圖像和待拼接圖像不存在明顯的幾何畸變。在圖像質(zhì)量不理想的情況下進行圖像拼接，如果不經(jīng)過圖像預(yù)處理，很容易造成一些誤匹配。圖像預(yù)處理主要是為下一步圖像配準做準備，讓圖像質(zhì)量能夠滿足圖像配準的要求。圖像配準主要指對參考圖像和待拼接圖像中的匹配信息進行提取，在提取出的信息中尋找最佳的匹配，完成圖像間的對齊。圖像拼接的成功與否主要是圖像的配準。待拼接的圖像之間，可能存在平移、旋轉(zhuǎn)、縮放等多種變換或者大面積的同色區(qū)域等很難匹配的情況，一個好的圖像配準算法應(yīng)該能夠在各種情況下準確找到圖像間的對應(yīng)信息，將圖像對齊。圖像融合指在完成圖像匹配以后，對圖像進行縫合，并對縫合的邊界進行平滑處理，讓縫合自然過渡。由于任何兩幅相鄰圖像在采集條件上都不可能做到完全相同，因此，對于一些本應(yīng)該相同的圖像特性，如圖像的光照特性等，在兩幅圖像中就不會表現(xiàn)的完全一樣。圖像拼接縫隙就是從一幅圖像的圖像區(qū)域過渡到另一幅圖像的圖像區(qū)域時，由于圖像中的某些相關(guān)特性發(fā)生了躍變而產(chǎn)生的。圖像融合就是為了讓圖像間的拼接縫隙不明顯，拼接更自然
2.2 圖像的獲取方式
圖像拼接技術(shù)原理是根據(jù)圖像重疊部分將多張銜接的圖像拼合成一張高分辨率全景圖 。這些有重疊部分的圖像一般由兩種方法獲得 : 一種是固定照相機的轉(zhuǎn)軸 ,然后繞軸旋轉(zhuǎn)所拍攝的照片 ;另一種是固定照相機的光心 ,水平搖動鏡頭所拍攝的照片。其中 ,前者主要用于遠景或遙感圖像的獲取 ,后者主要用于顯微圖像的獲取 ,它們共同的特點就是獲得有重疊的二維圖像。
2.3 圖像的預(yù)處理
2.3.1 圖像的校正
當照相系統(tǒng)的鏡頭或者照相裝置沒有正對著待拍攝的景物時候，那么拍攝到的景物圖像就會產(chǎn)生一定的變形。這是幾何畸變最常見的情況。另外，由于光學成像系統(tǒng)或掃描系統(tǒng)的限制而產(chǎn)生的枕形或桶形失真，也是幾何畸變的典型情況。幾何畸變會給圖像拼接造成很大的問題，原本在兩幅圖像中相同的物體會因為畸變而變得不匹配，這會給圖像的配準帶來很大的問題。因此，解決幾何畸變的問題顯得很重要。
圖象校正的基本思路是，根據(jù)圖像失真原因，建立相應(yīng)的模型，從被污染或畸變的圖象信號中提取所需要的信息，沿著使圖象失真的逆過程恢復(fù)圖象本來面貌。實際的復(fù)原過程是設(shè)計一個濾波器，使其能從失真圖象中計算得到真實圖象的估值，使其根據(jù)預(yù)先規(guī)定的誤差準則，最大程度地接近真實圖象。
2.3.2 圖像噪聲的抑制
圖像噪聲可以理解為妨礙人的視覺感知，或妨礙系統(tǒng)傳感器對所接受圖像源信息進行理解或分析的各種因素，也可以理解成真實信號與理想信號之間存在的偏差。一般來說，噪聲是不可預(yù)測的隨機信號，通常采用概率的方法對其進行分析。噪聲對圖像處理十分重要，它影響圖像處理的各個環(huán)節(jié)，特別在圖像的輸入、采集中的噪聲抑制是十分關(guān)鍵的問題。若輸入伴有較大的噪聲，必然影響圖像拼接的全過程及輸出的結(jié)果。根據(jù)噪聲的來源，大致可以分為外部噪聲和內(nèi)部噪聲；從統(tǒng)計數(shù)學的觀點來定義噪聲，可以分為平穩(wěn)噪聲和非平穩(wěn)噪聲。各種類型的噪聲反映在圖像畫面上，大致可以分為兩種類型。一是噪聲的幅值基本相同，但是噪聲出現(xiàn)的位置是隨機的，一般稱這類噪聲為椒鹽噪聲。另一種是每一點都存在噪聲，但噪聲的幅值是隨機分布的，從噪聲幅值大小的分布統(tǒng)計來看，其密度函數(shù)有高斯型、瑞利型，分別成為高斯噪聲和瑞利噪聲，又如頻譜均勻分布的噪聲稱為白噪聲等。
1.均值濾波
所謂均值濾波實際上就是用均值替代原圖像中的各個像素值。均值濾波的方法是，對將處理的當前像素，選擇一個模板，該模板為其鄰近的若干像素組成，用模板中像素的均值來替代原像素的值。如圖2.4所示，序號為0是當前像素，序號為1至8是鄰近像素。求模板中所有像素的均值，再把該均值賦予當前像素點((x, y)，作為處理后圖像在該點上的灰度g(x,y)，即
g(x,y)= (2-2-2-1)
其中，s為模板，M為該模板中包含像素的總個數(shù)。
圖2.2.2.1模板示意圖
2.中值濾波
中值濾波是基于排序統(tǒng)計理論的一種能有效抑制噪聲的非線性信號處理技術(shù)。它的核心算法是將模板中的數(shù)據(jù)進行排序，這樣，如果一個亮點（暗點）的噪聲，就會在排序過程中被排在數(shù)據(jù)序列的最右側(cè)或者最左側(cè)，因此，最終選擇的數(shù)據(jù)序列中見位置上的值一般不是噪聲點值，由此便可以達到抑制噪聲的目的。
取某種結(jié)構(gòu)的二維滑動模板，將模板內(nèi)像素按照像素值的大小進行排序，生成單調(diào)上升（或下降）的二維數(shù)據(jù)序列。二維德中值濾波輸出為
( 2-2-2-2 )
其中，f(x,y)，g (x,y)分別為原圖像和處理后的圖像，w二維模板,k ,l為模板的長寬，Med 為取中間值操作，模板通常為3 3 、5 5 區(qū)域，也可以有不同形狀，如線狀、圓形、十字形、圓環(huán)形。
2.4 本章小結(jié)
本章主要介紹了圖像幾何畸變校正和圖像噪聲抑制兩種圖像預(yù)處理.
第三章 圖像配準算法
3.1 圖像配準的概念
圖像配準簡而言之就是圖像之間的對齊。圖像配準定義為:對從不同傳感器或不同時間或不同角度所獲得的兩幅或多幅圖像進行最佳匹配的處理過程。為了更清楚圖像配準的任務(wù)，我們將圖像配準問題用更精確的數(shù)學描述出來。配準可以用描述為如下的問題:
給定同一景物的從不同的視角或在不同的時間獲取的兩個圖像I ,I 和兩個圖像間的相似度量S(I ,I ),找出I ,I 中的同名點，確定圖像間的最優(yōu)變換T,使得S(T(I ),I )達到最大值。
圖像配準總是相對于多幅圖像來講的，在實際工作中，通常取其中的一幅圖像作為配準的基準,稱它為參考圖,另一幅圖像,為搜索圖。圖像配準的一般做法是，首先在參考圖上選取以某一目標點為中心的圖像子塊，并稱它為圖像配準的模板，然后讓模板在搜索圖上有秩序地移動，每移到一個位置，把模板與搜索圖中的對應(yīng)部分進行相關(guān)比較，直到找到配準位置為止。
如果在模板的范圍內(nèi)，同一目標的兩幅圖像完全相同，那么完成圖像配準并不困難。然而，實際上圖像配準中所遇到的同一目標的兩幅圖像常常是在不同條件下獲得的，如不同的成像時間、不同的成像位置、甚至不同的成像系統(tǒng)等，再加上成像中各種噪聲的影響，使同一目標的兩幅圖像不可能完全相同，只能做到某種程度的相似，因此圖像配準是一個相當復(fù)雜的技術(shù)過程。
3.2 基于區(qū)域的配準
3.2.1 逐一比較法
設(shè)搜索圖為s待配準模板為T，如圖3.1所示，S大小為M N，T大小為U V,如圖所示。
圖3.1搜索圖S與模板T示意圖
逐一比較法的配準思想是:
在搜索圖S中以某點為基點(i,j)，截取一個與模板T大小一樣的分塊圖像，這樣的基點有(M-U+1) (N-V+1)個，配準的目標就是在(M-U+1) (N-V+1)個分塊圖像中找一個與待配準圖像最相似的圖像，這樣得到的基準點就是最佳配準點。
設(shè)模板T在搜索圖s上移動，模板覆蓋下的那塊搜索圖叫子圖S ,(i,j)為這塊子圖的左上角點在S圖中的坐標，叫做參考點。然后比較T和S 的內(nèi)容。若兩者一致，則T和S 之差為零。在現(xiàn)實圖像中，兩幅圖像完全一致是很少見的，一般的判斷是在滿足一定條件下，T和S 之差最小。
根據(jù)以上原理，可采用下列兩種測度之一來衡量T和S 的相似程度。D(i,j)的值越小，則該窗口越匹配。
D(i,j)= [S (m,n)-T(m,n)] (3-1)
或
D(i,j)= [S (m,n)-T(m,n) (3-2)
或者利用歸一化相關(guān)函數(shù)。將式(3-1)展開可得:
D(i,j)= [S (m,n)] -2 S (m,n)*T(m,n)+ [T(m,n)] (3-3)
式中等號右邊第三項表示模板總能量，是一常數(shù)，與(i,j)無關(guān);第一項是與模板匹配區(qū)域的能量，它隨((i,j)的改變而改變，當T和S 匹配時的取最大值。因此相
關(guān)函數(shù)為:
R(i,j)= (3-4)
當R(i,j)越大時，D(i,j)越小，歸一化后為:
R(i,j)= (3-5)
根據(jù)Cauchy-Schwarz不等式可知式(3-5)中0 R(i,j) 1，并且僅當值S (m, n)/T (m, n)=常數(shù)時，R(i,j)取極大值。
該算法的優(yōu)點:
(1)算法思路比較簡單，容易理解，易于編程實現(xiàn)。
(2)選用的模板越大，包含的信息就越多，匹配結(jié)果的可信度也會提高，同時能夠?qū)⒖紙D像進行全面的掃描。
該算法的缺點:
(1)很難選擇待配準圖像分塊。因為一個如果分塊選擇的不正確，缺少信息量，則不容易正確的匹配，即發(fā)生偽匹配。同時，如果分塊過大則降低匹配速度，如果分塊過小則容易降低匹配精度。
(2)對圖像的旋轉(zhuǎn)變形不能很好的處理。算法本身只是把待配準圖像分塊在標準參考圖像中移動比較，選擇一個最相似的匹配塊，但是并不能夠?qū)D像的旋轉(zhuǎn)變形進行處理，因此對照片的拍攝有嚴格的要求。
3.2.2 分層比較法
圖像處理的塔形(或稱金字塔:Pyramid)分解方法是由Burt和Adelson首先提出的，其早期主要用于圖像的壓縮處理及機器人的視覺特性研究。該方法把原始圖像分解成許多不同空間分辨率的子圖像，高分辨率(尺寸較大)的子圖像放在下層，低分辨率(尺寸較小)的圖像放在上層，從而形成一個金字塔形狀。
在逐一比較法的思想上，為減少運算量，引入了塔形處理的思想，提出了分層比較法。利用圖像的塔形分解，可以分析圖像中不同大小的物體。同時，通過對低分辨率、尺寸較小的上層進行分析所得到的信息還可以用來對高分辨率、尺寸較大的下層進行分析，從而大大簡化分析和計算。在搜索過程中，首先進行粗略匹配，每次水平或垂直移動一個步長，計算對應(yīng)像素點灰度差的平方和，記錄最小值的網(wǎng)格位置。其次，以此位置為中心進行精確匹配。每次步長減半，搜索當前最小值，循環(huán)這個過程，直到步長為零，最后確定出最佳匹配位置。
算法的具體實現(xiàn)步驟如下:
（1）將待匹配的兩幅圖像中2 2鄰域內(nèi)的像素點的像素值分別取平均，作為這一區(qū)域(2 2)像素值，得到分辨率低一級的圖像。然后，將此分辨率低一級的圖像再作同樣的處理，也就是將低一級的圖像4 4鄰域內(nèi)的像素點的像素值分別取平均，作為這一區(qū)域(4 4)點的像素值，得到分辨率更低一級的圖像。依次處理，得到一組分辨率依次降低的圖像。
(2)從待匹配的兩幅圖像中分辨率最低的開始進行匹配搜索，由于這兩幅圖像像素點的數(shù)目少，圖像信息也被消除一部分，因此，此匹配位置是不精確的。所以，在分辨率更高一級的圖像中搜索時，應(yīng)該在上一次匹配位置的附近進行搜索。依次進行下去，直到在原始圖像中尋找到精確的匹配位置。
算法的優(yōu)點:
(1)該算法思路簡單，容易理解，易于編程實現(xiàn)。
(2)該算法的搜索空間比逐一比較要少，在運算速度較逐一比較法有所提高。
算法的缺點:
(1)算法的精度不高。在是在粗略匹配過程中，移動的步長較大，很有可能將第一幅圖像上所取的網(wǎng)格劃分開，這樣將造成匹配中無法取出與第一幅圖像網(wǎng)格完全匹配的最佳網(wǎng)格，很難達到精確匹配。
(2)對圖像的旋轉(zhuǎn)變形仍然不能很好的處理。與逐一比較法一樣，該算法只是對其運算速度有所改進，讓搜索空間變小，并無本質(zhì)變化，因此對圖像的旋轉(zhuǎn)變形并不能進行相應(yīng)處理。
3.2.3 相位相關(guān)法
相位相關(guān)度法是基于頻域的配準常用算法。它將圖像由空域變換到頻域以后再進行配準。該算法利用了互功率譜中的相位信息進行圖像配準，對圖像間的亮度變化不敏感，具有一定的抗干擾能力，而且所獲得的相關(guān)峰尖銳突出，位移檢測范圍大，具有較高的匹配精度。
相位相關(guān)度法思想是利用傅立葉變換的位移性質(zhì)，對于兩幅數(shù)字圖像s,t，其對應(yīng)的傅立葉變換為S,T，即:
S=F{s}= e T=F{t}= e (3-6)
若圖像s,t相差一個平移量(x ,y )，即有:
s(x,y) = t(x-x ,y-y ) (3-7)
根據(jù)傅立葉變換的位移性質(zhì)，上式的傅立葉變換為:
S( )=e T( ) (3-8)
也就是說，這兩幅圖像在頻域中具有相同的幅值，只是相位不同，他們之間的相位差可以等效的表示為互功率譜的相位。兩幅圖的互功率譜為:
=e (3-9)
其中*為共扼符號， 表示頻譜幅度。通過對互功率譜式(3-9)進行傅立葉逆變換，在((x,y)空間的（x ,y )，即位移處，將形成一個單位脈沖函數(shù) ，脈沖位置即為兩幅被配準圖像間的相對平移量x 和y
式(3-9)表明，互功率譜的相位等價于圖像間的相位差，故該方法稱作相位相關(guān)法。
相位相關(guān)度法的優(yōu)點:
(1)該算法簡單速度快，因此經(jīng)常被采用。對于其核心技術(shù)傅立葉變換，現(xiàn)在己經(jīng)出現(xiàn)了很多有關(guān)的快速算法，這使得該算法的快速性成為眾多算法中的一大優(yōu)勢。另外，傅立葉變換的硬件實現(xiàn)也比其它算法容易。
(2)該算法抗干擾能力強，對于亮度變化不敏感。
相位相關(guān)度法的缺點:
(1)該算法要求圖像有50%左右的重疊區(qū)域，在圖像重疊區(qū)域很小的時，算法的結(jié)果很難保證，容易造成誤匹配。
(2)由于Fourier變換依賴于自身的不變屬性，所以該算法只適用于具有旋轉(zhuǎn)、平移、比例縮放等變換的圖像配準問題。對于任意變換模型，不能直接進行處理，而要使用控制點方法，控制點方法可以解決諸如多項式、局部變形等問題。
3.3 基于特征的配準
3.3.1 比值匹配法
比值匹配法算法思路是利用圖像中兩列上的部分像素的比值作為模板，即在參考圖像T的重疊區(qū)域中分別在兩列上取出部分像素，用它們的比值作為模板，然后在搜索圖S中搜索最佳的匹配。匹配的過程是在搜索圖S中，由左至右依次從間距相同的兩列上取出部分像素，并逐一計算其對應(yīng)像素值比值;然后將這些比值依次與模板進行比較，其最小差值對應(yīng)的列就是最佳匹配。這樣在比較中只利用了一組數(shù)據(jù)，而這組數(shù)據(jù)利用了兩列像素及其所包含的區(qū)域的信息。
該算法的具體實現(xiàn)步驟如下:
(1)在參考圖像T中間隔為c個像素的距離上的兩列像素中，各取m個像素，計算這m個像素的比值，將m個比值存入數(shù)組中，將其作為比較的模板。
(2)從搜索圖S中在同樣相隔c個像素的距離上的兩列，各取出m+n個像素，計算其比值，將m+n個比值存入數(shù)組。假定垂直錯開距離不超過n個像素，多取的n個像素則可以解決圖像垂直方向上的交錯問題。
(3)利用參考圖像T中的比值模板在搜索圖S中尋找相應(yīng)的匹配。首先進行垂直方向上的比較，即記錄下搜索圖S中每個比值數(shù)組內(nèi)的最佳匹配。再將每個數(shù)組的組內(nèi)最佳匹配進行比較，即進行水平方向的比較，得到的最小值就認為是全局最佳匹配。此時全局最佳匹配即為圖像間在水平方向上的偏移距離，該全局最佳匹配隊應(yīng)的組內(nèi)最佳匹配即為圖像間垂直方向上的偏移距離。
比值匹配法的優(yōu)點:
(1)算法思路清晰簡單，容易理解，實現(xiàn)起來比較方便。
(2)在匹配計算的時候，計算量小，速度快。
比值匹配法的缺點:
(1)利用圖像的特征信息太少。只利用了兩條豎直的平行特征線段的像素的信息，沒有能夠充分利用了圖像重疊區(qū)域的大部分特征信息。雖然算法提到，在搜索圖S中由左至右依次從間距相同的兩列上取出部分像素，計算其對應(yīng)像素的比值，然后將這些比值依次與模版進行比較，好像是利用了搜索圖S中的重疊區(qū)域的大部分圖像信息，但在參考圖像T中，只是任意選擇了兩條特征線，沒有充分利用到參考圖像T的重疊區(qū)域的特征信息。
(2)對圖片的采集提出了較高的要求。此算法對照片先進行垂直方向上的比較，然后再進行水平方向上的比較，這樣可以解決上下較小的錯開問題。在采集的時候只能使照相機在水平方向上移動。然而，有時候不可避免的照相機鏡頭會有小角度的旋轉(zhuǎn)，使得拍攝出來的照片有一定的旋轉(zhuǎn)，在這個算法中是無法解決的。而且對重疊區(qū)域無明顯特征的圖像，比較背景是海洋或者天空，這樣在選取特征模版的時候存在很大的問題。由于照片中存在大塊紋理相同的部分，所以與模版的差別就不大，這樣有很多匹配點，很容易造成誤匹配。
(3)不易對兩條特征線以及特征線之間的距離進行確定。算法中在參考圖像T的重疊區(qū)域中取出兩列像素上的部分像素，并沒有給出選擇的限制。然而在利用拼接算法實現(xiàn)自動拼接的時候，如果選取的特征線不是很恰當，那么這樣的特征線算出來的模版就失去了作為模版的意義。同時，在確定特征線間距時，選的過大，則不能充分利用重疊區(qū)域的圖像信息。選擇的過小，則計算量太大。
3.3.2 特征點匹配法
比值匹配法利用圖像特征較少，而且在圖像發(fā)生小角度旋轉(zhuǎn)的時候容易發(fā)生誤匹配�；谔卣鼽c的匹配法可以很好的解決這類問題。特征點主要指圖像中的明顯點，如房屋角點、圓點等。用于點特征提取得算子稱為有利算子或興趣算子。自七十年代以來出現(xiàn)一系列各不相同、各有特色的興趣算子，較知名的有Moravec算子、Hannah算子與Foistner等。
本文采用Moravec算子進行特征點提取:
Moravec算子的基本思想是，以像素點的四個主要方向上最小灰度方差表示該像素點與鄰近像素點的灰度變化情況，即像素點的興趣值，然后在圖像的局部選擇具有最大的興趣值得點(灰度變化明顯得點)作為特征點，具體算法如下:
�。�1）計算各像素點的興趣值IV (interest value)，例如計算像素點(c,r)的興趣值，先在以像素點((cr)為中心的n n的影像窗口中(如圖3.3.2所示的5 5的窗口)，計算四個主要方向相鄰像元灰度差的平方和。
圖3.3.2 Moravec 算子特征點提取示意圖
V =
V =
V =
V =
其中k=INT(n/2)。取其中最小者為像元((c,r)的興趣值:
IV(c,r)=V=min{ V , V , V , V }
(2)根據(jù)給定的閡值，選擇興趣值大于該闡值的點作為特征點的候選點。設(shè)V 為事先設(shè)定好的閉值，如果V > V ，則V為特征點的候選點。
闌值得選擇應(yīng)以候選點中包括需要的特征點，而又不含過多的非特征點。
(3)在候選點中選取局部極大值點作為需要的特征點。在一定大小的窗口內(nèi)(可不同于興趣值計算窗口)，去掉所有不是最大興趣值的候選點，只留下興趣值最大者，該像素即為一個特征點。
在有了以上的特征點提取的基礎(chǔ)上，基于特征點匹配算法主要步驟如下:
(1)在參考圖像T的重疊部分中選取4個區(qū)域，每個區(qū)域利用Moravec算子找出特征點。
(2)選取以特征點為中心的區(qū)域，本文大小選擇7X7的區(qū)域，在搜索圖S中尋找最相似的匹配。因為有4個特征點，故有4個特征區(qū)域，找到相應(yīng)的特征區(qū)域的匹配也有4塊。
(3)利用這4組匹配的特征區(qū)域的中心點，也就是4對匹配的特征點，代入方程式(3-2-2)求解，所求的解即為兩幅圖像間的變換系數(shù)。
(3-2-2)
該算法的主要優(yōu)點:
(1)圖像的特征信息得到了利用，能夠有的放矢，不是在盲目的搜索。
(2)誤匹配發(fā)生的概率小，因為利用了參考圖像T包含特征點的特征區(qū)域來尋找相應(yīng)匹配，因此在搜索圖S中相應(yīng)的特征區(qū)域容易確認。
該算法的主要缺點:
(1)計算的代價高，計算量大。該算法需要計算出特征點以及特征點的匹配點，同時還要將所有4對特征點帶入式3-2-2求解變換系數(shù)，計算量大。
3.4 本章小結(jié)
本章分析了現(xiàn)有的多種圖像配準算法以及圖像配準中的難點。
第四章 圖像融合技術(shù)
4.1 圖像融合技術(shù)的基本概念
數(shù)字圖像融合（Digital Image Fusion）是以圖像為主要研究內(nèi)容的數(shù)據(jù)融合技術(shù)，是把多個不同模式的圖像傳感器獲得的同一場景的多幅圖像或同一傳感器在不同時刻獲得的同一場景的多幅圖像合成為一幅圖像的過程。由于不同模式的圖像傳感器的成像機理不同，工作電磁波的波長不同，所以不同圖像傳感器獲得的同一場景的多幅圖像之間具有信息的冗余性和互補性，經(jīng)圖像融合技術(shù)得到的合成圖像則可以更全面、更精確地描述所研究的對象。正是由于這一特點，圖像融合技術(shù)現(xiàn)已廣泛地應(yīng)用于軍事、遙感、視覺、圖像處理等領(lǐng)域中。
數(shù)字圖像融合是圖像分析的一項重要技術(shù)，該技術(shù)在數(shù)字地圖拼接、全景圖、虛擬現(xiàn)實等領(lǐng)域有著重要應(yīng)用。雖然Photoshop等圖像處現(xiàn)軟件提供了圖像處理功能，可以通過拖放的方式進行圖像拼接，但由于完全是手工操作，單調(diào)乏味，且精度不高，因此，有必要尋找一種方便可行的圖像融合方法。Matlab具有強大的計算功能和豐富的工具箱函數(shù)，例如圖像處理和小波工具箱包含了大多數(shù)經(jīng)典算法，并且它提供了一個非常方便快捷的算法研究平臺，可讓用戶把精力集中在算法上而不是編程上，從而能大大提高研究效率。
4.2 手動配準與圖象融合
圖像融合包含圖像配準和無縫合成兩個部分.由于成像時受到各種變形因素的影響，得到的各幅圖像間存在著相對的幾何差異。圖像配準是通過模擬來對圖像間存在著的幾何差異進行校正，把相鄰兩幅圖像合成到同一坐標系下，并使得相同景物在不同的局部圖像中對應(yīng)起來，以便于圖像無縫合成。本文采用Matlab中的cpselect、cp2tform函數(shù)完成幾何配準。cpselect函數(shù)顯示圖像界面，手動在兩幅圖像的重疊部分選取配準控制點，Matlab自動進行亞像素分析，由cp2tform函數(shù)值正重疊部分的幾何差異。Matlab中的cp2tform函數(shù)能修正6種變形，分別是圖(b)：線性相似；圖(c)：仿射；圖(d)：投影；圖(e)：多頂式；圖(o：分段線性；圖(g)：局部加權(quán)平均。前4種為全局變換，后兩種為局部變換，如圖I所示，圖(a)為修正結(jié)果；圖(b)至圖(g)為對應(yīng)的變形。
圖1-1 cp2tform函數(shù)能修正的6種幾何變形
圖像配準之后，由于圖像重疊區(qū)域之間差異的存在，如果將圖像象素簡單疊加，拼按處就會出現(xiàn)明顯的拼接縫，因此需要一種技術(shù)修正待拼接圖像拼接縫附近的顏色值，使之平滑過渡，實現(xiàn)無縫合成。傳統(tǒng)的融合方法多是在時間域?qū)D像進行算術(shù)運算，沒有考慮處理圖像時其相應(yīng)頻率域的變化。從上講，拼接縫的消除相當于圖像顏色或灰度曲面的光滑連接，但實際上圖像的拼接與曲面的光滑不同，圖像顏色或灰度曲面的光滑表現(xiàn)為對圖像的模糊化，從而導致圖像模糊不清。
4.3 圖像融合規(guī)則
圖像的融合規(guī)則(Fusion rule)是圖像融合的核心，融合規(guī)則的好壞直接影響融合圖像的速度和質(zhì)量。
Burt提出了基于像素選取的融合規(guī)則，在將原圖像分解成不同分辨率圖像的基礎(chǔ)上，選取絕對值最大的像素值(或系數(shù))作為融合后的像素值(或系數(shù))。這是基于在不同分辨率圖像中，具有較大值的像素(或系數(shù))包含更多的圖像信息。
Petrovic和Xydeas提出了考慮分解層內(nèi)各圖像(若存在多個圖像)及分解層間的相關(guān)性的像素選取融合規(guī)則。蒲恬在應(yīng)用小波變換進行圖像融合時，根據(jù)人類視覺系統(tǒng)對局部對比度敏感的特性，采用了基于對比度的像素選取融合規(guī)則。
基于像素的融合選取僅是以單個像素作為融合對象，它并未考慮圖像相鄰像素間的相關(guān)性，因此融合結(jié)果不是很理想�？紤]圖像相鄰像素間的相關(guān)性，Burt和Kolczynski提出了基于區(qū)域特性選擇的加權(quán)平均融合規(guī)則，將像素值(或系數(shù))的融合選取與其所在的局部區(qū)域聯(lián)系起來。
在Lietal提出的融合規(guī)則中，其在選取窗口區(qū)域中較大的像素值(或系數(shù))作為融合后像素值(或系數(shù))的同時，還考慮了窗口區(qū)域像素(或系數(shù))的相關(guān)性。Chibani和Houacine在其融合規(guī)則中，通過計算輸入原圖像相應(yīng)窗口區(qū)域中像素絕對值相比較大的個數(shù)，決定融合像素的選取�；诖翱趨^(qū)域的融合規(guī)則由于考慮相鄰像素的相關(guān)性，因此減少了融合像素的錯誤選取。融合效果得到提高。
ZZhang和Blum提出了基于區(qū)域的融合規(guī)則，將圖像中每個像素均看作區(qū)域或邊緣的一部分，并用區(qū)域和邊界等圖像信息來融合選取。采用這種融合規(guī)則所得到的融合效果較好，但此規(guī)則相對其他融合規(guī)則要復(fù)雜。對于復(fù)雜的圖像，此規(guī)則不易于實現(xiàn)。
4.4 圖像融合方法
迄今為止，數(shù)據(jù)融合方法主要是在像元級和特征級上進行的。常用的融合方法有HIS融合法、KL變換融合法、高通濾波融合法、小波變換融合法、金字塔變換融合法、樣條變換融合法等。下面簡要介紹其中的幾種方法。
（1） HIS融合法
HIS融合法在多傳感器影象像元融合方面應(yīng)用較廣，例如：一低分辨率三波段圖象與一高分辨率單波段圖象進行 融合處理。這種方法將三個波段的低分辨率的數(shù)據(jù)通過HIS變換轉(zhuǎn)換到HIS空間，同時將單波段高分辨率圖象進行對比度拉伸以使其灰度的均值與方差和HIS空間中亮度分量圖象一致，然后將拉伸過的高分辨率圖象作為新的亮度分量代入HIS反變換到原始空間中。這樣獲得的高分辨率彩色圖象既具有較高空間分辨率，同時又具有與影象相同的色調(diào)和飽和度，有利于目視解譯和識別。
（2） KL變換融合法
KL變換融合法又稱為主成分分析法。與HIS變換法類似，它將低分辨率的圖象（三個波段或更多）作為輸入分量進行主成分分析，而將高分辨率圖象拉伸使其具有于第一主成分相同的均值和方差，然后用拉伸后的高分辨率影象代替主成分變換的第一分量進行逆變換。高空間分辨率數(shù)據(jù)與高光譜分辨率數(shù)據(jù)通過融合得到的新的數(shù)據(jù)包含了源圖象的高分辨率和高光譜分辨率特征，保留了原圖象的高頻信息。這樣，融合圖象上目標細部特征更加清晰，光譜信息更加豐富。
�。�3） 高通濾波融合法
高通濾波融合法將高分辨率圖象中的邊緣信息提取出來，加入到低分辨率高光譜圖象中。首先，通過高通濾波器提取高分辨率圖象中的高頻分量，然后將高通濾波結(jié)果加入到高光譜分辨率的圖象中，形成高頻特征信息突出的融合影象。
�。�4） 小波變換融合法
利用離散的小波變換，將N幅待融合的圖象的每一幅分解成M幅子圖象，然后在每一級上對來自N幅待融合圖象的M幅子圖象進行融合，得到該級的融合圖象。在得到所有M級的融合圖象后，實施逆變換得到融合結(jié)果。
4.5 圖像融合步驟
目前國內(nèi)外己有大量圖像融合技術(shù)的研究報道，不論應(yīng)用何種技術(shù)方法，必須遵守的基本原則是兩張或多張圖像上對應(yīng)的每一點都應(yīng)對位準確。由于研究對象、目的不同，圖像融合方法亦可多種多樣，其主要步驟歸納如下:
(1) 預(yù)處理:對獲取的兩種圖像數(shù)據(jù)進行去噪、增強等處理，統(tǒng)一數(shù)據(jù)格式、圖像大小和分辨率。對序列斷層圖像作三維重建和顯示，根據(jù)目標特點建立數(shù)學模型;
SHAPE \* MERGEFORMAT
圖3-1 圖像融合步驟示意圖
(2) 分割目標和選擇配準特征點:在二維或三維情況下，對目標物或興趣區(qū)進行分割。選取的特點應(yīng)是同一標記在兩個圖像上的對應(yīng)點，該物理標記可以是人工標記，也可以是人體解剖特征點;
(3 )利用特征點進行圖像配準:可視作兩個數(shù)據(jù)集間的線性或非線性變換，使變換后的兩個數(shù)據(jù)集的誤差達到某種準則的最小值;
(4) 融合圖像創(chuàng)建:配準后的兩種模式的圖像在同一坐標系下將各自的有用信息融合表達成二維或三維圖像;
(5) 參數(shù)提取:從融合圖像中提取和測量特征參數(shù)，定性、定量分析
4.6 本章小結(jié)
本章主要介紹了圖像融合的概念，方法以及步驟。
第五章 圖像拼接matlab實現(xiàn)
5.1 Matlab簡介
MATLAB 的名稱源自 Matrix Laboratory ，它是一種科學計算軟件，專門以矩陣的形式處理數(shù)據(jù)。 MATLAB 將高性能的數(shù)值計算和可視化集成在一起，并提供了大量的內(nèi)置函數(shù)，從而被廣泛地應(yīng)用于科學計算、控制系統(tǒng)、信息處理等領(lǐng)域的分析、仿真和設(shè)計工作，而且利用 MATLAB 產(chǎn)品的開放式結(jié)構(gòu)，可以非常容易地對 MATLAB 的功能進行擴充，從而在不斷深化對問題認識的同時，不斷完善 MATLAB 產(chǎn)品以提高產(chǎn)品自身的競爭能力。
Matlab有如下特點：
1．編程效率高
它是一種面向科學與工程計算的高級語言，允許用數(shù)學形式的語言編寫程序，且比Basic、Fortran和C等語言更加接近我們書寫計算公式的思維方式，用Matlab編寫程序猶如在演算紙上排列出公式與求解問題。Matlab編寫簡單，所以編程效率高，易學易懂。
2．用戶使用方便
Matlab語言是一種解釋執(zhí)行的語言（在沒被專門的工具編譯之前），它靈活、方便，其調(diào)試程序手段豐富，調(diào)試速度快，需要學習時間少。人們用任何一種語言編寫程序和調(diào)試程序一般都要經(jīng)過四個步驟：編輯、編譯、連接以及執(zhí)行和調(diào)試。各個步驟之間是順序關(guān)系，編程的過程就是在它們之間作瀑布型的循環(huán)。
3．擴充能力強
高版本的Matlab語言有豐富的庫函數(shù)，在進行復(fù)雜的數(shù)學運算時可以直接調(diào)用，而且Matlab的庫函數(shù)同用戶文件在形成上一樣，所以用戶文件也可作為Matlab的庫函數(shù)來調(diào)用。
4．語句簡單，內(nèi)涵豐富
Mat1ab語言中最基本最重要的成分是函數(shù)，其一般形式為[a，6，c……] = fun（d，e，f，……），即一個函數(shù)由函數(shù)名，輸入變量d，e，f,……和輸出變量a，b，c……組成，同一函數(shù)名F，不同數(shù)目的輸入變量（包括無輸入變量）及不同數(shù)目的輸出變量，代表著不同的含義（有點像面向?qū)ο笾械亩鄳B(tài)性。。
5．高效方便的矩陣和數(shù)組運算
Matlab語言象Basic、Fortran和C語言一樣規(guī)定了矩陣的算術(shù)運算符、關(guān)系運算符、運算符、條件運算符及賦值運算符，而且這些運算符大部分可以毫無改變地照搬到數(shù)組間的運算，有些如算術(shù)運算符只要增加“·”就可用于數(shù)組間的運算，另外，它不需定義數(shù)組的維數(shù)，并給出矩陣函數(shù)、特殊矩陣專門的庫函數(shù)，使之在求解諸如信號處理、建模、系統(tǒng)識別、控制、優(yōu)化等領(lǐng)域的問題時，顯得大為簡捷、高效、方便，這是其它高級語言所不能比擬的。
6．方便的繪圖功能
Matlab的繪圖是十分方便的，它有一系列繪圖函數(shù)（命令），例如線性坐標、對數(shù)坐標，半對數(shù)坐標及極坐標，均只需調(diào)用不同的繪圖函數(shù)（命令），在圖上標出圖題、XY軸標注，格（柵）繪制也只需調(diào)用相應(yīng)的命令，簡單易行。另外，在調(diào)用繪圖函數(shù)時調(diào)整自變量可繪出不變顏色的點、線、復(fù)線或多重線。這種為科學研究著想的設(shè)計是通用的編程語言所不及的。
總之，Matlab語言的設(shè)計思想可以說代表了當前計算機高級語言的發(fā)展方向。我們相信，在不斷使用中，讀者會發(fā)現(xiàn)它的巨大潛力。因此本文采用matlab來實現(xiàn)本文的算法。
5.2 各算法程序
5.2.1 一般方法
圖像融合是通過一個數(shù)學模型把來自不同傳感器的多幅圖像綜合成一幅滿足特定應(yīng)用需求的圖像的過程，從而可以有效地把不同圖像傳感器的優(yōu)點結(jié)合起來，提高對圖像信息分析和提取的能力。簡單的圖像融合方法不對參加融合的源圖像進行任何變換和分解，而是直接對源圖像中的各對應(yīng)像素分別進行選擇、平均或加權(quán)平均、多元回歸或其它數(shù)學運算等處理后，最終合成一幅融合圖像。
對于圖像融合的對象，可以分為兩大類，即多光譜圖像(通常為RGB彩色圖像)與灰度圖像之間的融合，以及灰度圖像之間的融合�；叶葓D像之間的融合，在大體上可分為三大類。一類是簡單融合方法，包括將空間對準的兩幅圖像直接求加權(quán)平均值。另一類方法是基于金字塔形分解和重建算法的融合方法，主要包括梯度金字塔法、對比度和比率金字塔法以及拉普拉斯金字塔法等，它們首先構(gòu)造輸入圖像的金字塔，再按一定的特征選擇方法取值形成融合金字塔，通過對金字塔實施逆變換進行圖像重建，最終生成融合圖像，它們的融合效果要遠優(yōu)于第一類方法，然而它也有很多不盡如人意的地方。還有一類方法就是近幾年興起的基于小波變換的圖像融合方法，它通常采用多分辨分析和Mallat快速算法，通過在各層的特征域上進行有針對性的融合，比較容易提取原始圖像的結(jié)構(gòu)信息和細節(jié)信息，所以融合效果要好于基于金字塔形變換的圖像融合法。這是因為小波變換更為緊湊;小波表達式提供了方向信息，而金字塔表達式未將空間方向選擇性引入分解過程;由于可以選擇正交小波核，因此不同分辨率包含的信息是唯一的，而金字塔分解在兩個不同的尺度之間含有冗余，另外金字塔不同級的數(shù)據(jù)相關(guān)，很難知道兩級之間的相似性是由于冗余還是圖像本身的性質(zhì)引起的;金字塔的重構(gòu)過程可能具有不穩(wěn)定性，特別是兩幅圖像存在明顯差異區(qū)域時，融合圖像會出現(xiàn)斑塊，而小波變換圖像融合則沒有類似的問題。此外，小波變換具有完善重建能力保證了信號在分解重構(gòu)過程中沒有信息損失和信息冗余產(chǎn)生。
5.2.2 PCA算法程序
基于PCA的圖像融合:又稱K-L變換法，它的幾何意義是把原始特征空間的特征軸旋轉(zhuǎn)到平行于混合集群結(jié)構(gòu)軸的方向去，得到新的特征軸。實際操作是將原來的各個因素指標(這些指標中部分有相關(guān)關(guān)系)重新組合，組合后的新指標是互不相關(guān)的。在由這些新指標組成的新特征軸中，只用前幾個分量圖像就能完全表征原始集群的有效信息，圖像中彼此相關(guān)的數(shù)據(jù)被壓縮，而特征得到了突出，此方法在對于具有相關(guān)因子的多源遙感數(shù)據(jù)進行融合時具有顯著優(yōu)勢。
基于PCA的融合算法程序：
function Y = fuse_pca(M1， M2)
%Y = fuse_pca(M1， M2) image fusion with PCA method
%
% M1 - input image #1
% M2 - input image #2
%
% Y - fused image
% (Oliver Rockinger 16.08.99)
% check inputs
[z1 s1] = size(M1);
[z2 s2] = size(M2);
if (z1 ~= z2) | (s1 ~= s2)
error('Input images are not of same size');
end;
% compute， select & normalize eigenvalues
[V， D] = eig(cov([M1(:) M2(:)]));
if (D(1，1) > D(2，2))
a = V(:，1)./sum(V(:，1));
else
a = V(:，2)./sum(V(:，2));
end;
% and fuse
Y = a(1)*M1+a(2)*M2;
5.2.3 金字塔（Pyramid）算法程序
金字塔圖像融合法:用金字塔在空間上表示圖像是一種簡單方便的方法。概括地說金字塔圖像融合法就是將參加融合的每幅源圖像作金字塔表示，將所有圖像的金字塔表示在各相應(yīng)層上以一定的融合規(guī)則融合，可得到合成的金字塔。將合成的金字塔，用金字塔生成的逆過程重構(gòu)圖像，則可得到融合圖像。金字塔可分為:Laplacian金字塔、Gaussian金字塔、梯度金字塔、形態(tài)金字塔等。
基于FSD Pyramid的圖像融合算法程序：
function Y = fuse_fsd(M1， M2， zt， ap， mp)
%Y = fuse_fsd(M1， M2， zt， ap， mp) image fusion with fsd pyramid
%
% M1 - input image A
% M2 - input image B
% zt - maximum decomposition level
% ap - coefficient selection highpass (see selc.m)
% mp - coefficient selection base image (see selb.m)
%
% Y - fused image
% (Oliver Rockinger 16.08.99)
% check inputs
[z1 s1] = size(M1);
[z2 s2] = size(M2);
if (z1 ~= z2) | (s1 ~= s2)
error('Input images are not of same size');
end;
% define filter
w = [1 4 6 4 1] / 16;
% cells for selected images
E = cell(1，zt);
% loop over decomposition depth -> analysis
for i1 = 1:zt
% calculate and store actual image size
[z s] = size(M1);
zl(i1) = z; sl(i1) = s;
% check if image expansion necessary
if (floor(z/2) ~= z/2)， ew(1) = 1; else， ew(1) = 0; end;
if (floor(s/2) ~= s/2)， ew(2) = 1; else， ew(2) = 0; end;
% perform expansion if necessary
if (any(ew))
M1 = adb(M1，ew);
M2 = adb(M2，ew);
end;
% perform filtering
G1 = conv2(conv2(es2(M1，2)， w， 'valid')，w'， 'valid');
G2 = conv2(conv2(es2(M2，2)， w， 'valid')，w'， 'valid');
% select coefficients and store them
E(i1) = {selc(M1-G1， M2-G2， ap)};
% decimate
M1 = dec2(G1);
M2 = dec2(G2);
end;
% select base coefficients of last decompostion stage
M1 = selb(M1，M2，mp);
% loop over decomposition depth -> synthesis
for i1 = zt:-1:1
% undecimate and interpolate
M1T = conv2(conv2(es2(undec2(M1)， 2)， 2*w， 'valid')， 2*w'， 'valid');
% add coefficients
M1 = M1T + E{i1};
% select valid image region
M1 = M1(1:zl(i1)，1:sl(i1));
end;
% copy image
Y = M1;
5.2 .4 小波變換（DWT）算法程序
在眾多的圖像融合技術(shù)中，基于小波變換的圖像融合方法已成為現(xiàn)今研究的一個熱點。這類算法主要是利用人眼對局部對比度的變化比較敏感這一事實，根據(jù)一定的融合規(guī)則，在多幅原圖像中選擇出最顯著的特征，例如邊緣、線段等，并將這些特征保留在最終的合成圖像中。在一幅圖像的小波變換中，絕對值較大的小波系數(shù)對應(yīng)于邊緣這些較為顯著的特征，所以大部分基于小波變換的圖像融合算法主要研究如何選擇合成圖像中的小波系數(shù)，也就是三個方向上的高頻系數(shù)，從而達到保留圖像邊緣的目的。雖然小波系數(shù)(高頻系數(shù))的選擇對于保留圖像的邊緣等特征具有非常主要的作用，但尺度系數(shù)(低頻系數(shù))決定了圖像的輪廓，正確地選擇尺度系數(shù)對提高合成圖像的視覺效果具有舉足輕重的作用。
基于SIDWT（Shift Invariance Discrete Wavelet Transform）小波變換的算法程序：
function Y = fuse_sih(M1， M2， zt， ap， mp)
%Y = fuse_sih(M1， M2， zt， ap， mp) image fusion with SIDWT， Wavelet is Haar
%
% M1 - input image A
% M2 - input image B
% zt - maximum decomposition level
% ap - coefficient selection highpass (see selc.m)
% mp - coefficient selection base image (see selb.m)
%
% Y - fused image
% (Oliver Rockinger 16.08.99)
% check inputs
[z1 s1] = size(M1);
[z2 s2] = size(M2);
if (z1 ~= z2) | (s1 ~= s2)
error('Input images are not of same size');
end;
% cells for selected images
E = cell(3，zt);
% loop over decomposition depth -> analysis
for i1 = 1:zt
% calculate and store actual image size
[z s] = size(M1);
zl(i1) = z; sl(i1) = s;
% define actual filters (inserting zeros between coefficients)
h1 = [zeros(1，floor(2^(i1-2)))， 0.5， zeros(1，floor(2^(i1-1)-1))， 0.5， zeros(1，max([floor(2^(i1-2))，1]))];
g1 = [zeros(1，floor(2^(i1-2)))， 0.5， zeros(1，floor(2^(i1-1)-1))， -0.5， zeros(1，max([floor(2^(i1-2))，1]))];
fh = floor(length(h1)/2);
% image A
Z1 = conv2(es(M1， fh， 1)， g1， 'valid');
A1 = conv2(es(Z1， fh， 2)， g1'，'valid');
A2 = conv2(es(Z1， fh， 2)， h1'，'valid');
Z1 = conv2(es(M1， fh， 1)， h1， 'valid');
A3 = conv2(es(Z1， fh， 2)， g1'，'valid');
A4 = conv2(es(Z1， fh， 2)， h1'，'valid');
% image B
Z1 = conv2(es(M2， fh， 1)， g1， 'valid');
B1 = conv2(es(Z1， fh， 2)， g1'，'valid');
B2 = conv2(es(Z1， fh， 2)， h1'，'valid');
Z1 = conv2(es(M2， fh， 1)， h1， 'valid');
B3 = conv2(es(Z1， fh， 2)， g1'，'valid');
B4 = conv2(es(Z1， fh， 2)， h1'，'valid');
% select coefficients and store them
E(1，i1) = {selc(A1， B1， ap)};
E(2，i1) = {selc(A2， B2， ap)};
E(3，i1) = {selc(A3， B3， ap)};
% copy input image for next decomposition stage
M1 = A4;
M2 = B4;
end;
% select base coefficients of last decompostion stage
A4 = selb(A4，B4，mp);
% loop over decomposition depth -> synthesis
for i1 = zt:-1:1
% define actual filters (inserting zeros between coefficients)
h2 = fliplr([zeros(1，floor(2^(i1-2)))， 0.5， zeros(1，floor(2^(i1-1)-1))， 0.5， zeros(1，max([floor(2^(i1-2))，1]))]);
g2 = fliplr([zeros(1，floor(2^(i1-2)))， 0.5， zeros(1，floor(2^(i1-1)-1))， -0.5， zeros(1，max([floor(2^(i1-2))，1]))]);
fh = floor(length(h2)/2);
% filter (rows)
A4 = conv2(es(A4， fh， 2)， h2'， 'valid');
A3 = conv2(es(E{3，i1}， fh， 2)， g2'， 'valid');
A2 = conv2(es(E{2，i1}， fh， 2)， h2'， 'valid');
A1 = conv2(es(E{1，i1}， fh， 2)， g2'， 'valid');
% filter (columns)
A4 = conv2(es(A4+A3， fh， 1)， h2， 'valid');
A2 = conv2(es(A2+A1， fh， 1)， g2， 'valid');
% add images
A4 = A4 + A2;
end;
% copy image
Y = A4;
5．3實驗結(jié)果
下面將本文的算法用于多聚焦圖像的融合。多聚焦圖像指的是對相同的場景用不同的焦距進行拍攝，得到鏡頭聚焦目標不同的多個圖像。經(jīng)過圖像融合技術(shù)后，就可以得到一個所有目標都聚焦清晰的圖像。圖5-1中左邊的目標較為清晰，圖5-2中右邊的目標較為清晰。
圖5-1 聚焦在左邊的圖像
圖5-2 聚焦在右邊的圖像
我們分別利用基于PCA的算法、金字塔圖像融合法和小波變換法的算法程序得到的的融合圖像結(jié)果，如圖5-3、圖5-4、圖5-5所示
圖5-3 基于PCA算法的融合圖像
圖5-4 基于金字塔圖像融合算法的融合圖像
圖5-5 基于SIDWT小波變換的融合圖像
從實驗結(jié)果可以看出，三種方案都可以得到較滿意的視覺效果，消除了原圖像的聚焦差異，提高了圖像的清晰度，在合成圖像中左、右兩邊的目標都很清晰。但通過比較分析，我們可以看出基于小波變換的融合圖像（圖5-5）最為清晰，所表現(xiàn)的圖像細節(jié)效果最好，重影現(xiàn)象消除得最干凈。圖5-3的清晰度不夠，而圖5-4的細節(jié)表現(xiàn)力較弱，只有圖5-5的邊緣最清晰，重影消除地最干凈，細節(jié)得到了最好地保留。
第六章 與展望
6.1 本論文工作的總結(jié)
圖像拼接技術(shù)一直是視覺、圖像處理和計算機圖形學的熱點研究方向。它可以用來建立大視角的高分辨率圖像，在虛擬現(xiàn)實領(lǐng)域、圖像處理領(lǐng)域、遙感技術(shù)領(lǐng)域和軍事領(lǐng)域中均有廣泛的應(yīng)用。
本文總結(jié)了前人在圖像拼接領(lǐng)域的研究成果和研究現(xiàn)狀，按照圖像拼接的流程(圖像預(yù)處理、圖像配準和圖像融合)，詳細介紹了圖像拼接技術(shù)，主要完成的工作有:(1)圖像預(yù)處理主要指對圖像進行幾何畸變校正和噪聲點的抑制等，讓參考圖像和待拼接圖像不存在明顯的幾何畸變。
(2)圖像配準主要指對參考圖像和待拼接圖像中的匹配信息進行提取，在提取出的信息中尋找最佳的匹配，完成圖像間的對齊。圖像配準是圖像拼接技術(shù)中的核心部分。本文分析了現(xiàn)有的多種圖像配準算法。
(3)圖像融合指在完成圖像匹配以后，對圖像進行縫合，并對縫合的邊界進行平滑處理，讓縫合自然過渡。
(4)論文的最后簡要介紹了利用matlab實現(xiàn)的圖像拼接軟件，該軟件實現(xiàn)了本文討論到的所有方法。
6.2展望
經(jīng)過3個月的研究，本文對圖像拼接技術(shù)的研究涉及到了現(xiàn)有圖像拼接領(lǐng)域的大多方法。但對于這一研究領(lǐng)域來說，本文所作的工作只是滄海一粟。事實上，還有很多圖像拼接問題值得去研究和解決，由于時間的關(guān)系，本文沒有做進一步的研究。
根據(jù)圖像拼接技術(shù)的研究體會，本人認為以下幾個方面有待于進一步研究:
(1)本文的圖像拼接算法的研究，是基于兩幅圖像間重疊區(qū)域并不存在運動的物體的假設(shè)的。但是在有些情況下，待拼接的圖像采集過程中，會有運動的物體出現(xiàn)。如果在重疊區(qū)域存在運動物體的情況下，如何消除運動物體對拼接圖像帶來的影響例如，兩幅圖像因為重疊區(qū)域的運動物體，在合成的圖像中該區(qū)域出現(xiàn)重影)，是需要進一步研究的問題。
(2)本文討論的圖像拼接算法，并不是針對特定圖像的研究。但是，圖像拼接在用于實際應(yīng)用的時候，有時是針對某一特定的圖像。如何通過特定目標的特征從圖像中提取出特定目標(例如，人臉、足球)，以此來幫助完成圖像拼接，這需要加深對圖像中特定目標的理解和分割。因此，如何更好的理解圖像，分割出特定圖像中的目標物體，通過特征物體的配準來完成圖像拼接，是一個可以重點研究的方向。
參考文獻
1.鐘力，胡曉峰.重疊圖像拼接算法.中國圖像圖形學報.1998/5/3
2. L. G. Brown. A survey of image registration techniques. ACM Computer
Surveys, 1992/4/24
3.陳永強，王啟付.虛擬中變形圖像拼接技術(shù)研究.華中科技大學學報.2001/1/29
4. Richard Szeliski. Video mosaics for virtual environments. Computer
Graphics and Applications, IEEE, Mar 1996.
5.于為，郁道銀，鄒群峰.醫(yī)學超聲圖像的處理與拼接.中國生物醫(yī)學上程學報，1999
6.王小睿，吳信才.遙感多圖像的自動配準方法.中國圖像圖形學報，1997/10/2
7.封靖波，蘇志勛，劉秀平.一種基于相似曲線的全景圖自動拼接算法.計算機學報.2003/11
8. Barbara Zitova, Jan Flusser. Image registration methods:a survey. Imaging and Vision Computing,2003, vo1.21，pp. 977-1000.
9. B. K. Ghaffary, A. A. Sawchuk. A survey of new techniques for I mageregistration and mapping, Proceedings of the SPIE:Applications of Digital Image Processing, Eng.432，1983, pp. 222-239.
10 孫家廣 等，計算機圖形學（第三版），清華大學出版社，1998/9。
11 陳傳波，陸楓，計算機圖形學基礎(chǔ)，出版社， 2004/2。
12 任愛華，計算機圖形學，北京航空航天大學出版社，2005/12。
13 王偉，陸佩忠，數(shù)字圖像拼接技術(shù)，小型微型計算機系統(tǒng)，2006/6。
14 高文，陳熙霖，計算機視覺，清華大學出版社與廣西科學技術(shù)出版社。1999/2。
15 劉靜華，王永生，陸國棟，陳超，計算機繪圖，高等出版社，2006/5。
16 王小睿，吳信才.遙感多圖像的自動配準方法.中國圖像圖形學報，1997
17數(shù)字圖象處理：MATLAB版：using MATLAB
18 MATLAB 6.1基礎(chǔ)及應(yīng)用技巧 李海濤, 鄧櫻編著 北京：國防工業(yè)出版社，2002
19 MATLAB 6.5輔助圖像處理 飛思科技產(chǎn)品研發(fā)中心編著 北京：電子工業(yè)出版社，2003
20 Matlab工具箱應(yīng)用指南．控制工程篇 徐昕, 李濤, 伯曉晨等編著 北京：電子工業(yè)出版社，2000
21 Matlab信號處理與應(yīng)用 董長虹主編 北京：國防工業(yè)出版社，2005
【圖像拼接算法及實現(xiàn)】相關(guān)文章：
醫(yī)學圖像領(lǐng)域中數(shù)字圖像處理的應(yīng)用論文04-19
談地理圖像投影導學法08-21
數(shù)據(jù)關(guān)聯(lián)算法綜述及其性能評估05-05
都市頻道制作網(wǎng)的設(shè)計與實現(xiàn)05-29
基于minigui的網(wǎng)真機界面的實現(xiàn)08-05
城市旅游網(wǎng)站的設(shè)計與實現(xiàn)論文（精選6篇）05-07
企業(yè)知識管理的實現(xiàn)技術(shù)和工具的電商論文05-02
企業(yè)法律風險防范體系建立的原因及實現(xiàn)路徑08-06