[科普中國(guó)]-圖像融合

簡(jiǎn)介

圖像融合作為信息融合的一個(gè)分支，是當(dāng)前信息融合研究中的一個(gè)熱點(diǎn)。圖像融合的數(shù)據(jù)形式是包含有明暗、色彩、溫度、距離以及其他的景物特征的圖像。這些圖像可以以一幅，或者一列的形式給出。而圖像融合是將2張或2張以上的圖像信息的融合到1張圖像上，使得融合的圖像含有更多的信息、能夠更方便人來(lái)觀(guān)察或者計(jì)算機(jī)處理。圖像融合的目標(biāo)是在實(shí)際應(yīng)用目標(biāo)下將相關(guān)信息最大合并的基礎(chǔ)上減少輸出的不確定度和冗余度。圖像融合的優(yōu)點(diǎn)很明顯，它能擴(kuò)大圖像所含有的時(shí)間空間信息，減少不確定性，增加可靠性，改進(jìn)系統(tǒng)的魯棒性能。最早的圖像融合工作可以追溯到20世紀(jì)80年代中期，Burt P J最早使用拉普拉斯金字塔方法對(duì)雙筒望遠(yuǎn)鏡圖像進(jìn)行了融合，1995年，Li H最先運(yùn)用小波方法對(duì)圖像進(jìn)行融合，這對(duì)圖像融合技術(shù)產(chǎn)生了巨大的推進(jìn)。經(jīng)過(guò)長(zhǎng)期的實(shí)踐，從事圖像融合的工作者對(duì)圖像融合的方法和手段有了一定的共識(shí)，提出了圖像融合需要遵守的3個(gè)基本原則：1

1)融合后圖像要含有所有源圖像的明顯突出信息；

2)融合后圖像不能加入任何的人為信息；

3)對(duì)源圖像中不感興趣的信息，如噪聲要盡可能多地抑制其出現(xiàn)在融合圖像中。

定義圖像融合（Image Fusion）是指將多源信道所采集到的關(guān)于同一目標(biāo)的圖像數(shù)據(jù)經(jīng)過(guò)圖像處理和計(jì)算機(jī)技術(shù)等，最大限度的提取各自信道中的有利信息，最后綜合成高質(zhì)量的圖像，以提高圖像信息的利用率、改善計(jì)算機(jī)解譯精度和可靠性、提升原始圖像的空間分辨率和光譜分辨率，利于監(jiān)測(cè)。 待融合圖像已配準(zhǔn)好且像素位寬一致，綜合和提取兩個(gè)或多個(gè)多源圖像信息（參考文獻(xiàn)：陳浩，王延杰?；谛〔ㄗ儞Q的圖像融合技術(shù)研究. 微電子學(xué)與計(jì)算機(jī), 2010 ,27( 5 )：39-41）。兩幅（多幅）已配準(zhǔn)好且像素位寬一致的待融合源圖像，如果配準(zhǔn)不好且像素位寬不一致，其融合效果不好。

優(yōu)點(diǎn)高效的圖像融合方法可以根據(jù)需要綜合處理多源通道的信息，從而有效地提高了圖像信息的利用率、系統(tǒng)對(duì)目標(biāo)探測(cè)識(shí)別地可靠性及系統(tǒng)的自動(dòng)化程度。其目的是將單一傳感器的多波段信息或不同類(lèi)傳感器所提供的信息加以綜合，消除多傳感器信息之間可能存在的冗余和矛盾，以增強(qiáng)影像中信息透明度，改善解譯的精度、可靠性以及使用率，以形成對(duì)目標(biāo)的清晰、完整、準(zhǔn)確的信息描述。

這諸多方面的優(yōu)點(diǎn)使得圖像融合在醫(yī)學(xué)、遙感、計(jì)算機(jī)視覺(jué)、氣象預(yù)報(bào)及軍事目標(biāo)識(shí)別等方面的應(yīng)用潛力得到充分認(rèn)識(shí)、尤其在計(jì)算機(jī)視覺(jué)方面。

層次一般情況下，圖像融合由低到高分為三個(gè)層次：數(shù)據(jù)級(jí)融合、特征級(jí)融合、決策級(jí)融合。數(shù)據(jù)級(jí)融合也稱(chēng)像素級(jí)融合，是指直接對(duì)傳感器采集來(lái)得數(shù)據(jù)進(jìn)行處理而獲得融合圖像的過(guò)程，它是高層次圖像融合的基礎(chǔ)，也是目前圖像融合研究的重點(diǎn)之一。這種融合的優(yōu)點(diǎn)是保持盡可能多得現(xiàn)場(chǎng)原始數(shù)據(jù)，提供其它融合層次所不能提供的細(xì)微信息。

像素級(jí)融合中有空間域算法和變換域算法，空間域算法中又有多種融合規(guī)則方法，如邏輯濾波法，灰度加權(quán)平均法，對(duì)比調(diào)制法等；變換域中又有金字塔分解融合法，小波變換法。其中的小波變換是當(dāng)前最重要，最常用的方法。

在特征級(jí)融合中，保證不同圖像包含信息的特征，如紅外光對(duì)于對(duì)象熱量的表征，可見(jiàn)光對(duì)于對(duì)象亮度的表征等等。

決策級(jí)融合主要在于主觀(guān)的要求，同樣也有一些規(guī)則，如貝葉斯法，D-S證據(jù)法和表決法等。

融合算法常結(jié)合圖像的平均值、熵值、標(biāo)準(zhǔn)偏差、平均梯度；平均梯度反映了圖像中的微小細(xì)節(jié)反差與紋理變化特征，同時(shí)也反映了圖像的清晰度。目前對(duì)圖像融合存在兩個(gè)問(wèn)題：最佳小波基函數(shù)的選取和最佳小波分解層數(shù)的選取。

結(jié)構(gòu)三層結(jié)構(gòu)實(shí)際的融合過(guò)程可以根據(jù)信息流的不同形式分為不同的等級(jí)。現(xiàn)在普遍接受的一種分層方式是將融合的過(guò)程分成像素級(jí)、特征級(jí)以及符號(hào)決策級(jí)3級(jí)，如圖1所示。圖像在像素一級(jí)的融合是處在最低部的一層，它將不同的物理參數(shù)進(jìn)行融合。在得到的融合圖像中，每一個(gè)像素都是由幾個(gè)源圖像所對(duì)應(yīng)的區(qū)域決定而得。特征級(jí)的融合是在各個(gè)輸入圖像抽出的特征基礎(chǔ)上，對(duì)這些特征進(jìn)行融合，這些特征可以是形狀、大小、紋理、對(duì)比度等。在這些抽取的特征上進(jìn)行融合，使得這些有用的特征能夠更好的體現(xiàn)出來(lái)。在符號(hào)決策級(jí)的融合是對(duì)圖像信息的更高的抽象。此時(shí)輸入的圖像已經(jīng)是信息抽取得到的特征和分類(lèi)，融合處理得到一個(gè)代表性符號(hào)或者對(duì)應(yīng)決策。對(duì)于各個(gè)適應(yīng)等級(jí)的選擇取決于實(shí)際中不同的因素，比如，圖像源。同時(shí)，選擇不同的級(jí)別處理與圖像預(yù)處理得到的結(jié)果也有關(guān)。1

系統(tǒng)框架實(shí)際的圖像融合不能單獨(dú)的存在以構(gòu)成系統(tǒng)，它是連接實(shí)際采集信息和系統(tǒng)控制之間的紐帶。圖2給出了一個(gè)標(biāo)準(zhǔn)的圖像融合系統(tǒng)的框架，由圖的描述可看出系統(tǒng)的框架可分為4個(gè)部分：圖像配準(zhǔn)、圖像預(yù)處理、圖像融合、輸出和圖像后處理。1

在融合前期最重要的工作就是圖像配準(zhǔn)，除非是給出的為了融合而融合的圖像，否則都需要進(jìn)行圖像配準(zhǔn)。配準(zhǔn)的目的是使圖像滿(mǎn)足時(shí)問(wèn)和空間上的一致。在實(shí)際工程中，導(dǎo)致采集的圖像時(shí)空不一致的因素很多，比如，攝像頭的視野不同、鏡片的焦距不同、圖像單位時(shí)間的幀數(shù)的差異、攝像頭的移動(dòng)等。而且，實(shí)際工程中的圖像的空間和時(shí)間上的差異在融合中是很難把握，現(xiàn)在也沒(méi)有通用的標(biāo)準(zhǔn)來(lái)衡量這些誤差。這些其他因素產(chǎn)生的誤差是不能簡(jiǎn)單地運(yùn)用融合算法來(lái)消除的。因此，只有先完成圖像的配準(zhǔn)工作，后期的圖像預(yù)處理和融合算法才有意義。實(shí)際配準(zhǔn)的過(guò)程是以一幅圖像作為基礎(chǔ)，把其他的圖像通過(guò)一定算法復(fù)合在其上。1

圖像預(yù)處理是融合前期的一步工作。很多研究人員認(rèn)為圖像預(yù)處理過(guò)程并不必要，因?yàn)閳D像預(yù)處理過(guò)程并不是為了在視覺(jué)上的優(yōu)化，而且這個(gè)過(guò)程常常是不能被用戶(hù)觀(guān)察到的。實(shí)際上，對(duì)于一些有先驗(yàn)知識(shí)的圖像，在預(yù)處理階段可以把對(duì)先驗(yàn)知識(shí)表示加入到圖像中，這樣出來(lái)的圖像再去融合，就能得到比較好的結(jié)果。如果不加預(yù)處理階段，一味地對(duì)圖像用融合方法進(jìn)行融合，得到結(jié)果的可靠性就自然降低了不少。1

經(jīng)過(guò)融合后，系統(tǒng)將輸出一幅圖像，理論上這幅圖像將含有所有輸入圖像的有用信息。輸出的這幅圖像可以直接用于用戶(hù)觀(guān)測(cè)，或者經(jīng)過(guò)后期處理，即圖像信息應(yīng)用，直接用于控制系統(tǒng)。由于融合過(guò)程中已經(jīng)對(duì)圖像進(jìn)行了很好的信息抽取，此時(shí)后期處理階段就相對(duì)會(huì)容易很多。對(duì)于一個(gè)控制系統(tǒng)，這個(gè)模塊起到了控制器的作用。1