[科普中國]-影像拼接

**影像拼接（image stitching）**是指將兩張或更多的有重疊部分的影像，拼接成一張全景圖或是高分辨率影像的技術(shù)。

定義**影像拼接（image stitching）**是指將兩張或更多的有重疊部分的影像，拼接成一張全景圖或是高分辨率影像的技術(shù)。影像拼接有兩大步驟：影像對準(zhǔn)（image alignment）和影像混合（blending）。1

相關(guān)應(yīng)用影像穩(wěn)定（image stabilization）

影片摘要（video summarization）

背景擷取

全景圖制作

但并不是任意兩張有重疊部分的影像都能夠被拼接，被拼接的影像必須：

有同樣的投影中心

影像的內(nèi)容為平面，沒有前后景的分別

影像為足夠遠(yuǎn)的遠(yuǎn)景，可以視為平面

實作上，通常會固定相機，讓影像能有相同的投影中心以利后續(xù)處理。另外影像之間重疊部分不宜太少或太多，重疊太少會讓對準(zhǔn)變得困難，重疊太多則會讓混合之后的瑕疵和失真更多，適當(dāng)?shù)闹丿B范圍為15-30度。另外，為了讓拼接后的影像更符合人類視覺，在進(jìn)行影像拼接之前，會先將影像投影到圓柱座標(biāo)或球體座標(biāo)上。

影像對準(zhǔn)影像對準(zhǔn)是指找出兩張影像之間的變換關(guān)系，如平移、旋轉(zhuǎn)、縮放，經(jīng)過變換之后使兩張影像中相同的部分可以重疊。影像之間的變換關(guān)系可以用一個矩陣來表示，所要求得的矩陣的未知數(shù)數(shù)量越多，代表兩影像之間的關(guān)系越復(fù)雜、越難對準(zhǔn)。舉例而言，平移矩陣有兩個未知數(shù)，仿射變換矩陣有六個未知數(shù)，而一般化的投影矩陣則有八個未知數(shù)。為簡化問題，在拍攝影像時會盡量避免同時平移、旋轉(zhuǎn)或縮放，以簡化對準(zhǔn)的難度。通常會先取得影像的特征點，再透過影像配準(zhǔn)（image registration）完成對準(zhǔn)。

特征點檢測特征點檢測是指借由影像的亮度、顏色、梯度等資訊，尋找影像中的特征點的方法。在影像對準(zhǔn)中，可以用特征點檢測來取得兩張影像的特征點，再借由配對這些特征點來完成對準(zhǔn)。常見的特征點檢測的方法有：哈里斯角檢測（Harris Corner Detection）、尺度不變特征轉(zhuǎn)換（SIFT）等，特征點通常會是影像中物體的角落，或是顏色變化大的地方。然而，因為要被對準(zhǔn)兩影像重疊部分有限，共有的特征點并不多，大部分特征點都是離群值（outlier），因此需要影像配準(zhǔn)的技術(shù)來完成特征點的對應(yīng)。

影像配準(zhǔn)影像配準(zhǔn)是指將影像經(jīng)過變換后，使得兩影像的相似程度最大的技術(shù)，計算相似程度的方法因算法而異，舉例來說，兩影像的方均根差即可當(dāng)作相似程度的指標(biāo)，方均根差越小表示影像越相似。在影像對準(zhǔn)中，影像配準(zhǔn)能夠借由最大化影像重疊部分的相似程度，來完成影像之間特征點的對應(yīng)。隨機抽樣一致算法（RANSAC）是影像配準(zhǔn)最常見的算法之一，透過遞回和取樣，來找到最適當(dāng)?shù)淖儞Q，隨機抽樣一致算法并不是確定性算法，但其優(yōu)點是可以在有許多離群值當(dāng)中，為內(nèi)群值找到一個合理的變換，適合用在離群值多的影像配準(zhǔn)問題上。

影像混合因為視差、鏡頭失真、曝光差異等因素，兩張已經(jīng)對準(zhǔn)的影像仍可能有明顯的邊界而不像一張完整的合成影像，影像混合就是指讓對準(zhǔn)后的影像能平順地拼接的技術(shù)。常見的方法有阿法混合（alpha blending）、梯度域拼（gradient-domain stitching）等。2

阿法混合

調(diào)整兩張影像重疊部分的透明度，讓銜接部分有漸層的效果。漸層范圍的長度需經(jīng)過調(diào)整，太長會有鬼影（ghosting）的問題，太短則會讓銜接部分不自然。

其他技術(shù)全景圖長方形化

完成拼接的全景圖，可能因為經(jīng)過圓柱投影，或是拍攝影像時沒有完全水平等原因，變得歪斜、扭曲?？梢栽俳栌伤惴ㄓ嬎悖瑢⑵唇舆^后的全景圖，在少量的失真與裁切之下，調(diào)整回長方形。

本詞條內(nèi)容貢獻(xiàn)者為:

王沛 - 副教授、副研究員 - 中國科學(xué)院工程熱物理研究所