[科普中國(guó)]-去馬賽克

去馬賽克（英語(yǔ)：demosaicing，也寫作de-mosaicing、demosaicking或debayering）是一種數(shù)位影像處理算法，目的是從覆有濾色陣列（Color filter array，簡(jiǎn)稱CFA）的感光元件所輸出的不完全色彩取樣中，重建出全彩影像。此法也稱為濾色陣列內(nèi)插法（CFA interpolation）或色彩重建法（Color reconstruction）。

簡(jiǎn)介去馬賽克（英語(yǔ)：demosaicing，也寫作de-mosaicing、demosaicking或debayering）是一種數(shù)位影像處理算法，目的是從覆有濾色陣列（Color filter array，簡(jiǎn)稱CFA）的感光元件所輸出的不完全色彩取樣中，重建出全彩影像。此法也稱為濾色陣列內(nèi)插法（CFA interpolation）或色彩重建法（Color reconstruction）。

大多數(shù)現(xiàn)代數(shù)碼相機(jī)使用單個(gè)覆上濾色陣列的感光元件來(lái)取得影像，所以去馬賽克是影像處理管線（color image pipeline）中一個(gè)必要環(huán)節(jié)，以將影像重建成一般可瀏覽的格式。許多數(shù)碼相機(jī)也能夠以原始圖檔儲(chǔ)存影像，并允許使用者將之取出，并使用專業(yè)影像處理軟件去馬賽克，而不是使用相機(jī)內(nèi)建的固件處理。1

目標(biāo)去馬賽克算法的目標(biāo)是從CFA色彩通道（Color channels）輸出的不完全取樣中重建出全彩影像，即重建出各像素完整的RGB三原色組合。此算法應(yīng)俱備以下特點(diǎn)：

避免錯(cuò)誤顏色噪聲（False color artifacts）產(chǎn)生，例如色彩混疊（Aliases）或出現(xiàn)拉鏈狀（Zippering，即鄰近像素出現(xiàn)突兀且不自然的強(qiáng)度改變，有一種拉鏈狀紋路的感覺）以及紫邊（Purple fringe）噪聲；

盡量保留影像分辨率；

在相機(jī)內(nèi)的硬件限制下，以較低計(jì)算復(fù)雜度（Computational complexity）實(shí)現(xiàn)快速有效的運(yùn)算處理；

算法易于分析，以使降噪（Noise reduction）更精確。1

濾色陣列主條目：濾色陣列

濾色陣列是色彩過(guò)濾器在感光元件前的一塊濾色馬賽克。商務(wù)上最常使用的濾色陣列配置是拜爾濾色鏡，如圖所示。它的奇數(shù)列由紅色（R）與綠色（G）過(guò)濾器交替排列組成，而偶數(shù)列則由綠色（G）與藍(lán)色（B）過(guò)濾器交替排列組成。綠色過(guò)濾器數(shù)量是紅色、藍(lán)色的兩倍，這是為了模擬人眼對(duì)綠光更高的敏感度。

因?yàn)闉V色陣列的色彩取樣會(huì)自然地產(chǎn)生混疊問題，所以通常會(huì)在感光元件以及鏡頭的光程之間配置光學(xué)抗混疊濾波器，以便消除內(nèi)插法帶來(lái)的錯(cuò)誤顏色噪聲以及色彩混疊。

因?yàn)楦袘?yīng)器上的每個(gè)像素都在濾色器后方，所以輸出結(jié)果是一個(gè)像素值的矩陣，每個(gè)數(shù)值代表三種濾出顏色之一的原始強(qiáng)度，因此需要去馬賽克算法以估算每個(gè)像素各種色彩的色階（Color levels），而不僅僅是一種色彩的分量。1

算法單純內(nèi)插法單純內(nèi)插法屬于均勻網(wǎng)格上的多變數(shù)內(nèi)插法（Multivariate interpolation），算法對(duì)鄰近方格的相同色彩元素進(jìn)行相對(duì)直接的數(shù)學(xué)運(yùn)算。最簡(jiǎn)單的方法是近鄰內(nèi)插法（Nearest-neighbor interpolation），直接復(fù)制同一色彩通道（Color channel）的鄰接像素。若要顧及影像品質(zhì)，這種方法就不合適了，但它是在有限運(yùn)算資源下產(chǎn)生影像預(yù)覽的有效方法。

另外一種方式是雙線性內(nèi)插法，用兩個(gè)或四個(gè)鄰接紅色像素的平均計(jì)算出非紅色像素的紅色數(shù)值，藍(lán)色與綠色計(jì)算方式類似。各顏色平面獨(dú)立內(nèi)插是更復(fù)雜的方法，包括雙三次內(nèi)插法、樣條內(nèi)插法，以及蘭克索司重取樣法（Lanczos resampling）。

盡管這些方法在影像均勻的區(qū)域可以獲得不錯(cuò)的結(jié)果，但使用純色濾色陣列時(shí)，影像的邊緣以及細(xì)節(jié)之處容易產(chǎn)生嚴(yán)重的去馬賽克噪聲。不過(guò)，線性內(nèi)插與空間-光譜式（Spatio-spectral），或稱全色（Panchromatic）濾色陣列結(jié)合時(shí)，可以獲得非常良好的結(jié)果。去馬賽克時(shí)還可對(duì)影像進(jìn)行簡(jiǎn)單建模。相同區(qū)域的自然影像色彩比率應(yīng)保持相同，影像感測(cè)內(nèi)插法（Image sensitive interpolation）就是利用了這點(diǎn)。

影像里的像素相關(guān)性更成熟的去馬賽克算法利用色彩影像中像素的空間、光譜關(guān)聯(lián)?？臻g相關(guān)是指像素在影像的小塊勻質(zhì)區(qū)內(nèi)的色彩值往往相似。光譜相關(guān)則是指在小塊影像里不同色彩平面像素值之間的依賴性。

這種算法包括：

可變數(shù)目梯度（Variable Number of Gradients）： 此內(nèi)插法計(jì)算相關(guān)像素周圍的梯度，使用較低的梯度（表示影像更均勻且更類似的部分）來(lái)估計(jì)。第一版dcraw軟件中就有使用，但會(huì)有色彩噪聲的困擾。

像素群聚（Pixel Grouping）： 使用有關(guān)自然景像的假設(shè)來(lái)估計(jì)。與可變數(shù)目梯度算法相比較，它在自然影像上色彩噪聲。第8.71版的dcraw引進(jìn)了這個(gè)方法，稱為做圖案化像素群聚（Patterned pixel group）。

自適應(yīng)均勻定向（Adaptive homogeneity-directed）：此內(nèi)插法能選擇內(nèi)插的方向，以最大化同質(zhì)標(biāo)準(zhǔn)（Homogeneity metric），因此一般情況下能夠最小化色彩噪聲。它已被建置在dcraw的最近版本里。

動(dòng)態(tài)影像超分辨率已有資料顯示，超分辨率（Super-resolution）與去馬賽克是一個(gè)相同問題的兩個(gè)面向，而用統(tǒng)一的內(nèi)容將它們一起提出來(lái)說(shuō)明是很合理的。記住，這兩個(gè)問題會(huì)帶出混疊的問題。因此，特別是在動(dòng)態(tài)影像（多重畫格）的重建案例中，這種結(jié)合超分辨率與去馬賽克的方法提供了最佳解決方案。

取舍舉例來(lái)說(shuō)，某些方法可能對(duì)自然場(chǎng)景有較好的結(jié)果，而某些則對(duì)印刷物有較佳的顯現(xiàn)。這反應(yīng)了估計(jì)不能準(zhǔn)確感知的像素所面臨的內(nèi)在問題。當(dāng)然，還有常見的估算速度與估算品質(zhì)之間的取舍。1

電腦影像處理軟件的使用從數(shù)碼相機(jī)取出原始圖檔后，可以使用專門的電腦軟件來(lái)選擇不同的去馬賽克算法處理，以取代相機(jī)內(nèi)寫死而無(wú)法再更替的算法。一些原始圖檔處理程式，例如RawTherapee，讓使用者選取想要使用的算法，不過(guò)大多數(shù)圖像處理程式已設(shè)定成使用一種特定的算法來(lái)處理原始圖檔。各個(gè)攝影師處理的原始圖檔細(xì)節(jié)和紋理的差異，主要來(lái)自于選擇不同的去馬賽克算法；通常攝影師會(huì)以自己的審美觀使用自己所偏好的應(yīng)用程序。

另外，由去馬賽克所產(chǎn)生的色彩噪聲可以為辨識(shí)偽造圖片（Photo forgeries）提供重要線索。2

相關(guān)拜爾濾色鏡

本詞條內(nèi)容貢獻(xiàn)者為:

杜強(qiáng) - 高級(jí)工程師 - 中國(guó)科學(xué)院工程熱物理研究所