當(dāng)光學(xué)“邂逅”AI，成就5G、6G的“殺手級(jí)應(yīng)用”？

計(jì)算光學(xué)可以理解為信息編碼的光學(xué)成像方法，"其本質(zhì)是光場(chǎng)信息的獲取和解譯，是在幾何光學(xué)成像的基礎(chǔ)上引入物理光學(xué)信息，以信息傳遞為準(zhǔn)則，通過信息獲取更高維度的信息"。計(jì)算光學(xué)成像是下一代光電成像技術(shù)，是光電成像技術(shù)步入信息時(shí)代的必然產(chǎn)物。

背景篇——光電成像的原理

光電成像的本質(zhì)是光場(chǎng)信息的獲取與解譯。所謂的光場(chǎng)解譯是指對(duì)傳統(tǒng)光電成像系統(tǒng)中所捕捉到的圖像信息進(jìn)行更深入的分析和解讀。傳統(tǒng)光電成像系統(tǒng)只能記錄二維空間上的光強(qiáng)度分布，類似于人眼視覺。然而，實(shí)際上，成像系統(tǒng)中所包含的信息要比我們所看到的圖像更多。光場(chǎng)解譯則是通過對(duì)這些信息的分析和解讀，來獲取更多有用的信息。通過光場(chǎng)解譯，我們可以對(duì)一些隱含在圖像中的信息進(jìn)行提取和解讀，因而引出了計(jì)算光學(xué)成像。

圖1 光場(chǎng)包含的信息

什么是計(jì)算光學(xué)成像

計(jì)算光學(xué)成像在傳統(tǒng)幾何光學(xué)的基礎(chǔ)上，有機(jī)融入了物理光學(xué)的信息，如偏振、相位、軌道角動(dòng)量等物理量，以信息傳遞為準(zhǔn)則，多維度獲取光場(chǎng)信息，并結(jié)合數(shù)學(xué)和信號(hào)處理知識(shí)，深度挖掘光場(chǎng)信息，通過物理過程解譯獲取更高維度的信息，是下一代的光電成像技術(shù)。

和傳統(tǒng)成像的比較

傳統(tǒng)光學(xué)成像系統(tǒng)采用的是“先成像，后處理”的成像方式，即當(dāng)成像效果不佳時(shí)，需要使用Photoshop、“美圖秀秀”等工具對(duì)圖像進(jìn)一步的加工。這時(shí)圖像處理算法被認(rèn)為是后處理過程，并不納入成像系統(tǒng)設(shè)計(jì)的考慮之中。

計(jì)算光學(xué)成像采用的“先調(diào)制，再拍攝，最后解調(diào)”的成像方式。將光學(xué)系統(tǒng) (照明、光學(xué)器件、光探測(cè)器)與數(shù)字圖像處理算法作為一個(gè)整體考慮，前端成像元件與后端數(shù)據(jù)處理二者相輔相成，成為有機(jī)的整體。

圖2 計(jì)算光學(xué)成像系統(tǒng)的成像過程

計(jì)算光學(xué)成像通過對(duì)照明與成像系統(tǒng)引入可控的編碼，如照明編碼、波前編碼、孔徑編碼等，將更多的光場(chǎng)信息調(diào)制到傳感器拍攝到的原始圖像中，這個(gè)圖像又被稱作中間像（Intermediate image），因?yàn)檫@個(gè)圖像調(diào)制了很多額外的光場(chǎng)信息，因此往往無法直接使用和觀測(cè)。然后在解調(diào)階段，將上述調(diào)制拍攝階段建立的基于幾何光學(xué)、波動(dòng)光學(xué)的數(shù)學(xué)模型進(jìn)行“逆向求解”，用計(jì)算重構(gòu)的方式來獲取更多的光場(chǎng)信息。也就是說“計(jì)算成像”中的圖像不是直接拍攝到的，而是通過“編解碼”的方式計(jì)算得到的，光學(xué)編碼有孔徑編碼、探測(cè)器編碼等多種方式，這也就是計(jì)算成像中計(jì)算的含義。?????????

發(fā)展簡(jiǎn)述

“計(jì)算成像”思想最早應(yīng)用在光電探測(cè)系統(tǒng)的合成孔徑雷達(dá)中，美國(guó)科羅拉多大學(xué)在1984年提出真正意義上采用“計(jì)算成像”思想聯(lián)合設(shè)計(jì)光學(xué)，1995年Dowski和 Cathey提出了波前編碼技術(shù)，是計(jì)算光學(xué)成像技術(shù)從理論走向?qū)嶋H應(yīng)用的轉(zhuǎn)折點(diǎn)。2004 年，Levoy課題組構(gòu)建了多相機(jī)陣列系統(tǒng)，將計(jì)算光學(xué)成像應(yīng)用于合成孔徑成像、高速攝影、HDR成像。2006年Lytro 公司，先后推出了Lytro I、Lytro II兩款商業(yè)級(jí)手持式微透鏡型光場(chǎng)相機(jī)，可實(shí)現(xiàn)先拍照后對(duì)焦的全景深拍攝，光場(chǎng)成像從此進(jìn)入了大眾的視野。

國(guó)內(nèi)計(jì)算光學(xué)成像研究也在和國(guó)際同步進(jìn)行。中國(guó)科學(xué)院光電研究院計(jì)算光學(xué)成像技術(shù)實(shí)驗(yàn)室在計(jì)算光譜、光場(chǎng)和主動(dòng)三維成像等方面進(jìn)行了大量研究；清華大學(xué)國(guó)家信息實(shí)驗(yàn)室、光電工程研究所在計(jì)算光場(chǎng)成像、顯微成像等方面做出重要貢獻(xiàn)；西安電子科技大學(xué)計(jì)算成像重點(diǎn)實(shí)驗(yàn)室開展了基于散射成像、偏振成像、廣域高分辨率計(jì)算成像等技術(shù)的研究；北京理工大學(xué)光學(xué)成像與計(jì)算實(shí)驗(yàn)室、測(cè)量與成像實(shí)驗(yàn)室也針對(duì)計(jì)算顯示、計(jì)算光譜成像等提出了優(yōu)化的解決方案；南京理工大學(xué)智能計(jì)算成像實(shí)驗(yàn)室在定量相位成像、數(shù)字全息成像和計(jì)算三維成像等方面取得優(yōu)秀成果。

技術(shù)篇

計(jì)算光學(xué)成像技術(shù)的出現(xiàn)延伸并擴(kuò)展了人眼的視覺特性，創(chuàng)新地將傳統(tǒng)光電成像流程中末端的信息處理和計(jì)算拓展到成像過程中，將一些傳統(tǒng)部分物理上難以突破的光學(xué)問題轉(zhuǎn)換為數(shù)學(xué)和信息處理問題，將硬件設(shè)計(jì)與軟件計(jì)算相結(jié)合。充分挖掘光信號(hào)的信息處理的潛力，解決傳統(tǒng)光電成像技術(shù)中“看不見”、“看不清”、“看不全”的問題，朝著更高的分辨率，更遠(yuǎn)的作用距離，更廣的視場(chǎng)，更小的光學(xué)成像體系，更強(qiáng)的環(huán)境適應(yīng)性發(fā)展。

圖3 光學(xué)成像技術(shù)的五方面發(fā)展目標(biāo)

與鏈路單一計(jì)算、獨(dú)立優(yōu)化的傳統(tǒng)光電成像不同，計(jì)算成像通過引入全鏈路一體化全局優(yōu)化思想，將傳輸介質(zhì)（如大氣、水體等）也并入成像模型中，可帶來作用距離提升、環(huán)境適應(yīng)性提升等，突破傳統(tǒng)成像的極限。其全鏈路包括光源（Light source）、成像目標(biāo)（Target）、傳輸介質(zhì)（Transmission media）、光學(xué)系統(tǒng)（optical system）、感光電子元器件（CCD）、外部電路（External circuitry）、計(jì)算機(jī)（Computer）等。

圖4 全鏈路光路成像模型

本文著重從光場(chǎng)采集及三維顯示兩個(gè)方面對(duì)光場(chǎng)技術(shù)進(jìn)行介紹。

光場(chǎng)采集現(xiàn)有的光場(chǎng)采集方法可分為三個(gè)類型：時(shí)序采集、多傳感器采集和多路復(fù)用采集。采集光場(chǎng)的多視點(diǎn)信息可以用于光場(chǎng)的顯示。

時(shí)序采集

時(shí)序采集一般將傳統(tǒng)單體相機(jī)安裝到機(jī)械移動(dòng)裝置上，通過調(diào)節(jié)機(jī)械裝置來對(duì)目標(biāo)場(chǎng)景進(jìn)行不同視角圖像采集。然而這種方式，在移動(dòng)機(jī)械裝置時(shí)需要耗費(fèi)一定時(shí)間，所以僅能拍攝靜態(tài)物體，為了解決這個(gè)問題，多傳感器采集法應(yīng)運(yùn)而生。

多傳感器采集

多傳感器采集一般指基于相機(jī)陣列（Camera Array）的光場(chǎng)相機(jī)。多相機(jī)組合法采用多個(gè)傳統(tǒng)相機(jī)組成相機(jī)陣列，形成有多個(gè)鏡頭投影中心組成虛擬投影參考平面，以及多個(gè)CCD(或CMOS)組成的虛擬成像平面。通過多個(gè)相機(jī)同時(shí)來獲取目標(biāo)場(chǎng)景中同一個(gè)點(diǎn)處不同視角的光線輻射強(qiáng)度，每個(gè)相機(jī)拍攝的圖像可以看作是光場(chǎng)在不同角度的采樣圖像。

調(diào)整相機(jī)陣列里各個(gè)子相機(jī)間的距離，可以實(shí)現(xiàn)整個(gè)相機(jī)陣列的不同用途。當(dāng)所有相機(jī)間的距離比較小時(shí)，整個(gè)相機(jī)陣列可以看做一個(gè)單目相機(jī)；當(dāng)所有的相機(jī)之間的距離為中等尺度時(shí)，整個(gè)相機(jī)陣列可以看作是一個(gè)擁有合成孔徑的相機(jī)；當(dāng)所有的相機(jī)之間距離很大時(shí)，整個(gè)相機(jī)陣列可以看成一個(gè)多目相機(jī)，此時(shí)可以得到物體的多視角信息，從而利用多視角信息構(gòu)建全景照片。

比較有代表性有Jason Yang于2002年在MIT搭建出的全世界第一套8x8個(gè)相機(jī)組成的實(shí)時(shí)相機(jī)陣列，可同時(shí)獲取目標(biāo)場(chǎng)景64個(gè)視角的圖像。Bennett Wilburn在2005年進(jìn)一步增加相機(jī)數(shù)量到約100個(gè)能力更強(qiáng)，但是成本高體積大，Pelican公司2013年通過優(yōu)化光學(xué)設(shè)計(jì)和應(yīng)用光場(chǎng)超分辨算法制造了小巧的4x4相機(jī)陣列，并且是獨(dú)立的光場(chǎng)相機(jī)模塊，整個(gè)設(shè)備比硬幣還小，可集成到手機(jī)中。

圖5 Bennett Wilburn于2005年設(shè)計(jì)的大規(guī)模光場(chǎng)相機(jī)陣列

多路復(fù)用成像

多傳感器采集光場(chǎng)缺點(diǎn)是只能用于特定區(qū)域采集靜止或緩慢移動(dòng)的場(chǎng)景。而多路復(fù)用成像方法可以解決這個(gè)問題。多路復(fù)用成像分為空間復(fù)用和頻率復(fù)用。

空間復(fù)用：采用在圖像傳感器上安裝微透鏡陣列來實(shí)現(xiàn)。例如全光相機(jī)，也稱為光場(chǎng)相機(jī)，其形狀、體積、操作和普通相機(jī)相似，通過將角域（角度信息）復(fù)用到空間(或頻率)域中來將四維光場(chǎng)編碼到二維傳感器平面。

下面講一下光場(chǎng)相機(jī)的原理?，F(xiàn)實(shí)生活中的物體表面一般為漫反射，譬如下圖中A點(diǎn)，如果為理想漫反射表面，會(huì)向半球180度范圍內(nèi)發(fā)出光線，采用透鏡小孔成像，物體表面A點(diǎn)在一定角度范圍內(nèi)發(fā)出的所有光線經(jīng)過透鏡聚焦在成像傳感器A’點(diǎn)，并對(duì)該角度范圍內(nèi)所有光線進(jìn)行積分，積分結(jié)果作為A點(diǎn)像素值。這大大增加了成像的信噪比，但同時(shí)也將A點(diǎn)在該角度范圍內(nèi)各方向的光線耦合在一起。

圖6 透鏡小孔成像原理

全光函數(shù)是指在空間和時(shí)間上描述光場(chǎng)變化的函數(shù)，為獲取全光函數(shù)中的角度信息，1992年Adelson提出了全光相機(jī)（也叫光場(chǎng)相機(jī)）模型，在傳統(tǒng)相機(jī)基礎(chǔ)上加入了微透鏡陣列，物體表面光線首先經(jīng)過主鏡頭，然后經(jīng)過微透鏡，最后到達(dá)成像傳感器，每個(gè)微透鏡捕獲光線在主透鏡處的所有角度分布。如圖7所示，物體表面A點(diǎn)在FOP（Field Of Parallax，視差范圍）角度范圍內(nèi)發(fā)出的光線（同一點(diǎn)的不同角度光線用不同顏色表示）進(jìn)入相機(jī)主鏡頭并聚焦于微透鏡，微透鏡將光線分成4x4束，并被成像傳感器上對(duì)應(yīng)的16個(gè)像素記錄。類似的，空間中其它發(fā)光點(diǎn)，例如B點(diǎn)和C點(diǎn)，在其FOP角度范圍內(nèi)的光線都被分成4x4束并被分別記錄。

圖 7 透鏡陣列4D光場(chǎng)的圖像分辨率和角度分辨率

2011年Lytro公司根據(jù)全光相機(jī)原理發(fā)售了世界上第一款消費(fèi)級(jí)光場(chǎng)相機(jī)Lytro。

圖 8 Raytrix 基于微透鏡陣列的光場(chǎng)相機(jī)

空間復(fù)用是采集光場(chǎng)最廣泛使用的方法，但也存在問題，就是圖像分辨率和角度分辨率兩者相互制約，此消彼長(zhǎng)。另外由于微透鏡直接距離很小，所以采集光場(chǎng)的視差角度較小，只能在較小的角度范圍內(nèi)變換視點(diǎn)。

頻率復(fù)用：近年來隨著壓縮感知等信息論技術(shù)的發(fā)展，為了解決空間復(fù)用方法必須對(duì)圖像分辨率和角度分辨率進(jìn)行折中的問題，也產(chǎn)生了一些例如基于掩膜（Mask）的頻率復(fù)用方法。 基于掩膜的方案可以通過事先對(duì)光場(chǎng)的學(xué)習(xí)得到光場(chǎng)字典，從而去掉光場(chǎng)的冗余性實(shí)現(xiàn)了采集更少的數(shù)據(jù)量便可重建出完整的光場(chǎng)。如圖9所示，在傳統(tǒng)相機(jī)的成像光路中加入一片半透明的編碼掩膜，掩膜上每個(gè)像素點(diǎn)的光線透過率都不一樣，進(jìn)入光圈的光線在到達(dá)成像傳感器之前會(huì)被掩膜調(diào)制，經(jīng)過掩膜調(diào)制后的光線到達(dá)成像傳感器。通過事先學(xué)習(xí)的完備光場(chǎng)字典，從單幅采集編碼的2D調(diào)制圖像就可以重建出完整的光場(chǎng)。

圖 9 掩膜光場(chǎng)相機(jī)原理

基于編碼掩膜的光場(chǎng)采集方案雖然可以解決圖像分辨率和角度分辨率的矛盾，但是，透光率不能達(dá)到100%，因此會(huì)造成光線信號(hào)強(qiáng)度損失，導(dǎo)致成像信噪比低；同時(shí)所重建的最終光場(chǎng)圖像是通過從被調(diào)制的圖像中進(jìn)行解調(diào)制得到，而不是直接通過成像傳感器采集得到，因此會(huì)依賴已學(xué)習(xí)光場(chǎng)字典的正確性。

綜上所述，現(xiàn)有的光場(chǎng)采集方式主要是通過多傳感器采集的相機(jī)陣列方式或空間多路復(fù)用成像的基于微透鏡的全光相機(jī)或頻域多路復(fù)用的基于掩膜的全光相機(jī)對(duì)光線進(jìn)行多角度采樣來記錄光場(chǎng)。不同的光場(chǎng)采集設(shè)備通過不同的技術(shù)方案各自解決了一定的問題，按照不同的場(chǎng)景需求，不斷的對(duì)軟硬件方面進(jìn)行突破，隨著技術(shù)的不斷進(jìn)步，相信在光場(chǎng)采集方面會(huì)有更好更輕量的解決方案。

三維顯示

真實(shí)世界的景物是三維立體的，傳統(tǒng)的二維顯示只能獲取空間物體某一截面的二維圖像信息，缺乏深度信息，存在信息量缺失和真實(shí)性不足的問題。因此，具有更好沉浸感的三維顯示技術(shù)是新型顯示技術(shù)的重要發(fā)展方向。

三維深度線索

三維深度線索泛指一切可以為使用者提供深度感知的特征信息，是三維顯示效果的關(guān)鍵，分為心理學(xué)和生理學(xué)兩類。

心理學(xué)深度線索是指二維畫面誘發(fā)三維感知的特征信息，主要包括線性透視、遮擋、陰影、紋理和先驗(yàn)知識(shí)等。生理學(xué)深度線索指的是通過三維場(chǎng)景空間位置關(guān)系誘發(fā)的三維感知特征信息，可進(jìn)一步分為雙目深度線索和單目深度線索兩類。

對(duì)于三維顯示而言，心理學(xué)深度線索更容易實(shí)現(xiàn)，傳統(tǒng)的超高清通過細(xì)致紋理和陰影等效果也可以實(shí)現(xiàn)一定的立體感，例如戶外大屏裸眼3D效果和手機(jī)裸眼3D彩鈴等。生理學(xué)線索實(shí)現(xiàn)難度相對(duì)較大，隨著技術(shù)發(fā)展，雙目立體視覺已經(jīng)相對(duì)成熟，通過VR設(shè)備、裸眼3D設(shè)備等漸入大眾視野，而單目深度線索相對(duì)更難實(shí)現(xiàn)。

三維顯示技術(shù)分類

根據(jù)實(shí)現(xiàn)立體效果的機(jī)制不同，三維顯示可分為：觀看者佩戴眼鏡等助視設(shè)備的助視3D顯示，如紅藍(lán)眼鏡等；此外還有向左右眼投射不同的圖像來產(chǎn)生立體感的雙目視差3D顯示；以及真3D顯示，提供近乎真實(shí)的3D圖像信息和真正的物理景深，包含光場(chǎng)顯示、體顯示、全息顯示等。助視3D技術(shù)效果差比較陳舊，在此不細(xì)述，下面擇要介紹雙目視差 3D 顯示、光場(chǎng)顯示、體顯示和全息顯示。

圖 10 3D顯示分類

雙目視差3D

雙目視差3D有傳統(tǒng)基于狹縫光柵、柱狀透鏡方法，也有基于指向背光的視差型三維顯示，維持了觀看者在觀看區(qū)域內(nèi)左眼或右眼所感知的面板分辨率。其利用時(shí)空復(fù)用3D顯示技術(shù)，基于控制光線出射方向的指向型背光結(jié)構(gòu)設(shè)計(jì)，結(jié)合高速刷新的LCD 顯示技術(shù)，利用時(shí)間復(fù)用的方法實(shí)現(xiàn)全分辨率的3D顯示效果。

圖 11 指向背光顯示原理

光場(chǎng)顯示

視差型三維顯示在某一時(shí)刻視顯示呈現(xiàn)的是幾個(gè)分立的視點(diǎn)圖像，而光場(chǎng)顯示呈現(xiàn)的是在一定角度范圍內(nèi)連續(xù)或準(zhǔn)連續(xù)的視點(diǎn)圖像。光場(chǎng)顯示技術(shù)按實(shí)現(xiàn)原理可劃分為壓縮光場(chǎng)顯示、指向光場(chǎng)顯示和集成成像顯示等。

壓縮光場(chǎng)顯示

也稱為層疊光場(chǎng)顯示，因其采用多層結(jié)構(gòu)，利用層疊的顯示層實(shí)現(xiàn)對(duì)一定角度范圍內(nèi)的光線強(qiáng)度的調(diào)制。因具有多層屏幕結(jié)構(gòu)，其可以實(shí)現(xiàn)高動(dòng)態(tài)范圍或者超分辨率的2D圖像顯示。壓縮光場(chǎng)顯示利用了三維場(chǎng)景視點(diǎn)圖像之間的強(qiáng)相關(guān)性，將一定觀看角度的目標(biāo)光場(chǎng)“壓縮”到多張二維圖案中。但是也因如此，其在顯示不相關(guān)的多視點(diǎn)圖像時(shí)會(huì)有很大的串?dāng)_。壓縮光場(chǎng)顯示視場(chǎng)角有限，通過增加顯示器的層數(shù)或提高刷新率可以擴(kuò)大視角，但是增加顯示器層數(shù)將增加硬件和計(jì)算復(fù)雜度，光學(xué)效率也會(huì)以指數(shù)形式降低。

指向光場(chǎng)顯示

可以一定程度解決以上問題。2012年，G. Wetzstein 等人通過在多層 LCD 后部添加一塊指向型背光板，提出了一項(xiàng)新的“張量”顯示技術(shù)。這種結(jié)構(gòu)通過多層 LCD 屏幕和多幀率的光場(chǎng)分解，達(dá)到了擴(kuò)大視場(chǎng)角的目的，視場(chǎng)角由原先的 10°×10°提高為 50°×20°。

還有集成成像顯示，基于柱透鏡陣列的 3D 顯示技術(shù)只能提供水平視差，而基于球面微透鏡陣列的集成顯示可提供全視差圖像。其原理如圖12所示， 圖像記錄時(shí)，使用微透鏡陣列或者針孔陣列將不同視角的圖像“集成”地記錄在一張膠片上。圖像再現(xiàn)時(shí)，多視角圖像元的出射光線在微透鏡陣列前方再現(xiàn)出來，將顯示面板上的元素圖像成像到不同的視點(diǎn)位置，形成完整的 3D 圖像。集成成像顯示的優(yōu)點(diǎn)是結(jié)構(gòu)緊湊簡(jiǎn)單，能夠再現(xiàn)全視差3D圖像，并可提供運(yùn)動(dòng)視差信息。但是其分辨率下降嚴(yán)重、視場(chǎng)角比較受限。

圖 12 集成攝影與集成成像

體顯示

光場(chǎng)顯示可以提供所有種類的心理學(xué)線索和雙目深度線索，并可以提供運(yùn)動(dòng)視差和遮擋變化等單目深度線索。但是，傳統(tǒng)的光場(chǎng)顯示難以完整提供聚焦線索。而體三維顯示通過點(diǎn)亮空間中的發(fā)光物質(zhì)或者“體素”可在一定體積的空間內(nèi)完成顯示過程，通過人眼暫留效應(yīng)可以提供聚焦線索，但是需要復(fù)雜的機(jī)械掃描裝置，可移動(dòng)性差。

圖 13 旋轉(zhuǎn)掃描式立體顯示原理

全息顯示

理論上，全息顯示可以提供所有種類的深度線索，被認(rèn)為是三維顯示的終極實(shí)現(xiàn)方式。全息術(shù)，又稱全息照相術(shù)，指在照相膠片或干板上通過記錄光波的振幅和位相分布并再現(xiàn)物體三維圖像的技術(shù)，按其物理意義可分為波前記錄和波前重建兩部分。在波前記錄過程中，物光波與參考光波在全息圖平面發(fā)生干涉，干涉條紋的強(qiáng)度被記錄下來。由于已知參考光波的振幅和相位，全息術(shù)就是把物光波的復(fù)振幅信號(hào)轉(zhuǎn)換為強(qiáng)度信號(hào)，從而記錄了物光波的全部信息。在波前重建過程中，用一束重建光波對(duì)全息圖進(jìn)行照射，重建光波經(jīng)過全息圖的衍射光波在特定的位置上可以重建出物光波的振幅與相位信息。

圖 14 全息記錄與全息重建

綜上所述，隨著三維顯示技術(shù)的發(fā)展，三維顯示的效果得到了顯著的提升。傳統(tǒng)的基于心理線索和生理線索中雙目視差的裸眼3D，由于其原理簡(jiǎn)單，成本低的有點(diǎn)得到了廣泛應(yīng)用，但是由于僅提供有限的視角，目前在體驗(yàn)上還有較大的上升空間。為了提供更多的生理學(xué)、心理學(xué)深度線索，光場(chǎng)顯示技術(shù)、體顯示技術(shù)、全息顯示技術(shù)都得到了飛速的發(fā)展，但是這些技術(shù)往往實(shí)現(xiàn)成本較高，大多還處于研究階段，距離真正的消費(fèi)級(jí)應(yīng)用還有一定距離。

應(yīng)用篇

計(jì)算光學(xué)成像技術(shù)在各個(gè)領(lǐng)域的應(yīng)用非常廣泛，前期主要在醫(yī)學(xué)、天文、軍事、工業(yè)檢測(cè)等領(lǐng)域。近幾年隨著虛擬/增強(qiáng)現(xiàn)實(shí)、裸眼3D等業(yè)務(wù)的發(fā)展，計(jì)算光學(xué)成像技術(shù)逐漸應(yīng)用到生活，走進(jìn)大眾視野。通過光學(xué)成像技術(shù)，可以幫助人們更好地理解和掌握周圍環(huán)境的信息，提高工作效率，提升生活質(zhì)量，推動(dòng)科學(xué)技術(shù)的發(fā)展。在當(dāng)今社會(huì)中，光學(xué)成像技術(shù)的應(yīng)用已經(jīng)成為各個(gè)領(lǐng)域中不可或缺的關(guān)鍵技術(shù)之一。

虛擬/增強(qiáng)現(xiàn)實(shí)

通過傳統(tǒng)的結(jié)構(gòu)光技術(shù)可以快速進(jìn)行物體三維模型制作，而結(jié)合深度學(xué)習(xí)技術(shù)，通過多角度圖像/視頻，可以快速生成三維模型。 例如清華大學(xué)的研究團(tuán)隊(duì)開發(fā)了一種新型的多攝像頭大空間密集光場(chǎng)捕獲系統(tǒng)——Den-SOFT，是目前公共領(lǐng)域內(nèi)質(zhì)量和視點(diǎn)密度領(lǐng)先的數(shù)據(jù)集，有望激發(fā)以空間為中心的光場(chǎng)重建研究，為沉浸式虛擬/增強(qiáng)現(xiàn)實(shí)體驗(yàn)提供更高質(zhì)量的三維場(chǎng)景。

圖 15 清華Den-SOFT

可以僅借助消費(fèi)級(jí)RGB-D攝像頭，實(shí)現(xiàn)多人實(shí)時(shí)三維人體重建，人體模型可用于實(shí)時(shí)AR展示，在線教育和游戲等。 可參考清華大學(xué)論文《Function4D: Real-time Human Volumetric Capture fromVery Sparse Consumer RGBD Sensors》等。

圖16 清華大學(xué)RGB-D實(shí)時(shí)三維重建

在專業(yè)級(jí)動(dòng)作捕捉驅(qū)動(dòng)方面，光學(xué)動(dòng)捕通過對(duì)目標(biāo)特定光點(diǎn)的監(jiān)視和跟蹤來完成運(yùn)動(dòng)捕捉?？墒褂酶叻直媛使鈱W(xué)紅外相機(jī)進(jìn)行捕捉。譬如凌云光的FZMotion AI多模態(tài)運(yùn)動(dòng)捕捉系統(tǒng)可實(shí)現(xiàn)高精度高速AI人體動(dòng)作識(shí)別的多模態(tài)運(yùn)動(dòng)捕捉。

圖 17 FZMotion AI多模態(tài)運(yùn)動(dòng)捕捉系統(tǒng)

在消費(fèi)級(jí)驅(qū)動(dòng)方面，結(jié)合深度學(xué)習(xí)，可使用少量的消費(fèi)級(jí)RGB-D攝像機(jī)便可實(shí)現(xiàn)實(shí)時(shí)多人運(yùn)動(dòng)捕捉。

裸眼3D

消費(fèi)級(jí)的裸眼3D發(fā)展迅速，2023.3 中興在巴展發(fā)布 LCD Nubia Pad 3D（與美國(guó)Leia公司合作），采用的為可切換指向光源模組方式，顯示分辨率2K，支持2D/3D顯示實(shí)時(shí)切換，售價(jià)約1300歐。在內(nèi)容上，nubia和中國(guó)移動(dòng)咪咕公司深度合作，共同為用戶帶來了多維交互沉浸式的全新游戲、視頻、直播、音樂體驗(yàn)，為數(shù)智娛樂行業(yè)帶來了更為廣闊的發(fā)展空間。

圖 18 中興nubia Pad 3D

而在光場(chǎng)顯示領(lǐng)域，looking glass等可以實(shí)現(xiàn)多視點(diǎn)光場(chǎng)顯示。

圖 19 清華大學(xué)光場(chǎng)顯示研究

影視制作

Light Stage光場(chǎng)采集系統(tǒng)被廣泛用于好萊塢電影制作。Light Stage是由美國(guó)南加州大學(xué)ICT Graphic Lab的保羅?德貝維奇（Paul Debevec）所領(lǐng)導(dǎo)開發(fā)的一個(gè)高保真的三維采集重建平臺(tái)系統(tǒng)。該系統(tǒng)以高逼真度的3D人臉重建為主，并已經(jīng)應(yīng)用于好萊塢電影渲染中。從第一代系統(tǒng)Light Stage 1于2000年誕生，至今已經(jīng)升級(jí)到Light Stage 6，最新的一代系統(tǒng)命名為L(zhǎng)ight Stage X。

圖 20 Light Stage 6 采集系統(tǒng)樣機(jī)

在國(guó)內(nèi)凌云光、影眸科技等企業(yè)也建設(shè)有自研的類似Light Stage的采集系統(tǒng)。譬如凌云光的LuStage數(shù)字人光場(chǎng)建模系統(tǒng)，可以實(shí)現(xiàn)0.1mm毛孔級(jí)重建。 該系統(tǒng)包括自主設(shè)計(jì)研發(fā)并獨(dú)立完成生產(chǎn)制造的756臺(tái)6色LED(RGBWCA)、直徑6.6m的375面體支架、嵌入式控制平臺(tái)、100臺(tái)4K相機(jī)組成。每個(gè)光源包含97顆LED燈珠，每顆燈珠的亮度、發(fā)光時(shí)間、頻率可控。整個(gè)系統(tǒng)可以模擬出輸入圖像或視頻中的環(huán)境光照，也可以逐一時(shí)刻點(diǎn)亮某個(gè)方向的光源，還可以實(shí)現(xiàn)XYZ三個(gè)軸像的梯度光照，利用球面上的相機(jī)同步光源采集圖像，從面實(shí)現(xiàn)影視照明、AI訓(xùn)練數(shù)據(jù)采集等用途。

圖 21 LuStage數(shù)字人光場(chǎng)建模系統(tǒng)

醫(yī)療

在醫(yī)療領(lǐng)域，中國(guó)工程院院士、清華大學(xué)成像與智能技術(shù)實(shí)驗(yàn)室主任戴瓊海團(tuán)隊(duì)實(shí)現(xiàn)了可以在手機(jī)中配備高分辨率集成顯微鏡，無需額外的電子設(shè)備即可刺激皮膚健康的新的便攜式診斷。其他皮膚病，如痤瘡、天皰瘡和牛皮癬，也可以通過集成顯微鏡和相應(yīng)的智能算法一次性輕松診斷。

圖 22 手機(jī)中配備的集成顯微鏡

天文

在天文領(lǐng)域，清華大學(xué)戴瓊海院士團(tuán)隊(duì)研發(fā)的數(shù)字自適應(yīng)光學(xué)地月觀測(cè)系統(tǒng)，在國(guó)家天文臺(tái)興隆觀測(cè)站實(shí)現(xiàn)40萬公里地對(duì)月成像測(cè)試，可直接對(duì)接現(xiàn)有光學(xué)系統(tǒng);降低了現(xiàn)有大口徑光學(xué)系統(tǒng)體積，將成本降低三個(gè)數(shù)量級(jí)以上;實(shí)現(xiàn)了大視場(chǎng)多區(qū)域內(nèi)空間非一致的環(huán)境湍流像差矯正，重建高分辨圖像。

圖 23 數(shù)字自適應(yīng)地月觀測(cè)

計(jì)算光學(xué)成像目前在各個(gè)領(lǐng)域都得到了相關(guān)應(yīng)用，計(jì)算光學(xué)成像的市場(chǎng)發(fā)展迅速，隨著元宇宙的發(fā)展，計(jì)算光學(xué)成像在內(nèi)容生產(chǎn)，顯示等方面越來越重要。隨著技術(shù)的發(fā)展，計(jì)算光學(xué)成像所涉及的軟件及硬件的市場(chǎng)前景也越來越廣闊。

展望篇

傳統(tǒng)光電成像技術(shù)因?yàn)槭芄I(yè)化設(shè)計(jì)思想限制，性能已經(jīng)接近極限，計(jì)算成像技術(shù)是信息時(shí)代發(fā)展的必然。

光場(chǎng)采集有望拓展元宇宙新的輸入方式

傳統(tǒng)的光電成像只能獲得二維數(shù)據(jù)，而人眼能夠感知到比傳統(tǒng)相機(jī)更大的數(shù)據(jù)密度、維度的信息。人眼具有精密的結(jié)構(gòu)，可以實(shí)時(shí)捕捉現(xiàn)實(shí)場(chǎng)景中多維光場(chǎng)信息，再結(jié)合大腦的運(yùn)算，人眼+大腦就是一個(gè)天然的精密的計(jì)算光學(xué)成像系統(tǒng)。而目前使用的傳統(tǒng)拍攝方式會(huì)丟失大量的高維數(shù)據(jù)信息，導(dǎo)致采集的效率大大下降。而如果設(shè)計(jì)一套像人眼+大腦一樣的計(jì)算光學(xué)系統(tǒng)，就可以實(shí)現(xiàn)對(duì)現(xiàn)實(shí)場(chǎng)景的高效實(shí)時(shí)采集，通過4D的光場(chǎng)數(shù)據(jù)可以解決目前二維圖像中很多無法解決的難題，最終實(shí)現(xiàn)真正的智能機(jī)器視覺。

全息顯示是未來3D顯示的終極形態(tài)

通過光場(chǎng)技術(shù)，重現(xiàn)一個(gè)真實(shí)的三維世界，這是人類多年的夢(mèng)想。目前的三維顯示技術(shù)無法提供全部的深度線索，會(huì)帶來各種頭暈、圖像不真實(shí)等問題。而全息顯示將在現(xiàn)實(shí)世界中展示三維物體，使得虛擬和現(xiàn)實(shí)完美融合，現(xiàn)實(shí)和虛擬世界之間的邊界不再明顯。

圖24 電影《阿凡達(dá)》中描繪的全息三維軍事沙盤

光場(chǎng)+AI是計(jì)算光學(xué)成像的必由之路

深度學(xué)習(xí)已逐步深入多個(gè)光學(xué)技術(shù)領(lǐng)域，推動(dòng)了諸多光學(xué)技術(shù)的發(fā)展。深度學(xué)習(xí)具有強(qiáng)大的運(yùn)算、數(shù)據(jù)演化和非線性逆問題求解能力，為更復(fù)雜的光學(xué)系統(tǒng)設(shè)計(jì)優(yōu)化求解提供了新思路、新方法。同時(shí)如何基于深度學(xué)習(xí)來簡(jiǎn)化光學(xué)系統(tǒng)，降低光學(xué)系統(tǒng)成本，提高光場(chǎng)采集效果也是一個(gè)重大難題。目前基于神經(jīng)輻射場(chǎng)的三維重建技術(shù)日新月異，這背后是人們對(duì)輕量級(jí)光場(chǎng)三維重建的無限期望。

計(jì)算光學(xué)成像技術(shù)有望成就5G、6G殺手級(jí)應(yīng)用

隨著圖像編解碼及顯示硬件技術(shù)的發(fā)展，傳統(tǒng)的二維視頻的分辨率已經(jīng)從2K發(fā)展到4K、8K、16K，已經(jīng)超越了普通人眼的分辨極限。再向上提高圖像分辨率帶來的收益已經(jīng)很小。但是隨著元宇宙技術(shù)的發(fā)展，內(nèi)容從二維走向三維，隨之而來的是信息量的指數(shù)級(jí)上升。

傳統(tǒng)的在二維平面中已經(jīng)接近人眼極限的高分辨率信息在三維顯示中則顯得捉襟見肘。

后5G乃至6G時(shí)代，以微納光場(chǎng)調(diào)控及超表面光學(xué)技術(shù)為代表的手機(jī)裸眼3D顯示應(yīng)用,有可能帶動(dòng)移動(dòng)通信網(wǎng)絡(luò)實(shí) 現(xiàn)跨越式發(fā)展,成為5G乃至6G網(wǎng)絡(luò)的“殺手級(jí)”應(yīng)用。毫米波、太赫茲和泛光通信(屬于6G光子學(xué)的范疇)等技術(shù)能夠讓通信峰值帶寬、連續(xù)頻譜帶寬、網(wǎng)絡(luò)時(shí)延和流量密度等網(wǎng)絡(luò)承載能力指標(biāo)得到飛躍性的提升。

后5G乃至6G生命期有可能是數(shù)據(jù)“大爆炸”的時(shí)代。例如為了給用戶呈現(xiàn)逼真的顯示效果，每秒3D 高清視頻可能需要Gbit級(jí)以上的端到端流量，而不需要眼鏡輔助的全息3D立體圖像需要3~30億像素,所產(chǎn)生的龐大的Tbit級(jí)數(shù)據(jù)對(duì)移動(dòng)網(wǎng)絡(luò)帶來前所未有的壓力。首先對(duì)3D對(duì)象數(shù)據(jù)壓縮成為第一個(gè)面臨的挑戰(zhàn)，龐大的數(shù)據(jù)必然要求高的壓縮比。其次海量3D對(duì)象數(shù)據(jù)存儲(chǔ)也是一個(gè)難題，3D對(duì)象攜帶的信息量十分巨大，在存儲(chǔ)和讀寫方面可能也會(huì)突破現(xiàn)在的極限。最后對(duì)3D數(shù)據(jù)的傳輸與計(jì)算也是關(guān)鍵的問題，如此龐大的數(shù)據(jù)如何保證實(shí)時(shí)的傳輸與計(jì)算，邊緣算力的升級(jí)改造似乎也是必然。

此外計(jì)算光學(xué)成像從生產(chǎn)到體驗(yàn)相關(guān)標(biāo)準(zhǔn)仍然是空白，隨著技術(shù)進(jìn)步和產(chǎn)業(yè)落地也需要補(bǔ)足。隨著計(jì)算成像技術(shù)的不斷發(fā)展和理論的不斷完善，計(jì)算成像體系也將更加豐富、立體、有效，使計(jì)算成像能夠真正實(shí)現(xiàn)更高(成像分辨率)、更遠(yuǎn)(探測(cè)距離)、更大 (成像視場(chǎng))、更小(功耗和體積)的目標(biāo)。

【參考資料】[1] SHAO Xiaopeng，SU Yun，LIU Jinpeng，et al. Connotation and System of Computational Imaging（Invited）［J］. Acta Photonica Sinica，2021，50（5）：0511001

[2]CHENLiang,YUShao-hua. Research on the Impact of Holographic 3D Display on the Capacity of the Post-5G/6G Network

[3] Qiao Wen，Zhou Fengbin，Chen Linsen.Towards application of mobile devices: the status and future of glasses-free 3D display

[4] WANG Cheng, ZHU Xiang-bing.Research Development of Stereoscopic Display Technology

[5] Gao Chen, Li Ziyin, Wu Rengmao, Li Haifeng, Liu Xu.Development and Prospect of Portable Three-Dimensional Displays

[6] Cao Liangcai，He Zehao，Liu Kexuan，Sui Xiaomeng.Progress and challenges in dynamic holographic 3D display for the metaverse (Invited)

[7] KANG Jiaxin， WANG Wenwen， PENG Yuyan， ZHANG Jiazhen， ZHOU Xiongtu，YAN Qun， GUO Tailiang， ZHANG Yongai.Research Status and Trends of Light Field Display Technology

[8] 方璐, 戴瓊海. 計(jì)算光場(chǎng)成像[J]. 光學(xué)學(xué)報(bào), 2020, 40(1): 1-11.

[9] Zuo Chao，Chen Qian.Computational optical imaging: An overview

[10] 高金銘，郭勁英，戴安麗，司徒國(guó)海.光學(xué)系統(tǒng)設(shè)計(jì)：從迭代優(yōu)化到人工智能

[11] 邵曉鵬.計(jì)算光學(xué)成像[OL].西電科大廣電成像工程中心(公眾號(hào))

作者：柳建龍 畢蕾

單位：中國(guó)移動(dòng)通信集團(tuán)咪咕公司