光芯片與AI強強聯(lián)合！或開啟全新計算時代？

在邁向通用人工智能（AGI）的道路上，不斷增加的計算性能和能源需求，已成為業(yè)內(nèi)構(gòu)建更強大大模型的主要限制和亟需解決的難題。

而光芯片，作為一種創(chuàng)新型技術(shù)，以其獨特的光速處理能力和低能耗特性，被寄予厚望。

最近，來自來自清華大學(xué)和北京信息科學(xué)與技術(shù)國家研究中心的研究團隊，在光芯片領(lǐng)城實現(xiàn)了新的突破——

他們摒棄傳統(tǒng)電子深度計算范式，另辟蹊徑，首創(chuàng)分布式廣度智能光計算架構(gòu)，設(shè)計了一種能以極高能效解決先進 AI 任務(wù)的大規(guī)模光芯片——Taichi，有效地將光子架構(gòu)的網(wǎng)絡(luò)規(guī)模提升到百萬神經(jīng)元級別，與其他光子集成電路相比，能效提高了兩倍，適用于現(xiàn)實世界中的高級 AGI 應(yīng)用。

相關(guān)研究論文以“Large-scale photonic chiplet Taichi empowers 160-TOPS/W artificial general intelligence”為題，已發(fā)表在權(quán)威科學(xué)期刊 Science 上。

清華大學(xué)電子工程系博士生徐智昊、博士后周天貺（清華大學(xué)水木學(xué)者）為論文第一作者，清華大學(xué)電子工程系副教授方璐、自動化系戴瓊海院士為論文的通訊作者。

徐智昊表示，Taichi 表明了片上光子計算在處理具有大型網(wǎng)絡(luò)模型的各種復(fù)雜任務(wù)方面的巨大潛力，實現(xiàn)了光子計算在現(xiàn)實生活中的應(yīng)用。

“我們預(yù)計，Taichi 將加速開發(fā)更強大的光學(xué)解決方案，作為基礎(chǔ)模型和 AGI 新時代的關(guān)鍵支持”。

Taichi 是如何煉成的？

對于來自現(xiàn)實世界的復(fù)雜多模態(tài)信息，我們迫切需要大容量、高吞吐量的計算架構(gòu)。在后摩爾時代，滿足持續(xù)增長的高性能需求已成為一項挑戰(zhàn)。

使用圖形處理器（GPU）等電子設(shè)備進行高級 AI 模型（如語言處理和大規(guī)模智能成像中的基礎(chǔ)模型）的計算與飽和能效有關(guān)，這對于支持現(xiàn)代 AGI 是不可持續(xù)的。

追求計算能力與能效之間的平衡是高性能計算研究的一個長期目標(biāo)。光子計算吸引了越來越多的關(guān)注，提供了前所未有的光速低能耗計算。

然而，當(dāng)前的集成光子計算，特別是光學(xué)神經(jīng)網(wǎng)絡(luò)（ONN），通常包含數(shù)百到數(shù)千個參數(shù)，其中數(shù)十個是可調(diào)參數(shù)，僅支持基本任務(wù)，如簡單的模式識別和元音識別。

盡管光子集成電路具有空間緊湊和能效高的優(yōu)點，但仍受到不可避免的時變誤差的限制，網(wǎng)絡(luò)規(guī)模和計算能力有限，難以支持現(xiàn)實世界中的 AGI 任務(wù)。

而且，要實現(xiàn)大規(guī)模、高能效的光子計算，簡單地擴大現(xiàn)有的光子神經(jīng)網(wǎng)絡(luò)芯片是不現(xiàn)實的，因為隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，不可避免的模擬噪聲會呈指數(shù)級擴大。放大現(xiàn)有架構(gòu)的規(guī)模并不能成比例地提高性能。

據(jù)論文描述，Taichi 是一種采用分布式計算架構(gòu)的大規(guī)模光芯片，采用衍射-干涉混合，通過衍射編碼器和解碼器壓縮高維輸入數(shù)據(jù)，并通過可調(diào)矩陣乘法器實現(xiàn)特征提取。

Taichi 可以實現(xiàn)每瓦 160 萬億次操作的能效，并支持超過 1000 個類別的圖像分類，并在 1623 個類別的 Omniglot 數(shù)據(jù)集上達到了 91.89% 的準確率，超現(xiàn)有智能芯片 2—3 個數(shù)量級，可以為百億像素大場景光速智能分析、百億參數(shù)大模型訓(xùn)練推理、毫瓦級低功耗自主智能無人系統(tǒng)提供算力支撐。

圖｜Taichi 光芯片（來源：該論文）

與為深度計算堆疊一系列層的傳統(tǒng)方法不同，Taichi 將計算資源分布到多個獨立的集群中，為子任務(wù)分別組織集群，并最終合成這些子任務(wù)，從而完成復(fù)雜的高級任務(wù)。

光學(xué)衍射和干涉的靈活性啟發(fā)研究團隊設(shè)計了一種光學(xué)計算架構(gòu)，來探索其在大規(guī)模網(wǎng)絡(luò)模型和復(fù)雜任務(wù)中的獨特方式。

具體來說，光學(xué)衍射層的全連接特性比傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)中的卷積層具有更大的可變形性，這意味著光學(xué)網(wǎng)絡(luò)有可能用比電子系統(tǒng)更少的層數(shù)實現(xiàn)相同的變換。

Taichi 的分布式架構(gòu)深度較淺、寬度較寬，旨在以可持續(xù)和高效的方式擴展計算能力。在CIFAR-10 數(shù)據(jù)集中，具有四個分布式層的 Taichi 實現(xiàn)了與 16 層電子 VGG-16 網(wǎng)絡(luò)相當(dāng)?shù)臏蚀_度。

圖｜Taichi 構(gòu)建示意圖。（來源：該論文）

另外，Taichi 利用衍射干涉混合芯片實現(xiàn)了高達兩個數(shù)量級的能效提升（能效高達 160 TOPS/W）和面積效率（878.90 TMACS/mm2)。

此外，通過 Taichi 的分布式架構(gòu)，研究團隊實現(xiàn)了片上神經(jīng)元密度（總神經(jīng)元高達 4256個，可調(diào)神經(jīng)元高達 160 個）和大規(guī)模網(wǎng)絡(luò)（實驗中高達 1396 萬個）。

不足與展望

盡管研究團隊在光電芯片領(lǐng)域?qū)崿F(xiàn)了重大突破。但研究團隊表示，光芯片與 AI 的結(jié)合依然面臨著一些難題和挑戰(zhàn)。

首先，光芯片的制造和集成仍然是一個技術(shù)難題。光芯片的制造需要高度精密的工藝和設(shè)備，目前仍然存在一定的技術(shù)瓶頸；光芯片與現(xiàn)有電子芯片的集成也是一個挑戰(zhàn)，需要解決信號轉(zhuǎn)換和兼容性問題。

其次，光芯片的計算模型和算法需要進一步研究和優(yōu)化。雖然光芯片的計算速度和效率高，但是如何有效利用這些計算資源，設(shè)計出適合光芯片特點的算法和模型，仍然是一個亟待解決的問題。

此外，光芯片的應(yīng)用領(lǐng)域也需要進一步拓展。目前光芯片主要應(yīng)用于一些特定領(lǐng)域，如圖像處理、大數(shù)據(jù)分析等。如何將光芯片的優(yōu)勢應(yīng)用到更廣泛的 AI 應(yīng)用中，是一個需要探索的問題。

研究團隊認為，要想解決以上挑戰(zhàn)，需要在技術(shù)創(chuàng)新、算法優(yōu)化和應(yīng)用拓展等多方面繼續(xù)努力。

例如，隨著直接激光寫入（DLW）和相變材料（PCMs）的發(fā)展，所有權(quán)重都可能是可重構(gòu)的，這將帶來靈活性的提升。

現(xiàn)成的片上激光源、調(diào)制器和檢測器可以通過晶圓鍵合共同封裝到單一平臺并共同集成，這預(yù)示著更高水平的集成。至于分布式計算架構(gòu)，它不僅僅是為 Taichi 單獨設(shè)計的算法。計算和任務(wù)分布也可以幫助現(xiàn)有的光子集成電路擴展其計算能力，以應(yīng)對更高級的任務(wù)。

或許在不久的將來，光芯片與 AI 的結(jié)合將開啟一個全新的計算時代。隨著技術(shù)的不斷進步，我們期待光芯片能夠?qū)崿F(xiàn)更高性能、更低的能耗，以及更廣泛的AI應(yīng)用。

參考鏈接：

https://www.science.org/doi/10.1126/science.adl1203