超導(dǎo)材料搜索效率提升5倍！佛羅里達(dá)大學(xué)等用深度學(xué)習(xí)變革材料發(fā)現(xiàn)，成果登Nature子刊

在科幻電影「阿凡達(dá)」中的潘多拉星球，那座被綠色藤蔓纏繞、懸浮于云端的哈利路亞山，無(wú)疑給觀(guān)眾留下了深刻的印象。其懸浮的奧秘，就在于山間蘊(yùn)藏的室溫超導(dǎo)礦石「Unobtanium」。電影中，人類(lèi)為了搶奪這種地球上不存在的至寶，不惜摧毀納美人的家園。雖然這只是一個(gè)虛構(gòu)的故事，但現(xiàn)實(shí)中，物理學(xué)家們對(duì)超導(dǎo)材料的渴望與追求，卻絲毫不亞于電影中的人類(lèi)對(duì)「Unobtanium」的執(zhí)著。因?yàn)閺睦碚撋蟻?lái)講，超導(dǎo)材料能夠提供永不枯竭的能量供應(yīng)。

研究人員對(duì)超導(dǎo)材料的研究在 2023 年達(dá)到了一個(gè)小高潮。當(dāng)時(shí)，韓國(guó)團(tuán)隊(duì)宣稱(chēng)發(fā)現(xiàn)了室溫超導(dǎo)材料 LK-99，一時(shí)間引起了全球的廣泛關(guān)注，甚至被一些人視為繼 ChatGPT 之后的又一重大技術(shù)突破。盡管最終這一發(fā)現(xiàn)被證實(shí)是一場(chǎng)烏龍，但它卻讓超導(dǎo)材料的熱度再次飆升，也讓人們看到了這一領(lǐng)域巨大的潛力。

而隨著 AI for Science 的興起，人們開(kāi)始大膽設(shè)想：能否借助 AI 技術(shù)來(lái)發(fā)現(xiàn)室溫超導(dǎo)材料？從理論上講，這是完全可行的，雖然仍存在挑戰(zhàn)，但已經(jīng)有一些研究團(tuán)隊(duì)在這方面邁出了重要的一步。例如，美國(guó)佛羅里達(dá)大學(xué)和田納西大學(xué)的研究人員，通過(guò)深度學(xué)習(xí)模型 BETE-NET，成功預(yù)測(cè)了金屬的電聲相互作用 Eliashberg 譜函數(shù) α2F(ω)，并將搜索高 Tc 超導(dǎo)體的效率提高了 5 倍。這一成果不僅為超導(dǎo)材料的發(fā)現(xiàn)提供了新的思路和方法，也為 AI 技術(shù)在材料科學(xué)領(lǐng)域的應(yīng)用樹(shù)立了典范。

相關(guān)成果以「Accelerating superconductor discovery through tempered deep learning of the electron-phonon spectral function」為題，發(fā)表于學(xué)術(shù)期刊 npj Computational Materials。

超導(dǎo)材料的困境：訓(xùn)練數(shù)據(jù)集和機(jī)器學(xué)習(xí)技術(shù)的「兩難抉擇」
人工智能模型對(duì)超導(dǎo)體的有效性，通常取決于兩個(gè)關(guān)鍵因素：訓(xùn)練數(shù)據(jù)集和機(jī)器學(xué)習(xí)技術(shù)的選擇。只有解決了這兩個(gè)關(guān)鍵要素，才能更好地推動(dòng)超導(dǎo)材料的研究和發(fā)展，為未來(lái)的科技創(chuàng)新奠定堅(jiān)實(shí)基礎(chǔ)。然而，這兩大方向均面臨著諸多困難。

首先，能夠快速準(zhǔn)確估算金屬超導(dǎo)性質(zhì)的模型，通常需要從材料信息學(xué)數(shù)據(jù)庫(kù)中獲取數(shù)萬(wàn)個(gè)數(shù)據(jù)點(diǎn)。然而，與其他數(shù)據(jù)庫(kù)不同，要開(kāi)發(fā)相應(yīng)的大規(guī)模 α2F(ω) 數(shù)據(jù)集卻難上加難。這不僅是因?yàn)槠涑杀具^(guò)高，還因?yàn)槿狈σ惶讟?biāo)準(zhǔn)化的密度泛函理論參數(shù)（例如 k 點(diǎn)和 q 點(diǎn)密度、平滑值等），來(lái)準(zhǔn)確計(jì)算 α2F(ω)。鑒于這些障礙，科學(xué)家更需要一套能夠有效處理小數(shù)據(jù)集的機(jī)器學(xué)習(xí)技術(shù)，以突破當(dāng)前的困境，推動(dòng)超導(dǎo)性質(zhì)估算模型的發(fā)展。

其次，在超導(dǎo)性研究領(lǐng)域，研究人員在使用此類(lèi)模型時(shí)經(jīng)常面臨一個(gè)重大挑戰(zhàn)：可用的數(shù)據(jù)集通常是不均勻的，并且數(shù)量有限。長(zhǎng)期以來(lái)，超導(dǎo)材料的研究主要依賴(lài)于包含實(shí)驗(yàn) Tc 值的知名「SuperCon」數(shù)據(jù)庫(kù)來(lái)解決超導(dǎo)性質(zhì)有限數(shù)據(jù)這一難題。然而，該數(shù)據(jù)庫(kù)存在諸多問(wèn)題，如充斥著重復(fù)條目、值得商榷的數(shù)值以及不明確的化學(xué)式等。這種大型、全面數(shù)據(jù)集匱乏的現(xiàn)象，不僅大大限制了新型超導(dǎo)材料的開(kāi)發(fā)，還嚴(yán)重阻礙了超導(dǎo)材料在能源傳輸、交通領(lǐng)域的磁懸浮以及醫(yī)學(xué)成像中強(qiáng)大超導(dǎo)磁體等方面具有的變革潛力。

盡管已經(jīng)出現(xiàn)了一批材料結(jié)構(gòu)和計(jì)算 α2F(ω) 的數(shù)據(jù)庫(kù)，如格拉茨理工大學(xué)理論與計(jì)算物理研究所提出的僅包含高壓氫化物的 Superhydra 數(shù)據(jù)庫(kù)，德國(guó)哈雷物理研究所推出的專(zhuān)注于赫斯勒超導(dǎo)體的數(shù)據(jù)庫(kù)，葡萄牙科英布拉大學(xué)物理系研究人員基于 7,000 次電子-聲子計(jì)算訓(xùn)練的模型，以及美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究所開(kāi)發(fā)的包含 626 種動(dòng)態(tài)穩(wěn)定材料及其相關(guān) α2F(ω) 的數(shù)據(jù)庫(kù)，但這些數(shù)據(jù)庫(kù)在預(yù)測(cè) α2F(ω) 時(shí)的表現(xiàn)依然欠佳。

為了更好地解決這些問(wèn)題，佛羅里達(dá)大學(xué)和田納西大學(xué)的研究人員在本研究中通過(guò)創(chuàng)建一個(gè)全面的 Eliashberg 譜函數(shù)數(shù)據(jù)集，并利用現(xiàn)代深度學(xué)習(xí)技術(shù)開(kāi)發(fā)穩(wěn)健模型，成功解決了這兩個(gè)關(guān)鍵要素，為超導(dǎo)材料的研究和發(fā)展開(kāi)辟了新的道路。這一成果不僅為超導(dǎo)材料的研究提供了新的方法和工具，也為未來(lái)的科技創(chuàng)新和應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。
BETE-NET：可在數(shù)據(jù)有限的情況下，顯著拓展計(jì)算探索的邊界

在計(jì)算電子-聲子耦合時(shí)，需要確保用于計(jì)算 Kohn-Sham 波函數(shù)的 k 點(diǎn)網(wǎng)格與用于計(jì)算聲子的 q 點(diǎn)網(wǎng)格相匹配。為了解決數(shù)據(jù)集的問(wèn)題，該研究首先提出了一種標(biāo)準(zhǔn)化選擇 k 和 q 網(wǎng)格的算法，可基于用戶(hù)提供的 k 和 q 點(diǎn)密度生成網(wǎng)格，而不是使用固定網(wǎng)格來(lái)處理不同單位晶胞體積的材料。通過(guò)這種方法，研究人員不僅提高了數(shù)據(jù)的均勻性和質(zhì)量，還確保了數(shù)據(jù)集的廣泛適用性，最終生成了一個(gè)包含 818 種動(dòng)態(tài)穩(wěn)定材料的高質(zhì)量電子-聲子計(jì)算的全面數(shù)據(jù)庫(kù)。緊接著，研究人員將 818 種動(dòng)態(tài)穩(wěn)定材料按照 80%-20% 的比例劃分為訓(xùn)練集和測(cè)試集。
在評(píng)估了數(shù)據(jù)集的質(zhì)量之后，為了應(yīng)對(duì)數(shù)據(jù)庫(kù)規(guī)模有限這一深度學(xué)習(xí)問(wèn)題，研究人員進(jìn)一步設(shè)計(jì)了 BETE-NET。如下圖所示，BETE-NET 模型通過(guò)將晶體結(jié)構(gòu)轉(zhuǎn)換為圖，并結(jié)合原子序數(shù)、原子質(zhì)量、原子間距離以及位點(diǎn)投影的 PhDOS 信息，通過(guò)一系列卷積 (Convolution) 和門(mén)控塊 (Gated-block) 操作，最終通過(guò)池化操作 (Pooling) 生成 α2F(ω) 的預(yù)測(cè)。通過(guò)引入 PhDOS 信息，模型的預(yù)測(cè)性能得到了顯著提升。這種設(shè)計(jì)不僅充分利用了晶體結(jié)構(gòu)的信息，還結(jié)合了材料的振動(dòng)特性，使得模型在預(yù)測(cè)超導(dǎo)材料的 α2F(ω)時(shí)更加準(zhǔn)確和可靠。最終，該研究訓(xùn)練了 3 個(gè)變體：

* CSO（僅晶體結(jié)構(gòu)）變體：模型的基礎(chǔ)網(wǎng)絡(luò)，僅使用晶體結(jié)構(gòu)信息進(jìn)行預(yù)測(cè)。

* CPD（粗 PhDOS）變體：模型引入了位點(diǎn)投影的聲子態(tài)密度 (PhDOS) 信息，進(jìn)一步提高了模型的預(yù)測(cè)性能。

* FPD（細(xì) PhDOS）變體：使用了更精細(xì)的 q 網(wǎng)格計(jì)算 PhDOS，進(jìn)一步提高了模型對(duì)材料振動(dòng)特性的捕捉能力。

BETE-NET 架構(gòu)

在有限數(shù)據(jù)的情況下，模型容易快速過(guò)擬合。盡管傳統(tǒng)機(jī)器學(xué)習(xí)認(rèn)為過(guò)擬合對(duì)模型的泛化能力有害，但許多深度學(xué)習(xí)模型在訓(xùn)練到近乎零損失時(shí)，仍能保持良好的泛化誤差。這種現(xiàn)象被稱(chēng)為「雙重下降」，可以視為一種受控的過(guò)擬合。如下圖所示，雙重下降現(xiàn)象包含 3 個(gè)階段：經(jīng)典階段 (Classical Rigime)、臨界階段 (Critical Regime) 和現(xiàn)代階段 (Modern Regime)，并且每個(gè)階段的損失景觀(guān)圖在插圖中進(jìn)行了展示。通過(guò)繪制這些損失景觀(guān)圖，研究人員提出了一種合理的方法來(lái)直觀(guān)地解釋神經(jīng)網(wǎng)絡(luò)的偏差和方差，從而為雙重下降現(xiàn)象提供了定性解釋。

雙重下降現(xiàn)象的 3 個(gè)階段

該研究進(jìn)一步在篩選高 Tc 材料方面得到了驗(yàn)證。首先，研究將所有 Tc^DFT≥5K 的材料定義為高 T 材料，最終有 33 種材料符合這一標(biāo)準(zhǔn)。接著，研究繪制了每個(gè)模型的精確召回率曲線(xiàn)。結(jié)果表明，CPD 和 FPD 模型獲得的平均精度 (AP) 幾乎是隨機(jī)分類(lèi)器的 5 倍。這表明，這些模型在識(shí)別高 Tc 材料方面表現(xiàn)出色，顯著優(yōu)于隨機(jī)分類(lèi)器，從而驗(yàn)證了模型在實(shí)際應(yīng)用中的有效性和可靠性。

高 Tc 材料的篩選

綜上所述，BETE-NET 模型堪稱(chēng)特定領(lǐng)域知識(shí)與先進(jìn)深度學(xué)習(xí)技術(shù)完美融合的典范，它能夠在數(shù)據(jù)有限的情況下，高效預(yù)測(cè)金屬的電聲相互作用 Eliashberg 譜函數(shù) α2F(ω)，不僅顯著拓展了計(jì)算探索的邊界，更有望通過(guò)助力新型超導(dǎo)體的發(fā)現(xiàn)，帶來(lái)具有變革性的社會(huì)影響。

等變神經(jīng)網(wǎng)絡(luò)：助力材料界的 AlphaFold 誕生

有趣的是，就在本研究發(fā)布后不久，1 月 17 日，微軟 CEO 納德拉親自站臺(tái)，宣布旗下 MatterGen 模型登上 Nature 雜志。這一模型能夠超越目前已知材料，利用 AI 發(fā)現(xiàn)針對(duì)特定需求的新材料。這標(biāo)志著材料設(shè)計(jì)領(lǐng)域迎來(lái)了新的范式：從傳統(tǒng)的數(shù)據(jù)庫(kù)篩選，轉(zhuǎn)變?yōu)楦鶕?jù)需求提示直接生成新材料。有網(wǎng)友驚呼：「材料界的 AlphaFold 來(lái)了」。

值得注意的是，MatterGen 模型的關(guān)鍵在于其獨(dú)特的擴(kuò)散模型架構(gòu)。在這一擴(kuò)散過(guò)程中，MatterGen 模型采用的是等變分?jǐn)?shù)網(wǎng)絡(luò)，這也是本研究在學(xué)習(xí) α2F(ω) 時(shí)所選用的模型，主要負(fù)責(zé)從擴(kuò)散過(guò)程中恢復(fù)出原始的晶體結(jié)構(gòu)，即去噪過(guò)程。

等變神經(jīng)網(wǎng)絡(luò)在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，加入了等變性的約束要求。網(wǎng)絡(luò)中的每一種操作都要求是等變的，因此整個(gè)網(wǎng)絡(luò)是一個(gè)等變映射。事實(shí)上，等變神經(jīng)網(wǎng)絡(luò)已經(jīng)成為材料領(lǐng)域 AI for Science 研究的主流。
去年 9 月，日本東北大學(xué)和麻省理工學(xué)院的研究人員推出了一種新型人工智能工具 GNNOpt。通過(guò)集成等變神經(jīng)網(wǎng)絡(luò)，GNNOpt 利用 944 種材料組成的小型數(shù)據(jù)集實(shí)現(xiàn)了高質(zhì)量的預(yù)測(cè)，成功識(shí)別出 246 種太陽(yáng)能轉(zhuǎn)換效率超過(guò) 32% 的材料，以及 296 種具有高量子權(quán)重的量子材料，極大地加速了能源和量子材料的發(fā)現(xiàn)。
去年 8 月，清華大學(xué)徐勇、段文暉課題組提出了神經(jīng)網(wǎng)絡(luò)密度泛函理論 (neural-network DFT) 框架。該研究將等變神經(jīng)網(wǎng)絡(luò)以材料結(jié)構(gòu)信息的嵌入作為輸入條件，進(jìn)而輸出哈密頓量矩陣，從而統(tǒng)一了神經(jīng)網(wǎng)絡(luò)中損失函數(shù)的最小化與密度泛函理論中的能量泛函優(yōu)化。相比傳統(tǒng)的有監(jiān)督學(xué)習(xí)方法，這一框架具有更高的準(zhǔn)確性和效率，為發(fā)展深度學(xué)習(xí) DFT 方法開(kāi)辟了新的途徑。此前，該研究團(tuán)隊(duì)還提出了 xDeepH(extended DeepH) 方法，通過(guò)深度等變神經(jīng)網(wǎng)絡(luò)框架來(lái)表示磁性材料的DFT哈密頓量，從而進(jìn)行高效的電子結(jié)構(gòu)計(jì)算。

如今，等變神經(jīng)網(wǎng)絡(luò)正引領(lǐng)超導(dǎo)材料領(lǐng)域邁向全新的研究范式。超導(dǎo)材料的研究與應(yīng)用已不再局限于實(shí)驗(yàn)室，正逐步融入實(shí)際生活，其市場(chǎng)潛力也在持續(xù)釋放。據(jù)預(yù)測(cè)，全球超導(dǎo)材料市場(chǎng)規(guī)模將持續(xù)擴(kuò)大，到 2027 年有望增至 192 億歐元。隨著等變神經(jīng)網(wǎng)絡(luò)等 AI 技術(shù)與超導(dǎo)材料的深度融合，人類(lèi)正觸碰科技的「躍遷點(diǎn)」，開(kāi)啟一個(gè)充滿(mǎn)無(wú)限可能的新時(shí)代。