給AI時代裝配“新大腦”：數(shù)據(jù)密集型超算帶來了哪些變革？

這幾天，世界人工智能大會成為了行業(yè)中當(dāng)之無愧的流量焦點，而媒體與分析師對這屆大會的關(guān)注點也各有不同。

我們發(fā)現(xiàn)，世界人工智能大會來到第四屆，大家關(guān)心的不再僅僅是基礎(chǔ)算法創(chuàng)新以及酷炫的黑科技應(yīng)用。AI相關(guān)的產(chǎn)業(yè)基礎(chǔ)設(shè)施、規(guī)?；涞胤桨傅年P(guān)注度逐步增強(qiáng)。大家更多把AI視作一個產(chǎn)業(yè)結(jié)構(gòu)，而非單單一種技術(shù)來加以討論。

說到AI的產(chǎn)業(yè)會基礎(chǔ)設(shè)施，就不能不提到超算。無論對于科研、行業(yè)，甚至區(qū)域發(fā)展與國家戰(zhàn)略來說，超算都是AI與相關(guān)新一代信息技術(shù)的核心。而隨著AI等技術(shù)帶來數(shù)據(jù)量大規(guī)模增長、數(shù)據(jù)結(jié)構(gòu)多元化、數(shù)據(jù)分析任務(wù)復(fù)雜化，原本的HPC（高性能計算）體系也迎來了全新的變革與挑戰(zhàn)。HPC正在走向HPDA（高性能數(shù)據(jù)分析）的新方向，AI時代的超算體系正在從計算密集型轉(zhuǎn)向到數(shù)據(jù)密集型。

我們知道，人的聰明才智不僅來自反應(yīng)能力，還來源于對知識、記憶、經(jīng)驗的準(zhǔn)確調(diào)取和應(yīng)用。當(dāng)AI要變得更聰明時，一定需要更強(qiáng)大的數(shù)據(jù)處理能力。數(shù)據(jù)密集型超算，可以說是社會經(jīng)濟(jì)真正需要的AI大腦。

人腦中的記憶是存儲在神經(jīng)元當(dāng)中的，那么AI時代的超算大腦中，數(shù)據(jù)將要存儲在哪呢？

一場由數(shù)據(jù)密集型超算帶來的存儲變革正在發(fā)生。7月8日，在2021世界人工智能大會(WAIC2021)上，上海交通大學(xué)與華為公司聯(lián)合發(fā)布了數(shù)據(jù)密集型超算示范中心。這是雙方繼4月份聯(lián)合成立“高性能計算&存儲技術(shù)聯(lián)合創(chuàng)新中心”以來的又一重磅合作，開創(chuàng)了產(chǎn)學(xué)研一體化推動超算發(fā)展的全新模式。

讓我們以此為基礎(chǔ)來談一談：智能時代為什么必須發(fā)展數(shù)據(jù)密集型的“新超算”？與此同時，存儲產(chǎn)業(yè)又如何幫助“新超算”跨越數(shù)據(jù)裂谷？

智能時代，數(shù)據(jù)密集型超算的產(chǎn)業(yè)需求

自疫情發(fā)生以來，全球無數(shù)國家和地區(qū)，相繼意識到了超算能力的重要性。在確診病例、尋找治療方法以及研發(fā)疫苗的過程中，病毒與蛋白質(zhì)解析能力至關(guān)重要。而相關(guān)工作就非常明顯地展現(xiàn)出了計算由計算密集型，向數(shù)據(jù)密集型轉(zhuǎn)化；由HPC向HPDA演進(jìn)的必要性。

病毒解析任務(wù)中，需要快速產(chǎn)生海量數(shù)據(jù)，并且其結(jié)構(gòu)復(fù)雜、數(shù)據(jù)形態(tài)多元。類似計算任務(wù)不僅考驗計算能力，更考驗全流程化的數(shù)據(jù)存放、調(diào)用、解析與再利用能力。如果僅僅是算得快，那么任務(wù)可能在數(shù)據(jù)的全流程循環(huán)中浪費大量時間。而疫情面前，時間就是生命。

在AI進(jìn)入產(chǎn)業(yè)化周期的階段，類似問題出現(xiàn)在各行業(yè)的超算需求中。自動駕駛、油氣勘探、天文分析、工業(yè)數(shù)字化孿生，都清晰地指向數(shù)據(jù)密集型計算。

華為IT產(chǎn)品線解決方案設(shè)計部部長陳默博士認(rèn)為，超算發(fā)展目前主要有6大趨勢：架構(gòu)集群化、計算異構(gòu)化、數(shù)據(jù)密集化、網(wǎng)絡(luò)IP化、運營自動化和應(yīng)用容器化。這些趨勢的出現(xiàn)，不僅考驗了超算本身的算力發(fā)展，還給超算的存儲體系帶來了一系列挑戰(zhàn)。比如說：

1、超算對應(yīng)的數(shù)據(jù)存儲量與存儲類型快速增加：自動駕駛、衛(wèi)星探測等任務(wù)帶來了數(shù)據(jù)量的幾何級飆升。而智慧城市、地質(zhì)勘探等行業(yè)帶來了大量非結(jié)構(gòu)化數(shù)據(jù)、混合類型數(shù)據(jù)的存在任務(wù)，這都對存儲體系產(chǎn)生了更高要求。

2、數(shù)據(jù)調(diào)用性能極大增加，要求存儲能力增強(qiáng)：HPDA形態(tài)下的超算體系，需要完成海量數(shù)據(jù)的短時間內(nèi)大量吞吐，這對存儲性能提出了挑戰(zhàn)。

3、產(chǎn)業(yè)智能化趨勢，要求存儲可靠性趨向極致：在生產(chǎn)場景中落地的超算，需要結(jié)果高度可靠，且不能出現(xiàn)重復(fù)，更不能持續(xù)故障。這要求存儲的可靠性極高，并具有強(qiáng)大的自我修復(fù)與診斷能力。

4、超算中心和數(shù)據(jù)中心融合：超算體系未來將承擔(dān)更多的數(shù)據(jù)服務(wù)與數(shù)據(jù)利用職能，這就要求數(shù)據(jù)在存算場景中反復(fù)流動，快速循環(huán)，形成有效的數(shù)據(jù)湖場景。這將對現(xiàn)有存儲體系造成巨大的升級。

這些趨勢的存在和發(fā)展，意味著數(shù)據(jù)密集型超算必將建立在存儲能力的升級與進(jìn)化之上。海量存儲能力升級支撐數(shù)據(jù)密集型超算與HPDA趨勢；超算升級又支撐了AI產(chǎn)業(yè)化發(fā)展。

這樣來看，今年我們希望在世界人工智能大會中找到的產(chǎn)業(yè)底座，一定蘊藏在海量存儲體系當(dāng)中。

應(yīng)對HPDA挑戰(zhàn)，需要存儲能力升級

為了應(yīng)對數(shù)據(jù)密集型超算中出現(xiàn)的一系列數(shù)據(jù)存算挑戰(zhàn)，華為推出了OceanStor Pacific存儲，在高密設(shè)計、應(yīng)對混合負(fù)載能力，以及多協(xié)議互通三大領(lǐng)域完成了創(chuàng)新，從而更準(zhǔn)確滿足海量、多種類數(shù)據(jù)的快速存算需求，助力超算體系升級。

我們可以具體來看一下這三大能力是如何解決數(shù)據(jù)密集型超算所遇到挑戰(zhàn)的。

首先，HPDA的核心挑戰(zhàn)就是海量數(shù)據(jù)的涌入，以及業(yè)務(wù)量的幾何級增長，很快會造成機(jī)房空間不足、存儲成本高昂的問題，相關(guān)用戶不能無限制投入成本和空間用以存放數(shù)據(jù)。為了解決這個問題，華為推出了OeanStor Pacific高密專用硬件，基于全新的高密架構(gòu)設(shè)計提供更高的容量利用率，在有限的機(jī)房空間里存下更多數(shù)據(jù)。

其次，隨著AI產(chǎn)業(yè)化的推進(jìn)，超算體系中的一套存儲必須支持不同業(yè)務(wù)流程、產(chǎn)業(yè)環(huán)節(jié)的混合負(fù)載。以油氣勘探為例，過往數(shù)據(jù)采集、解釋、處理每個環(huán)節(jié)的業(yè)務(wù)能力對存儲的需求都不同，如果搭建多套存儲會造成大量遷移成本和安全風(fēng)險。華為OceanStor Pacific推出了新一代分布式并行文件系統(tǒng)，從而應(yīng)對混合負(fù)載挑戰(zhàn)。

再有，數(shù)據(jù)密集型超算需要讓數(shù)據(jù)在其他環(huán)節(jié)、不同系統(tǒng)之間進(jìn)行復(fù)雜的循環(huán)流動，這就需要存儲具備多協(xié)議互通能力。華為OeanStor Pacific具備業(yè)界領(lǐng)先的多協(xié)議互通能力，能夠?qū)崿F(xiàn)多個存儲服務(wù)同時訪問一份數(shù)據(jù)，提高跨環(huán)節(jié)、跨系統(tǒng)的數(shù)據(jù)分析效率。

面向數(shù)據(jù)密集型超算的產(chǎn)業(yè)趨勢，華為也并不僅僅是提供市場需要的產(chǎn)品和技術(shù)，而是與科研界、產(chǎn)業(yè)界走到一起，聯(lián)手探索未來超算的更多可能性。比如上海交通大學(xué)與華為聯(lián)合打造的數(shù)據(jù)密集型超算示范中心。

產(chǎn)學(xué)研一體，探索超算下一幕

數(shù)據(jù)密集型超算的進(jìn)化，以及HPC向HPDA的演進(jìn)，都不是一家企業(yè)、一個產(chǎn)業(yè)鏈環(huán)節(jié)能夠完成的任務(wù)，而是需要這個領(lǐng)域中產(chǎn)學(xué)研各界高效協(xié)同，更準(zhǔn)確完成從基礎(chǔ)設(shè)施革新、技術(shù)創(chuàng)新到產(chǎn)業(yè)落地的一系列工程。

華為與上海交通大學(xué)聯(lián)手打造的數(shù)據(jù)密集型超算示范中心，就是一種有效的產(chǎn)學(xué)研一體化協(xié)作模式。華為OceanStor Pacific存儲對于HPDA的賦能與幫助，不應(yīng)該等待產(chǎn)業(yè)界慢慢探索發(fā)掘，而是應(yīng)該在有效的示范與引導(dǎo)下，確保行業(yè)用戶和超算建設(shè)方能夠準(zhǔn)確找到切入點，實現(xiàn)投入產(chǎn)出比最大化。

數(shù)據(jù)密集型超算示范中心就是這樣一個產(chǎn)學(xué)研一體化打造的示范項目，其具有兩大創(chuàng)新點，一是國內(nèi)高校建設(shè)的第一個ARM超算體系，二是在國內(nèi)高校首次踐行“數(shù)據(jù)密集型超算”的建設(shè)理念。圍繞數(shù)據(jù)密集型超算的建設(shè)理念，華為與上海交大緊密協(xié)作，持續(xù)投入了相關(guān)技術(shù)與應(yīng)用創(chuàng)新，并且在科研合作、人才培育等領(lǐng)域進(jìn)行生態(tài)化合作。以此來探索超算在智能時代的有效升級路徑。

回到存儲領(lǐng)域，華為OceanStor Pacific存儲為數(shù)據(jù)密集型超算示范中心提供了統(tǒng)一的數(shù)據(jù)底座，對異構(gòu)化算力實現(xiàn)了堅實支撐，既確保了創(chuàng)新型的超算部署成功落地，同時還增強(qiáng)了結(jié)果驗證能力，提升了用戶操作體驗與運行效率。

未來，數(shù)據(jù)密集型超算將在AI走入千行百業(yè)、探索技術(shù)邊界的進(jìn)程里起到中堅作用。而相關(guān)的存儲能力則是眾多想象力的基礎(chǔ)。

我們在今年的世界人工智能大會中，不僅能夠看到對AI基礎(chǔ)設(shè)施的關(guān)注，甚至能看到“基礎(chǔ)設(shè)施的基礎(chǔ)設(shè)施”迎來了升級進(jìn)化。

基建是無數(shù)產(chǎn)業(yè)發(fā)展的靈魂，我們在高速公路、高鐵上見到的故事，正在AI、存儲中又一次上演著。