AI 模型百家爭鳴，如果集中精力做一個，是不是更容易成功?

在2023年初，ChatGPT似乎掀起了一股AI大模型風。從2月以來，國內(nèi)多家公司也推出了自己的大模型。

我們熟悉的有百度的文心一言、阿里的通義千問、華為的盤古、騰訊的混元，等等。除此之外，很多的科技企業(yè)、學校機構都在制作自己的大模型。比如，北京智源研究院的悟道2.0，中科院自動化所的紫東太初、復旦大學的MOSS、清華大學的ChatGLM。

這么多大模型的名字聽著就讓人覺得頭暈。如果這些機構全部集中精力做一個模型，其實不是更容易成功？

圖源：unsplash.com

這么想自然有一定道理。但縱觀人工智能的發(fā)展史。多種技術、多條路線共同探索，也是讓人工智能能夠快速發(fā)展，能夠一次又一次沖破“寒冬”的原因之一。

想了解技術多元化對人工智能發(fā)展的好處，首先要從符號主義與連接主義說起。

讓計算機“變聰明”

在1956年“達特茅斯會議”上，人工智能作為一門新興的學科被確立下來。一代代科學家們投入到了讓計算機“變聰明”的研究道路上。但“變聰明”這件事太過抽象，具體要如何實現(xiàn)呢？

其實早在達特茅斯會議之前，人們就已經(jīng)開始探索了。而在這個過程中，出現(xiàn)了幾條不同的路線，其中“符號主義”和“連接主義”是兩種重要且有代表性的路線。

符號主義的想法是人的智能主要體現(xiàn)在高層的推理方面：“智能的基礎是知識，智能的核心是知識的表示與推理”。而知識和邏輯推理可以轉(zhuǎn)化成數(shù)學符號來表示，而它們的推理、運算過程，同樣可以用數(shù)學公式符號來表達（正因如此，這一學派才被稱為“符號主義”）。

符號主義最典型的技術是“專家系統(tǒng)”。專家系統(tǒng)背后的想法是，把某個領域的知識、邏輯以符號的形式表示出來，整理成知識庫和推理機。根據(jù)輸入的條件，專家系統(tǒng)能用知識庫里面的知識和推理機里既定的邏輯推理方法，一步步推理得出知識庫中沒有但是又正確結果。

在1955年，一款名叫“邏輯理論家”的程序出現(xiàn)了，這款程序，能夠推演《數(shù)學原理》里面52個定理中的38個，并且對一些定理還給出了更簡潔的證明方法。

這個程序，甚至被一些人稱為“第一個人工智能程序”。自人工智能出現(xiàn)很長一段時間里，符號主義都在人工智能領域占據(jù)重要地位，甚至“人工智能”這個詞也是符號學派為主的科學家們起的新名字。

當然，在符號主義大大發(fā)展的同時，其他賦予計算機“智力”的探索也沒有停止，比如連接主義也在同步發(fā)展。

連接主義與人工神經(jīng)網(wǎng)絡

連接主義有點類似于仿生學，是通過從底層到上層的方法來研究并且模仿人類大腦的結構，進而解釋人類的智力行為。

連接主義認為，微觀的神經(jīng)節(jié)之間的活動最終涌現(xiàn)出了宏觀認知智能。這個思路也比較符合其他科學領域的從下到上的方法論：比如用底層的物理知識來解釋高層的化學反應原理一樣。它的發(fā)展，催生出了今天人工智能領域最重要的技術之一——人工神經(jīng)網(wǎng)絡。

圖源：unsplash.com

1943年，沃倫·麥克洛克和沃爾特·皮茨提出了一種類似于生物神經(jīng)元的數(shù)學模型——MP神經(jīng)元模型。這個模型其實就是模仿神經(jīng)元細胞，對輸入的信號進行處理，并給出特定的信息。

在1949年，神經(jīng)心理學家赫布發(fā)現(xiàn)，人類大腦中的神經(jīng)元之間傳遞的信號強度并不是一成不變的而是“可塑的”。這個理論，后來被人們稱為“赫布規(guī)則”，在人工神經(jīng)網(wǎng)絡的發(fā)展上具有重要地位。

在MP神經(jīng)元模型和赫布規(guī)則的基礎上，1958年，羅森布拉特建立了感知器模型，這個模型被稱為最早的“具有學習能力”的人工神經(jīng)網(wǎng)絡。這個神經(jīng)網(wǎng)絡被美國海軍寄予厚望，并持重金打造了硬件機器，希望它能成為新一代的神經(jīng)計算機。這個項目是美國海軍的重要項目。

但由于當時的算力和技術的限制，人們很快就發(fā)現(xiàn)，感知器的功能太有限了，只能解決非常簡單的線性分類問題。

麻省理工大學的馬文·閔斯基（MarvinMinsky）和西莫·帕波特 (SeymourPapert) （也是少兒編程最早的倡導者）寫書公開聲稱“人工神經(jīng)網(wǎng)絡用處非常有限，甚至連簡單的‘異或’問題都無法解決。”

在二十世紀六十年代末，人工神經(jīng)網(wǎng)絡的研究陷入了低谷。而幾乎就在同一時期，投資者們也開始意識到，之前人們期待的“人工智能大爆發(fā)”并未到來。

比如1958年時候，就有科學家認為，10年之內(nèi)，我們就能讓計算機成為國際象棋冠軍（實際上這件事在1997年才實現(xiàn)比預計晚了將近30年）。在1970年，有科學家認為“3~8年之內(nèi)，就能有一臺普通人智力的機器人?！钡@顯然是做不到的，直到今天我們都無法造出這樣一臺機器。

這些“美好的未來”并未實現(xiàn)，使得政府和投資者們也大大削減了研發(fā)經(jīng)費，人工智能迎來了第一個寒冬。

AI寒冬

但好在人工智能領域有多條技術路線。在寒冬之下，連接主義的人工神經(jīng)網(wǎng)絡發(fā)展艱難，符號主義的專家系統(tǒng)卻悄然興起。

在1972年，一款叫MYCIN的專家系統(tǒng)出現(xiàn)了，它能夠基于病人的癥狀，推理出合適的治療方案。

圖源：unsplash.com

比如，MYCIN里面記錄了多種內(nèi)科疾病的癥狀和病因，同時還有每種疾病適用什么樣的藥物，哪些藥物之間會相互反應。如果一個人拉肚子了，只要輸入對應的癥狀（比如體溫、血常規(guī)數(shù)據(jù)、持續(xù)時間等等），MYCIN就能推理出他所患的疾病，并且開具合適的藥物。

MYCIN給出的治療方案“可接受性評分”跟人類專家的相差無幾（MYCIN為65%，五位人類專家為42.5%~62.5%）。

除了MYCIN，另一款名叫XCON的專家系統(tǒng)幫助DEC公司每年節(jié)省上千萬美元的成本（XCON可以理解成一種專業(yè)的訂單處理系統(tǒng)）?？吹綄＜蚁到y(tǒng)有實打?qū)嵉慕?jīng)濟效益，其他公司也在二十世紀八十年代開始效仿，紛紛建立自己的專家系統(tǒng)以節(jié)約成本。

但隨著專家系統(tǒng)的普及，它的弊端也逐漸顯現(xiàn)，比如，專家系統(tǒng)知識庫里的知識也不會自動更新，專家系統(tǒng)的維護成本很高。

專家系統(tǒng)很快就陷入了僵局，而在此時，連接主義的人工神經(jīng)網(wǎng)絡迎來了自己的“文藝復興。

在二十世紀七八十年代，陸續(xù)有科學家發(fā)現(xiàn)了“反向傳播算法”的重要性。在1982年，保羅·韋布斯將反向傳播算法應用到多層感知器中，這對人工神經(jīng)網(wǎng)絡的發(fā)展非常重要，我們今天的人工神經(jīng)網(wǎng)絡，幾乎都離不開反向傳播算法。

由此可以看出，無論在人工智能的寒冬還是復興時期，符號主義和連接主義的研究都在繼續(xù)，這給人工智能技術取得飛躍和突破提供了條件。如果沒有這些多元化的研究為基礎，人工智能的研究可能會深陷在某一條道路中難以前進。

當然了，除了人工智能技術本身，其他行業(yè)的突破，同樣也會促進人工智能領域的發(fā)展。比如，在二十世紀九十年代以后，芯片技術飛速發(fā)展，計算機的算力得以迅速提升，這對人工智能的發(fā)展來說也至關重要。

比如二十世紀九十年代以前，即便有了反向傳播算法，想訓練層數(shù)非常多的（超過5層）的深度神經(jīng)網(wǎng)絡會非常困難，因此人工神經(jīng)網(wǎng)絡一度也被支持向量機所取代。而在2000年前后，GPU的出現(xiàn)讓人工神經(jīng)網(wǎng)絡（主要是深度神經(jīng)網(wǎng)絡）的訓練速度大幅提升，再加上互聯(lián)網(wǎng)的普及帶來了大量可供AI學習的數(shù)據(jù)，深度學習技術開始嶄露頭角。

BERT與GPT

到了人工智能技術飛速發(fā)展的今天，多元化的研究依然能帶來意想不到的突破。比如今天我們所熟悉的ChatGPT，正是多種研究齊頭并進的受益者。

在2017年，GoogleBrain的科學家們發(fā)表了一篇名為《AttentionIsAllYouNeeded》的論文，提出了Transformer模型。

簡單的說，Transformer是一種能夠讓計算機更好地“讀懂”人類語言的模型。它引入了“注意力”和“自注意力”機制，類似于我們看書時候，會把注意力集中在比較難理解的片段、詞句上，并且綜合上下文的意思，來理解這些片段、詞句。

基于Transformer人們繼續(xù)開發(fā)了多種大模型，在2018年Google推出了BERT模型。在同一年，OpenAI也推出了GPT模型，這兩個模型有很多相似之處，但也有一些區(qū)別。

簡單的說BERT更擅長于理解文本中的詞義，而GPT更擅長于生成文本。

BERT能夠從一個單詞的前后兩側來理解它的含義，有點像考試中的填空題。比如：“我的寵物是一只會叫的（），它愛啃骨”。BERT非常擅長從空格的前后判斷出，這里的詞最可能是“狗”。

而GPT則是單向的，像我們閱讀一樣從左到右分析，并且預測出下一個單詞。比如“我的寵物是一只會叫的狗，它愛（）”，GPT能夠根據(jù)前文信息補全后面的內(nèi)容。

BERT出現(xiàn)之后，因為它在語義理解方面有著非常優(yōu)秀的表現(xiàn)，在自然語言處理方面大放異彩。而在2018年到2020年，GPT模型并沒有像今天這樣受人關注，但它的研究沒有因此停步。

在2019年、2020年，OpenAI相繼推出了GPT2.0、GPT3.0。在GPT3.0的時候，GPT的參數(shù)達到了1750億，訓練樣本超過40TB，GPT3.0涌現(xiàn)出了比之前的GPT模型更強的理解力和生成能力。

在GPT3.5又加入了人類標記的訓練方法，性能又有了進一步的提升。而在ChatGPT出現(xiàn)之后，越來越多的人了解到了GPT這項技術，這也再次把人工智能推到了人類技術發(fā)展的舞臺中央。

每一項研究都值得重視

由此可以看出，在整個人工智能發(fā)展的過程中，多元化的研究和發(fā)展給人工智能技術帶來了更多的可能性。比如在二十世紀六十年代到九十年代，專家系統(tǒng)、人工神經(jīng)網(wǎng)絡、支持向量機同步發(fā)展，一項技術陷入困境，會有其他技術興起。

對于整個人工智能領域是如此，而如果聚焦于大模型這樣的領域也是如此。在自然語言處理領域，科學家們也并沒有因為BERT的效果突出，就冷落了GPT。這才給了ChatGPT在2023年讓人們?nèi)吮M皆知的機會。

除了GPT和BERT，在大模型領域還有很多模型在研究、發(fā)展中。這些模型中的某項技術、某些成果可能在未來會給自然語言處理甚至是這個AI行業(yè)帶來顛覆性的改變。

因此，回到最開頭的問題，如果所有的公司、機構集中精力和資源去訓練一個模型，確實有機會造出一個超級大模型。但在這個過程中，可能會失去一部分寶貴的“技術多樣性”。各個公司的商業(yè)化考量，可能也會在客觀上促成AI的多元化發(fā)展。

參考文獻

[1]中國大百科全書

[2]斯坦福哲學百科全書

[3]MCCULLOCHWS,PITTSW.Alogicalcalculusoftheideasimmanentinnervousactivity[J].BulletinofMathematicalBiophysics,1943,5:115-133.

[4]HEBBDOTheOrganizationofBehavior:ANeuropsychologicalTheory[M].LawrenceErlbaumAssociates,NewJersey,1949.

[5]ROSENBLATTF.Theperceptron:Probabilisticmodelforinformationstorageandorganizationinthebrain[J].PsychologicalReview,1958,65(6):386-408.

[6]Simon&Newell1958,p.7?8quotedinCrevier1993,p.108.

[7]YuVL,FaganLM,WraithSM,ClanceyWJ,ScottAC,HanniganJ,BlumRL,BuchananBG,CohenSN.Antimicrobialselectionbyacomputer.Ablindedevaluationbyinfectiousdiseasesexperts.JAMA.1979Sep21;242(12):1279-82.PMID:480542.

[8]VaswaniA,ShazeerN,ParmarN,etal.Attentionisallyouneed[J].Advancesinneuralinformationprocessingsystems,2017,30.

作者丨秦曾昌 北京航空航天大學教授

田達瑋 科普作者

審核丨于旸 騰訊安全玄武實驗室負責人