如果要問(wèn)近幾年人工智能領(lǐng)域哪個(gè)研究方向火爆,恐怕非大模型莫屬。隨著2022年年底OpenAI推出ChatGPT產(chǎn)品,圍繞大模型的人工智能商業(yè)化進(jìn)程駛?cè)肟燔嚨?,深刻地改變著各行各業(yè)的生產(chǎn)方式和服務(wù)模式。
根據(jù)市場(chǎng)調(diào)研機(jī)構(gòu)Precedence Research的數(shù)據(jù),2023年,全球人工智能市場(chǎng)規(guī)模已達(dá)約11879億元,預(yù)計(jì)到2030年,這一數(shù)字將飆升至114554億元,實(shí)現(xiàn)超過(guò)35%的復(fù)合增長(zhǎng)率。但需要指出的是,模型的訓(xùn)練需要海量的數(shù)據(jù),包括文本、圖像、語(yǔ)音等,并且在訓(xùn)練過(guò)程中,可能還要調(diào)整模型的參數(shù)來(lái)優(yōu)化性能、提升準(zhǔn)確性,這就要有強(qiáng)大的計(jì)算能力提供支撐。
數(shù)據(jù)顯示,ChatGPT一次完整的模型訓(xùn)練成本超過(guò)8000萬(wàn)元。如果進(jìn)行10次完整的模型訓(xùn)練,成本便高達(dá)8億元,這顯然成為了大模型發(fā)展的一大障礙。
不過(guò),近期OpenAI高級(jí)科學(xué)家Noam Brown提出了一項(xiàng)引人注目的理論,為解決這一難題提供了新的思路。他表示,讓AI模型在每次決策前思考20秒,其性能提升相當(dāng)于擴(kuò)大模型體積和訓(xùn)練時(shí)間至十萬(wàn)倍,而“系統(tǒng)二思維”(System 2 thinking)正是實(shí)現(xiàn)這一突破的關(guān)鍵所在。
新的思維模式
系統(tǒng)二思維這一概念源于心理學(xué),由諾貝爾獎(jiǎng)得主Daniel Kahneman提出。該理論認(rèn)為,人類思維是由兩個(gè)截然不同的系統(tǒng)驅(qū)動(dòng)的。系統(tǒng)一思維是快速、直觀和自動(dòng)的,控制著我們的快速判斷,比如對(duì)突發(fā)事件的反應(yīng)或?qū)κ煜つJ降淖R(shí)別。相比之下,系統(tǒng)二思維則是緩慢的、深思熟慮的、善于分析的,支持復(fù)雜的問(wèn)題解決、計(jì)劃和推理。
盡管這兩個(gè)系統(tǒng)通常被分開(kāi)對(duì)待,但它們?cè)诓粩嗟叵嗷プ饔?。系統(tǒng)一思維產(chǎn)生印象、直覺(jué)和意圖;系統(tǒng)二思維對(duì)建議進(jìn)行評(píng)估,如果認(rèn)同,就將其整合進(jìn)深思熟慮的選擇中。這使得人類能夠無(wú)縫地駕馭各種情況,從日常生活到具有挑戰(zhàn)性的問(wèn)題。
Brown將這一理論引入AI領(lǐng)域,并主張通過(guò)促使AI進(jìn)行更深層次的分析與推理,能夠在不大幅增加資源的前提下,顯著提升模型的性能。具體來(lái)看:
第一,提升推理和解決問(wèn)題的能力。具有系統(tǒng)二思維的大模型將在邏輯推理、理解復(fù)雜概念以及解決需要仔細(xì)思考和考慮的問(wèn)題方面表現(xiàn)得更好。這可能包括從高級(jí)數(shù)學(xué)問(wèn)題解決到更微妙的道德推理等方面。
第二,改善對(duì)上下文和細(xì)微差別的理解。當(dāng)前的大模型在理解上下文和細(xì)微差別方面可能會(huì)遇到困難,尤其是在復(fù)雜或模棱兩可的情況下。系統(tǒng)二思維將使大模型更好地掌握人類語(yǔ)言的微妙之處和現(xiàn)實(shí)世界場(chǎng)景的復(fù)雜性。
第三,減少偏見(jiàn)和錯(cuò)誤。雖然系統(tǒng)一思維反應(yīng)迅速,但也更容易受到偏見(jiàn)和錯(cuò)誤的困擾。通過(guò)納入系統(tǒng)二思維,大模型有可能減少這些偏見(jiàn),導(dǎo)致更公平和準(zhǔn)確的結(jié)果。
第四,更好制定決策。在商業(yè)或醫(yī)學(xué)等決策通常具有重大后果的領(lǐng)域,具有系統(tǒng)二思維的大模型可以分析大量數(shù)據(jù),權(quán)衡不同的選項(xiàng),并根據(jù)邏輯推理和證據(jù)提出決策建議。
第五,增強(qiáng)學(xué)習(xí)和適應(yīng)能力。大模型中的系統(tǒng)二思維可能會(huì)導(dǎo)致改進(jìn)的學(xué)習(xí)能力,使其不僅能夠從數(shù)據(jù)中學(xué)習(xí),而且能夠理解和應(yīng)用各種情況下的抽象概念、原則和策略。
第六,更有效地人機(jī)協(xié)作。有了系統(tǒng)二思維,大模型能更好地理解和預(yù)測(cè)人類的需求和行為,從而帶來(lái)更有效和直覺(jué)的人機(jī)互動(dòng)和合作。
發(fā)展未來(lái)可期
值得注意的是,在AI領(lǐng)域?qū)崿F(xiàn)真正的系統(tǒng)二思維是一項(xiàng)重大挑戰(zhàn)。這不僅需要改進(jìn)算法方法和計(jì)算能力,還需要更好地理解人類的認(rèn)知和推理過(guò)程。到目前為止,大模型主要以一種更接近人類系統(tǒng)一思維的方式運(yùn)行,依賴于模式識(shí)別和快速反應(yīng)生成,而不是深入的邏輯推理。
但我們也看到,已經(jīng)有科技企業(yè)邁出了探索的步伐。例如,OpenAI推出的o1模型融入了系統(tǒng)二思維,從而使得AI能夠執(zhí)行更為深入的推理過(guò)程。據(jù)悉,在國(guó)際數(shù)學(xué)奧林匹克資格考試中,該模型的正確率高達(dá)83%,遠(yuǎn)超目前主流模型的13%。
同樣值得關(guān)注的,還有DeepMind推出的Talker-Reasoner框架。這一框架結(jié)合了兩種思維模式。其中,Talker組件負(fù)責(zé)處理與用戶和環(huán)境的實(shí)時(shí)交互,感知觀察,解釋語(yǔ)言,從記憶中檢索信息,并產(chǎn)生對(duì)話反應(yīng)。Reasoner組件負(fù)責(zé)執(zhí)行復(fù)雜的推理和規(guī)劃,并與工具和外部數(shù)據(jù)源互動(dòng),以增加其知識(shí)并作出明智的決策。
我們認(rèn)為,通過(guò)模擬人類的深思熟慮過(guò)程,大模型不僅能夠提高其解決問(wèn)題的能力,還能更好地理解和適應(yīng)復(fù)雜多變的環(huán)境。這種進(jìn)步不僅限于技術(shù)領(lǐng)域內(nèi)的應(yīng)用擴(kuò)展,更意味著在更多的行業(yè)中實(shí)現(xiàn)更加人性化和高效的服務(wù)。
寫(xiě)在最后:
毫不夸張地說(shuō),將系統(tǒng)二思維整合到大模型標(biāo)志著AI迎來(lái)了進(jìn)化的關(guān)鍵時(shí)刻??梢灶A(yù)見(jiàn)的是,隨著大模型的廣泛應(yīng)用,將幫助我們解決更為復(fù)雜的問(wèn)題、提供更加精準(zhǔn)的服務(wù),推動(dòng)人類社會(huì)邁向一個(gè)全新的智能時(shí)代。
供稿單位:重慶天極網(wǎng)絡(luò)有限公司
審核專家:李志高
聲明:除原創(chuàng)內(nèi)容及特別說(shuō)明之外,部分圖片來(lái)源網(wǎng)絡(luò),非商業(yè)用途,僅作為科普傳播素材,版權(quán)歸原作者所有,若有侵權(quán),請(qǐng)聯(lián)系刪除。