最近,OpenAI 最強(qiáng)競(jìng)對(duì) Anthropic 宣布:現(xiàn)在,Claude 可以使用電腦了。
據(jù)介紹,最新版本的 Claude 3.5 Sonnet 在通過適當(dāng)?shù)能浖O(shè)置運(yùn)行后,可以按照用戶的指令在電腦屏幕上移動(dòng)光標(biāo),點(diǎn)擊相關(guān)位置,并通過虛擬鍵盤輸入信息,模擬人們與電腦進(jìn)行交互的方式。
Anthropic 認(rèn)為,這項(xiàng)技能--目前處于公開測(cè)試階段--代表了人工智能(AI)領(lǐng)域的重大突破。
在最新博客文章中,他們分享了在開發(fā)計(jì)算機(jī)使用(computer use)模型過程中的一些研究心得,以及如何讓這些模型更加安全。
為什么要開發(fā) computer use?
為什么這項(xiàng)新功能很重要?大量的現(xiàn)代工作都是通過計(jì)算機(jī)完成的。讓人工智能能夠像人類一樣直接與計(jì)算機(jī)軟件進(jìn)行交互,將開啟大量應(yīng)用,而這些應(yīng)用對(duì)于目前的人工智能助手來(lái)說(shuō)根本無(wú)法實(shí)現(xiàn)。
在過去幾年里,強(qiáng)大的人工智能發(fā)展已經(jīng)取得了許多重要的里程碑式成果--例如,能夠進(jìn)行復(fù)雜的邏輯推理,能夠看到和理解圖像。下一個(gè)前沿領(lǐng)域是計(jì)算機(jī)應(yīng)用:人工智能模型無(wú)需通過定制工具進(jìn)行交互,而是可以根據(jù)指令使用任何軟件。
研究過程
Anthropic 表示,他們以前在工具使用和多模態(tài)方面的工作為這些新的計(jì)算機(jī)使用技能奠定了基礎(chǔ)。操作計(jì)算機(jī)需要具備查看和解釋圖像的能力,這里指的是計(jì)算機(jī)屏幕上的圖像。它還要求推理如何以及何時(shí)根據(jù)屏幕上的內(nèi)容執(zhí)行特定操作。結(jié)合這些能力,他們訓(xùn)練 Claude 解讀屏幕上的內(nèi)容,然后使用可用的軟件工具執(zhí)行任務(wù)。
當(dāng)開發(fā)人員讓 Claude 使用一款計(jì)算機(jī)軟件并賦予其必要的訪問權(quán)限時(shí),Claude 會(huì)查看用戶可見內(nèi)容的屏幕截圖,然后計(jì)算光標(biāo)需要縱向或橫向移動(dòng)多少像素才能點(diǎn)擊正確的位置。訓(xùn)練 Claude 準(zhǔn)確計(jì)算像素至關(guān)重要。如果沒有這項(xiàng)技能,模型就很難下達(dá)鼠標(biāo)指令--這就好比模型在回答“‘香蕉’這個(gè)詞中有多少個(gè) A?”這樣看似簡(jiǎn)單的問題時(shí)經(jīng)常會(huì)感到吃力一樣。
令人感到驚訝的是,Claude 在接受了計(jì)算器和文本編輯器等幾款簡(jiǎn)單軟件的 computer-use 訓(xùn)練后(出于安全考慮,模型在訓(xùn)練期間無(wú)法訪問互聯(lián)網(wǎng)),竟然能夠迅速地掌握這些技能。結(jié)合 Claude 的其他技能,這種訓(xùn)練使它具備了非凡的能力,能夠?qū)⒂脩舻臅嫣崾巨D(zhuǎn)化為一連串的邏輯步驟,然后在計(jì)算機(jī)上進(jìn)行操作。他們觀察到,該模型甚至?xí)谟龅秸系K時(shí)進(jìn)行自我糾正并重試任務(wù)。
雖然他們?cè)谌〉贸醪酵黄坪蠛芸炀腿〉昧撕罄m(xù)進(jìn)展,但這需要大量的嘗試和錯(cuò)誤才能實(shí)現(xiàn)。Anthropic 的一些研究人員指出,開發(fā) computer use 模型的過程與他們初入人工智能領(lǐng)域時(shí)想象的“理想化”人工智能研究過程非常接近:不斷迭代,反復(fù)回到繪圖板(drawing board),直到取得進(jìn)展。
目前,Claude 是像人一樣使用計(jì)算機(jī)的 SOTA 模型,即通過觀察屏幕并采取相應(yīng)行動(dòng)。在 OSWorld 為測(cè)試開發(fā)者讓模型使用計(jì)算機(jī)的嘗試而創(chuàng)建的一項(xiàng)評(píng)估中,Claude 目前的得分率為 14.9%。盡管遠(yuǎn)未達(dá)到人類水平(一般為 70%-75%),但卻遠(yuǎn)遠(yuǎn)高于同類產(chǎn)品中排名第二的人工智能模型的 7.7%。
安全使用計(jì)算機(jī)
人工智能的每一次進(jìn)步都會(huì)帶來(lái)新的安全挑戰(zhàn)。computer use 主要是降低人工智能系統(tǒng)應(yīng)用其現(xiàn)有認(rèn)知技能的門檻,而不是從根本上提高這些技能,因此 Anthropic 對(duì) computer use 的主要關(guān)注點(diǎn)是當(dāng)前的危害而非未來(lái)的危害。他們發(fā)現(xiàn),更新后的 Claude 3.5 Sonnet(包括其新的 computer use 技能)仍處于人工智能安全等級(jí) 2 級(jí),也就是說(shuō),它并不需要比 Anthropic 現(xiàn)有的安全和安保措施更高的標(biāo)準(zhǔn)。
當(dāng)未來(lái)的模型因存在災(zāi)難性風(fēng)險(xiǎn)而需要人工智能安全等級(jí) 3 級(jí)或 4 級(jí)保障措施時(shí),computer use 可能會(huì)加劇這些風(fēng)險(xiǎn)。Anthropic 判斷,在模型還只需要人工智能安全等級(jí) 2 的保障措施時(shí),現(xiàn)在就引入 computer use 可能會(huì)更好。這意味著,他們可以在風(fēng)險(xiǎn)過高之前開始處理任何安全問題,而不是在風(fēng)險(xiǎn)更為嚴(yán)重的模型中首次添加 computer use 功能。
因此,Anthropic 的信任與安全團(tuán)隊(duì)對(duì)新的 computer use 模型進(jìn)行了廣泛的分析,以找出潛在的漏洞。他們發(fā)現(xiàn)的一個(gè)問題是“提示注入”--這是一種網(wǎng)絡(luò)攻擊,即向人工智能模型輸入惡意指令,使其推翻先前的指令或執(zhí)行偏離用戶初衷的意外操作。由于 Claude 可以解讀來(lái)自聯(lián)網(wǎng)計(jì)算機(jī)的屏幕截圖,因此有可能接觸到包括提示注入攻擊在內(nèi)的內(nèi)容。
使用公開測(cè)試版 Claude computer-use 版本的用戶應(yīng)采取相關(guān)預(yù)防措施,將此類風(fēng)險(xiǎn)降至最低。作為開發(fā)人員的資源,Anthropic 在參考實(shí)現(xiàn)中提供了進(jìn)一步的指導(dǎo)。
與任何人工智能功能一樣,用戶也有可能故意濫用 Claude 的計(jì)算機(jī)技能。Anthropic 開發(fā)了分類器和其他方法來(lái)標(biāo)記和減少這類濫用。
Anthropic 表示,根據(jù)他們對(duì)數(shù)據(jù)隱私采取的標(biāo)準(zhǔn)方法,默認(rèn)情況下,他們不會(huì)對(duì)用戶提交的數(shù)據(jù)(包括 Claude 收到的任何截圖)訓(xùn)練他們的人工智能生成模型。
computer-use 的未來(lái)
Computer use 是一種完全不同的人工智能開發(fā)方法。到目前為止,LLM 開發(fā)人員一直在讓工具與模型相匹配,創(chuàng)造定制環(huán)境,讓人工智能使用專門設(shè)計(jì)的工具來(lái)完成各種任務(wù)。現(xiàn)在,Anthropic 可以讓模型適應(yīng)工具-- Claude 可以適應(yīng)人類日常使用的計(jì)算機(jī)環(huán)境。他們的目標(biāo)是讓克勞德能夠像人一樣使用已有的計(jì)算機(jī)軟件。
當(dāng)然,還有很多事情要做。Claude 使用計(jì)算機(jī)的速度仍然很慢,而且經(jīng)常出錯(cuò)。人們?cè)谟?jì)算機(jī)上經(jīng)常做的許多操作(拖動(dòng)、縮放等),Claude 還無(wú)法嘗試。Claude 的屏幕視圖具有“翻書”的性質(zhì)--截圖并將它們拼湊在一起,而不是觀察更細(xì)粒度的視頻流--這意味著它可能會(huì)錯(cuò)過短暫的操作或通知。
Anthropic 表示,即使在為今天的發(fā)布錄制 Computer use 演示時(shí),他們也遇到了一些有趣的錯(cuò)誤。例如,Claude 不小心點(diǎn)擊了停止長(zhǎng)時(shí)間屏幕錄制,導(dǎo)致所有鏡頭丟失,以及 Claude 突然中斷了編碼演示,開始瀏覽黃石國(guó)家公園的照片。
Anthropic 預(yù)計(jì),Computer use 將迅速改善,變得更快、更可靠,對(duì)用戶想要完成的任務(wù)更有用。對(duì)于軟件開發(fā)經(jīng)驗(yàn)較少的人來(lái)說(shuō),它也將變得更容易實(shí)現(xiàn)。
原文鏈接:https://www.anthropic.com/news/developing-computer-use
編譯:學(xué)術(shù)君