域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過

半個(gè)月前的一場(chǎng)內(nèi)部分享中，奇績(jī)創(chuàng)壇創(chuàng)始人陸奇直言：他已經(jīng)跟不上大模型時(shí)代的“狂飆”速度了。

在ChatGPT引發(fā)的現(xiàn)象級(jí)討論下，千億級(jí)大模型的軍備競(jìng)賽愈演愈烈，不少企業(yè)趕趟兒式的交出了自家的大模型答卷。盡管大模型的質(zhì)量參差不齊，卻再一次詮釋了“量變引起質(zhì)變”的哲學(xué)規(guī)律。

日前結(jié)束的昇騰AI開發(fā)者峰會(huì)2023上，中國(guó)科學(xué)院自動(dòng)化研究所“紫東.太初”大模型研究中心常務(wù)副主任、人工智能研究院院長(zhǎng)王金橋在演講中介紹了基于昇騰AI與昇思MindSpore AI框架打造的全模態(tài)大模型紫東.太初2.0，并首次提出全模態(tài)多任務(wù)統(tǒng)一生成式學(xué)習(xí)框架。

借用Hugging Face聯(lián)合創(chuàng)始人Thomas Wolf的說法：“在過去的幾年里，好的多模態(tài)模型一直是許多大型技術(shù)實(shí)驗(yàn)室的圣杯。”當(dāng)大模型進(jìn)入到全模態(tài)時(shí)代，將對(duì)整個(gè)產(chǎn)業(yè)鏈帶來(lái)哪些影響？

01 什么是全模態(tài)大模型？

以往提到大模型的時(shí)候，最惹眼的名詞無(wú)疑是“參數(shù)”，從1.1億參數(shù)的GPT到1750億參數(shù)的GPT-3，千億級(jí)參數(shù)幾乎成了大模型的“準(zhǔn)入門檻”，畢竟模型的參數(shù)量越大，泛化性可能就越強(qiáng)。

其實(shí)還有另外一種分類標(biāo)準(zhǔn)，即模態(tài)，分別對(duì)應(yīng)單模態(tài)、多模態(tài)、全模態(tài)等不同類型，比如一鳴驚人的GPT-3就屬單模態(tài)大模型，紫東.太初1.0和GPT-4屬于多模態(tài)大模型，紫東.太初2.0是全球首個(gè)全模態(tài)大模型。

至于其中的差別，可以從三個(gè)維度進(jìn)行拆解：

首先是原理。

所謂的模態(tài)，即大模型可以處理的數(shù)據(jù)類型。單模態(tài)大模型只能處理一種類型的數(shù)據(jù)，也是出現(xiàn)語(yǔ)言、語(yǔ)音、視覺等不同模態(tài)大模型的原因所在，就像GPT-3系列就只有處理自然語(yǔ)言的能力。

顧名思義，多模態(tài)大模型意味著可以處理多個(gè)模態(tài)的數(shù)據(jù)，比如首個(gè)三模態(tài)大模型紫東.太初1.0，可以利用文本、圖片、音頻三種模態(tài)數(shù)據(jù)進(jìn)行跨模態(tài)的統(tǒng)一表征和學(xué)習(xí)。對(duì)應(yīng)到全模態(tài)大模型，泛指可以利用文本、圖片、音頻、視頻、3D等不同模態(tài)的數(shù)據(jù)進(jìn)行跨模態(tài)的統(tǒng)一表征和學(xué)習(xí)，更接近人類的學(xué)習(xí)方式。

其次是成本。

ChatGPT剛剛走紅的時(shí)候，不少人在討論OpenAI的訓(xùn)練成本，據(jù)悉GPT-3訓(xùn)練一次的硬件和電力成本高達(dá)1200萬(wàn)美元，由此出現(xiàn)了這樣一種流行說法：每一個(gè)大模型都是一臺(tái)昂貴的“碎鈔機(jī)”。

有別于單模態(tài)大模型的是，紫東.太初1.0代表的多模態(tài)大模型，通過建立弱關(guān)聯(lián)多模態(tài)數(shù)據(jù)語(yǔ)義統(tǒng)一表示，支持三種或任兩種模態(tài)數(shù)據(jù)混合訓(xùn)練，進(jìn)而減少了數(shù)據(jù)收集清洗的代價(jià)；到了全模態(tài)大模型階段，紫東.太初2.0的一個(gè)鮮明特點(diǎn)在于全模態(tài)低成本協(xié)同優(yōu)化學(xué)習(xí)，能夠融合多任務(wù)全模態(tài)能力，進(jìn)而降低訓(xùn)練成本。

最后是能力。

大模型領(lǐng)域有“大力出奇跡”的信仰，根源在于大模型的“涌現(xiàn)”現(xiàn)象，當(dāng)大模型的參數(shù)量超過某個(gè)閾值（一般說法是參數(shù)量達(dá)到600-1000億），模型會(huì)出現(xiàn)一些意想不到的復(fù)雜能力，譬如類似人類的思維和推理能力。

正如前面所提到的，紫東.太初2.0首次提出了全模態(tài)多任務(wù)統(tǒng)一生成式學(xué)習(xí)框架，即全模態(tài)分組對(duì)齊、分組解碼和聯(lián)合解碼的學(xué)習(xí)方式，形成了全模態(tài)邏輯推理鏈。而跨模態(tài)遷移更有利于知識(shí)獲取，產(chǎn)生更多新的能力，紫東.太初2.0有望加速能力涌現(xiàn)，進(jìn)一步突破感知、認(rèn)知和決策的交互屏障。

相較于比拼參數(shù)、算力和數(shù)據(jù)的“大模型煉丹術(shù)”，由單模態(tài)到多模態(tài)再到全模態(tài)的進(jìn)化，可以自動(dòng)學(xué)習(xí)到復(fù)雜的特征和模式，實(shí)現(xiàn)更準(zhǔn)確和更高效的預(yù)測(cè)和決策，同樣是走向通用人工智能的必由之路。

02 大模型為何需要開源？

如果說“全模態(tài)”是紫東.太初2.0的第一個(gè)閃光點(diǎn)，另一個(gè)值得關(guān)注的消息是：紫東.太初2.0-3.8B模型已經(jīng)在昇思MindSpore社區(qū)開源，相比于紫東.太初1.0，支持更細(xì)粒度的圖像識(shí)別、更具知識(shí)的視覺問答、更豐富的圖像描述。

似乎有必要重溫下開源和閉源的故事。

1997年，著名黑客埃里克·斯蒂芬·雷蒙在《大教堂與市集》一書中預(yù)測(cè)了兩種不同的自由軟件開發(fā)模式：一種是大教堂模式，原始代碼是公開的，但每個(gè)版本的開發(fā)過程由一個(gè)專屬的團(tuán)隊(duì)管控；一種是市集模式，原始代碼同樣是公開的，不過是放在互聯(lián)網(wǎng)上供人檢視及開發(fā)，最直接的例子就是Linux。

最終“市集模式”證明了開源比閉源更加高效，全球99%的組織在IT系統(tǒng)中使用了大量的開源代碼，開源的價(jià)值也被越來(lái)越多的企業(yè)重視。

2020年以前的時(shí)候，OpenAI信奉的也是開源策略，但在商業(yè)利益的誘惑下，GPT-3選擇了閉源，只針對(duì)開發(fā)者提供API，OpenAI由此被戲稱為ClosedAI，以至于國(guó)內(nèi)的幾家大模型廠商也選擇了API模式。

再來(lái)理解紫東.太初系列大模型在昇思MindSpore社區(qū)開源的現(xiàn)實(shí)意義，或許可以找到一些不同的答案。

一是價(jià)格層面。開源沒有所謂的許可或使用費(fèi)，只要有足夠的算力和數(shù)據(jù)，就可以在昇思社區(qū)上下載紫東.太初2.0-3.8B訓(xùn)練自己的大模型。而閉源的成本取決于軟件的規(guī)模，目前OpenAI的ChatGPT API的最新接口調(diào)用費(fèi)是每千次token約0.002美元，折合人民幣0.014元，還是多次降價(jià)的結(jié)果。

二是安全層面。開源軟件有一個(gè)完整的社區(qū)來(lái)審查代碼，而閉源是由單一平臺(tái)負(fù)責(zé)修改漏洞，出現(xiàn)了錯(cuò)誤可能無(wú)法被及時(shí)改正。況且大模型的安全問題遠(yuǎn)不止于此，據(jù)傳三星電子引入ChatGPT不到20天時(shí)間，就曝出有機(jī)密數(shù)據(jù)外泄，明令宣布禁止員工使用ChatGPT、Google Bard、Bing等生成式AI工具。

三是產(chǎn)業(yè)層面。開源世界里流傳著一句格言：社區(qū)重于代碼，因?yàn)殚_源社區(qū)的聚合和放大效應(yīng)比開源代碼更有價(jià)值。特別是方興未艾的大模型領(lǐng)域，開源的本質(zhì)是協(xié)同和創(chuàng)新，協(xié)同是全世界所有開源方力量的協(xié)同，創(chuàng)新是一個(gè)技術(shù)的創(chuàng)新，相比于各自為戰(zhàn)的閉源模式，開源更利于產(chǎn)業(yè)生態(tài)的培養(yǎng)和繁榮。

紫東.太初2.0宣布開源的同時(shí)，同步升級(jí)了紫東.太初開放服務(wù)平臺(tái)，不僅支持公有云、私有云、混合云在內(nèi)的多種部署方式，兼容昇騰、英偉達(dá)、AMD、英特爾等不同AI硬件，作為AI框架的昇思MindSpore還提供了數(shù)據(jù)中心、訓(xùn)練中心、模型中心、推理中心在內(nèi)大模型微調(diào)套件，進(jìn)一步降低了大模型的開發(fā)門檻，并通過一鍵式微調(diào)、低參數(shù)調(diào)優(yōu)等提高了開發(fā)效率。

全模態(tài)大模型的“神奇能力”，于開發(fā)者而言不再遙不可及。

03 大模型的價(jià)值在“落地”

也許就現(xiàn)階段而言，還無(wú)法為開源和閉源的勝敗下定論?？蓪?duì)于呼喚大模型的千萬(wàn)家企業(yè)來(lái)說，比部署方式更重要的其實(shí)是落地，如果大模型的能力不能轉(zhuǎn)變?yōu)楫a(chǎn)業(yè)價(jià)值，再美好的故事也將是泡沫。

所以在對(duì)話式機(jī)器人輿情洶涌時(shí)，不少大模型并未急于跟進(jìn)，因?yàn)榇竽Ｐ皖I(lǐng)域的參與者們都很清楚：華而不實(shí)地湊熱鬧終歸會(huì)被狂飆的車輪碾壓，產(chǎn)業(yè)落地才是大模型賽道避免泡沫化的鐵律。

再確切一些的話，大模型通常在大規(guī)模無(wú)標(biāo)記數(shù)據(jù)上進(jìn)行訓(xùn)練，以學(xué)習(xí)某種特征和規(guī)則，而基于大模型開發(fā)應(yīng)用時(shí)，只需對(duì)大模型進(jìn)行微調(diào)，就可以完成多個(gè)應(yīng)用場(chǎng)景的任務(wù)。如果說過去的AI應(yīng)用是“手工作坊”式的，在大模型的驅(qū)動(dòng)下，人工智能的產(chǎn)業(yè)落地正在向“工廠流水線”模式演變。

至少基于昇思MindSpore AI框架的紫東.太初大模型已經(jīng)印證了這一點(diǎn)。

比如面向開發(fā)者和個(gè)人用戶，人工智能研究院推出了“江城洛神”AI內(nèi)容創(chuàng)作平臺(tái)，通過紫東.太初的圖像描述能力、跨模態(tài)檢索能力，“江城洛神”能夠自動(dòng)構(gòu)建AIGC的訓(xùn)練數(shù)據(jù)，通過文本對(duì)于生成圖片的細(xì)粒度信息進(jìn)行控制，例如頭發(fā)的顏色、人物的表情、背景的效果、風(fēng)格的定義等等。

同類平臺(tái)需要輸入多個(gè)提示詞才能準(zhǔn)確生圖時(shí)，“江城洛神”已經(jīng)通過自然語(yǔ)言實(shí)現(xiàn)了“一語(yǔ)成畫”。鑒于紫東.太初2.0的視覺知識(shí)推理和生成，不排除會(huì)衍生出圖生文、圖像分類識(shí)別等個(gè)性化的新玩法。

再比如面向行業(yè)的多模態(tài)人工智能產(chǎn)業(yè)聯(lián)合體，目的是整合產(chǎn)學(xué)研用各方資源，打造多模態(tài)人工智能行業(yè)應(yīng)用，探索通用人工智能產(chǎn)業(yè)化路徑，目前已經(jīng)有華為、中國(guó)移動(dòng)、長(zhǎng)安汽車等66位成員參與其中。

直接的例子就是大模型在智能座艙中的應(yīng)用?；?ldquo;紫東.太初”多模態(tài)大模型，長(zhǎng)安汽車引入了元宇宙的概念，創(chuàng)造出了YYDS虛擬數(shù)字人。和其他車內(nèi)語(yǔ)音助手最大的不同，“YYDS”允許用戶復(fù)刻自己或親人的形象、聲音，可以捏出自己專屬的語(yǔ)音助手，實(shí)現(xiàn)了千人千面的個(gè)性化需求滿足。

可以找到的案例還有很多，比如紫東.太初2.0大模型在智慧法律、智慧交通、智慧政務(wù)、智慧醫(yī)療等場(chǎng)景中的深入落地。

或許這才是全模態(tài)大模型的正確打開方式，正在從過去的“一專一能”向“多專多能”過渡。在昇思MindSpore等開源社區(qū)的推動(dòng)下，大模型不僅賦予了普通開發(fā)者使用AI的能力，也拉近了千行百業(yè)智能化轉(zhuǎn)型的距離。

不出意外的話，紫東.太初2.0開創(chuàng)的將不只是“全模態(tài)大模型”的先河，一場(chǎng)以落地考驗(yàn)價(jià)值的產(chǎn)業(yè)大考悄悄拉開了帷幕。

04 寫在最后

即使從2018年OpenAI的GPT算起，“大數(shù)據(jù)+大模型”的行業(yè)布道也不過才進(jìn)入第五個(gè)年頭，期間或許有挫折，但井噴式爆發(fā)已經(jīng)是注定的事實(shí)。

而在文本、圖片、音頻等數(shù)據(jù)的基礎(chǔ)上，進(jìn)一步融入3D、視頻、傳感信號(hào)等多模態(tài)數(shù)據(jù)的紫東.太初2.0，注定了大模型進(jìn)階之路的新轉(zhuǎn)折點(diǎn)，通過優(yōu)化語(yǔ)音、視頻和文本的融合認(rèn)知以及常識(shí)計(jì)算等功能，正在讓人工智能從感知世界進(jìn)化為認(rèn)知世界，延伸出更加強(qiáng)大的通用能力，不斷刷新人們的想象空間。

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！