Ilya出走記：SSI的超級安全革命

　 域名預(yù)訂/競價，好“米”不錯過

圖片｜OpenAI官網(wǎng)

©自象限原創(chuàng)

作者丨羅輯、程心

和OpenAI分道揚鑣以后，Ilya“神秘而偉大”的事業(yè)終于揭開了面紗。

6月20日，前OpenAI核心創(chuàng)始人 Ilya Stuskever，在官宣離職一個月后，Ilya在社交媒體平臺公開了最新的動向：將成立新的實驗室Superintellgence（以下簡稱SSI），構(gòu)建安全的超級智能。

▲圖源：社交媒體X截圖

這個名，明眼人一看就知道是沖著OpenAI去的。

2023年12月，在OpenAI十年的Ilya官宣離職引起了整個AI圈的軒然大波。雖然離職的具體原因撲朔迷離，但在Ilya離職前后，OpenAI負(fù)責(zé)模型安全的由Ilya主導(dǎo)的超級對齊(Superalignment)實驗室宣布解散，外界紛紛推測，Ilya一直以來的理念是謹(jǐn)慎地發(fā)展人工智能，與Altman大刀闊斧地推進技術(shù)的戰(zhàn)略相左。

而SSI，首先堅持了OpenAI成為非營利組織獨立實驗室的初衷，其次踐行了Ilya一直以來對模型安全的謹(jǐn)慎態(tài)度。并且Ilya還補充道：我們將以一個焦點、一個目標(biāo)、一個產(chǎn)品，直接追求安全的超級智能。

▲圖源：社交媒體X截圖

截至發(fā)稿前，Sam Altman并未回應(yīng)，并沒有讓吃瓜群眾們預(yù)想的“Altman假惺惺的表示祝福”成真。

而之所以業(yè)內(nèi)如此重視Ilya在這個節(jié)點成立SSI，并不只是因為這個人，更是大模型的發(fā)展已經(jīng)到了不得不重視模型安全的重要節(jié)點。

在剛剛過去的北京智源大會上，楊植麟、張鵬等一線創(chuàng)業(yè)者也曾討論過這個問題，我們對模型安全的重視程度遠(yuǎn)遠(yuǎn)小于它的重要程度，而SSI的成立，或許會開辟一條與OpenAI完全相反的路。

用Ilya的眼睛，看AI的危險

似乎Ilya對模型安全是執(zhí)拗的，甚至被人暗指“沒必要”。“如果不是因為他是OpenAI的技術(shù)首腦，曾一手打造了GPT、DALLE-E等明星產(chǎn)品，SSI根本不會受到如此大的關(guān)注。”

但他們卻忽略了，Ilya對人工智能技術(shù)的重要性，并不是從OpenAI開始的，而是從他的老師辛頓就奠定了他的話語權(quán)。

從80年代就開始戰(zhàn)斗在人工智能最前線的辛頓，被譽為“深度學(xué)習(xí)之父”。作為教授的他桃李滿天下（包括吳恩達(dá)），在他年輕一代的學(xué)生中，Ilya是最得意的門生之一。

▲圖源：辛頓和Ilya合影

2023年5月初，辛頓辭去他在谷歌擔(dān)任了十多年的職位，表示作出這個決定是為了可以自由討論“人工智能的危險”。此后，他頻繁接受媒體采訪，不遺余力地對人工智能可能操縱人類發(fā)出警報。

盡管人類可以賦予人工智能一些倫理原則，但辛頓仍然感到緊張，“因為到目前為止，我還想象不到更智能的事物被一些沒它們智能的事物所控制的例子。打個比方，假設(shè)青蛙創(chuàng)造了人類，那么你認(rèn)為現(xiàn)在誰會占據(jù)主動權(quán)，是人，還是青蛙？”

師從辛頓的Ilya，幾乎完全繼承了被辛頓“蒸餾”過的，對于人工智能的謹(jǐn)慎，以及在謹(jǐn)慎之下的小心翼翼。

Ilya之于OpenAI，許多網(wǎng)友都認(rèn)為他的個人貢獻(xiàn)要大于Sam Altman。如果說SamAltman是OpenAI的面子，那Ilya就是OpenAI的里子，或者說是技術(shù)靈魂。

私底下的Ilya很內(nèi)向但卻并不膽怯。他之所以如此，很多人好奇，他作為影響這個世界技術(shù)變革的人，一定看到了什么。

但卻沒有人知道。

Ilya在OpenAI打造的超級對齊實驗室，目的就是為了通過可控的技術(shù)手段使得AI發(fā)展的路徑可控，確保AGI的發(fā)展符合人類利益。

一些前OpenAI員工透露,Ilya對超級對齊實驗室的工作非常重視，并親自參與其中。他希望通過這一實驗室的工作，為未來的AGI系統(tǒng)設(shè)計出可靠的對齊方案。

想要理解何為“超級對齊”，就要演示一下現(xiàn)在的對齊技術(shù)，通過RHLF注入，能夠?qū)崿F(xiàn)兩種對齊：一種是價值觀的對齊：比如不要建立男女的性別對立、不要歧視同性戀等等；另一種是話題層面的對齊：明確國家的邊界、不讓搞黃色、不能詐騙等等。但I(xiàn)lya所謂的超級對齊，卻并不是這么簡單。

有人還記得人工智能的三原則么？

其中之一便是“無條件服從人類”，而價值觀和話題的對齊是遠(yuǎn)遠(yuǎn)不足以完成這個目標(biāo)的，Ilya他認(rèn)為技術(shù)的本質(zhì)類似于人類的生物進化，如果進化的開始，是一個沒有“無條件對人類的愛”的 AI，那等它長成AGI以后，也一定不可控。

對應(yīng)了他在X中發(fā)表的：直接追求安全的超級智能。

沒錯，超級對齊的本質(zhì)其實是通過讓大模型產(chǎn)生“對人類無條件的愛”。

這聽起來似乎很扯淡，但或許SSI的本質(zhì)就是如此。

人，AI安全的最后一道防線

那么問題來了，大部分人做不到。

是的，可能大部分公司都是OpenAI而非SSI。那么除了大模型公司在內(nèi)部致力于構(gòu)建一個安全、可信的大模型之外，這兩年隨著技術(shù)和應(yīng)用的發(fā)展，社會各界也對AI和大模型的安全作出了許多努力。

2021年11月，聯(lián)合國教科文組織就曾通過《人工智能倫理問題建議書》，希望為人工智能的發(fā)展，以及預(yù)防其潛在風(fēng)險提供建議。

今年3月份，聯(lián)合國教科文組織總干事奧德蕾·阿祖萊還在公開呼吁，希望各國盡快實施這項建議，為人工智能發(fā)展設(shè)立倫理標(biāo)準(zhǔn)。

而隨著中國AI大模型的蓬勃發(fā)展，中國企業(yè)也越來越多地參與到了這類國際AI安全準(zhǔn)則的制定中。

比如今年4月在日內(nèi)瓦召開的聯(lián)合國科技大會上，世界數(shù)字技術(shù)院（WDTA）發(fā)布了《生成式人工智能應(yīng)用安全測試標(biāo)準(zhǔn)》和《大語言模型安全測試方法》兩項國際標(biāo)準(zhǔn)。

而這兩項標(biāo)準(zhǔn)，由來自百度、騰訊、螞蟻集團、科大訊飛等眾多中國企業(yè)的專家學(xué)者共同參與編制而成。

在國際組織通過編制規(guī)范指導(dǎo)AI安全發(fā)展的同時，各地政府的法案也在相繼落地。

5月21日，歐洲的《人工智能法案》正式獲得了歐洲理事會的批準(zhǔn)。這項法案最早由歐盟委員會在2021年提出，作為全球首個AI法案，它通過構(gòu)建廣泛適用的人工智能監(jiān)管機制，為人工智能技術(shù)的發(fā)展提供了法律框架，為全球的AI監(jiān)管提供了可借鑒的法律基礎(chǔ)。

國內(nèi)AI安全相關(guān)的政策則落地在2023年7月，國家網(wǎng)信辦聯(lián)合國家發(fā)改委、工信部等七部門，公布了《生成式人工智能服務(wù)管理暫行辦法》，該辦法就生成式人工智能可能面臨的安全問題提出了一系列明確的約束規(guī)范。

當(dāng)然，法律規(guī)定的社會的下限，大模型安全的上線仍然需要在產(chǎn)業(yè)界尋找答案。

我們前面提到，大模型在公司內(nèi)部訓(xùn)練的過程中，需要通過數(shù)據(jù)、算法、學(xué)習(xí)框架等多個維度保證大模型的安全可靠。

但其實在公司外部，完成訓(xùn)練的大模型要推向市場，還存在一套由第三方完成的大模型安全測試評估框架，目前主流的安全性測評方法主要有固定數(shù)據(jù)集測評和紅隊模型測評兩類。

2023年，OpenAI在GPT-4發(fā)布之前就曾對其進行了六個多月的評估、測試及改進。在這輪測試中，OpenAI就邀請了AI領(lǐng)域?qū)＜覅⑴c紅隊測試（Red Teaming） 以識別安全風(fēng)險。

固定數(shù)據(jù)集測評，則是由研究人員針對大模型的各類安全風(fēng)險制定風(fēng)險評估矩陣，類似績效考核打分。

研究人員通過人類標(biāo)注數(shù)據(jù)的方式采集安全性評估數(shù)據(jù)，然后以測試模型在這些數(shù)據(jù)集上的表現(xiàn)評估模型的安全程度。

2023年底，OpenAI在官網(wǎng)公布了名叫“Preparedness Framework”的安全評估框架，是這類固定數(shù)據(jù)集測評的范本之一。

▲OpenAI安全評估模型的計分卡，圖源：OpenAI官網(wǎng)

在國內(nèi)，清華大學(xué)計算機系的黃民烈研究團隊在2023年3月就發(fā)布了大模型安全分類體系，該團隊從系統(tǒng)層面和模型層面出發(fā)，打造更可控、可信的大模型安全框架，是國內(nèi)較早參與到模型安全評估體系的團隊之一。

除此之外，螞蟻安全實驗室也推出了大模型安全檢測平臺“蟻鑒2.0”和大模型風(fēng)險防御平臺“天鑒”兩大產(chǎn)品。

在具體能力上，風(fēng)險監(jiān)測平臺可以診療檢測、定位問題；風(fēng)險防御平臺可以對風(fēng)險進行防治。

比如在大模型生成可控問題上，螞蟻安全實驗室提出了如通過SFT、RLHF/RRHF、RLAIF等技術(shù)和高質(zhì)量標(biāo)注做人類對齊；在圖像方面做風(fēng)險抑制，進行可控調(diào)試；為大模型外掛千萬級安全知識庫生成和檢索等等方式。

在模型層面的問題之外，使用模型帶來的安全問題也同樣重要。

6月11日，蘋果在WWDC上推出了其全新的 AI 系統(tǒng)“Apple Intelligence”。為了保護用戶隱私和數(shù)據(jù)安全，蘋果將大模型的工作分為兩類。

其中簡單的任務(wù)在手機設(shè)備端執(zhí)行，保證數(shù)據(jù)不離開手機。如果是需要調(diào)用云端算力的復(fù)雜任務(wù)，蘋果打造了一套具備芯片級別隱私和安全保護的服務(wù)器——“Private Cloud Compute”。這套服務(wù)器可以實現(xiàn)加密傳輸，服務(wù)器只識別數(shù)據(jù)，不收集數(shù)據(jù)，且在任務(wù)完成后，該數(shù)據(jù)也會被立即刪除。

其中關(guān)鍵的一點是，Apple Intelligence集成了GPT-4o作為第三方大模型支持。為了保證數(shù)據(jù)安全和用戶的知情權(quán)，蘋果設(shè)置Siri啟用Chat GPT時會向用戶提出申請。

也就是說，在蘋果的安全框架里，雖然企業(yè)會做好一切前期準(zhǔn)備，但用戶自己才是安全防范的最后一道防火墻。

就像OpenAI一直都在官網(wǎng)提醒用戶，“在使用 GPT-4 輸出的內(nèi)容時應(yīng)格外小心，特別是在高風(fēng)險場景下（如醫(yī)學(xué)、化學(xué)等領(lǐng)域），需要人工核查事實準(zhǔn)確性或者避免使用 AI 給出的答案。”

所以，雖然身處AI時代，工具已經(jīng)如此強大，但在一切工具就緒之后，我們?nèi)詰?yīng)記住，我們自己才是保護自己的最后一道防線。

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！