1. 創(chuàng)業(yè)頭條
  2. 前沿領(lǐng)域
  3. 人工智能
  4. 正文

業(yè)界最強(qiáng)開(kāi)源大模型來(lái)了!通義千問(wèn)720億參數(shù)模型正式開(kāi)源

 2023-12-01 11:53  來(lái)源:互聯(lián)網(wǎng)  我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

12月1日,阿里云舉辦通義千問(wèn)發(fā)布會(huì),開(kāi)源通義千問(wèn)720億參數(shù)模型Qwen-72B。Qwen-72B在10個(gè)權(quán)威基準(zhǔn)測(cè)評(píng)創(chuàng)下開(kāi)源模型最優(yōu)成績(jī),成為業(yè)界最強(qiáng)開(kāi)源大模型,性能超越開(kāi)源標(biāo)桿Llama 2-70B和大部分商用閉源模型。未來(lái),企業(yè)級(jí)、科研級(jí)的高性能應(yīng)用,也有了開(kāi)源大模型這一選項(xiàng)。

通義千問(wèn)還開(kāi)源了18億參數(shù)模型Qwen-1.8B和音頻大模型Qwen-Audio。至此,通義千問(wèn)共開(kāi)源18億、70億、140億、720億參數(shù)的4款大語(yǔ)言模型,以及視覺(jué)理解、音頻理解兩款多模態(tài)大模型,實(shí)現(xiàn)“全尺寸、全模態(tài)”開(kāi)源。力度之大,業(yè)界無(wú)出其右。

業(yè)界最強(qiáng)開(kāi)源模型,填補(bǔ)中國(guó)LLM開(kāi)源領(lǐng)域空白

Qwen-72B基于3T tokens高質(zhì)量數(shù)據(jù)訓(xùn)練,延續(xù)通義千問(wèn)預(yù)訓(xùn)練模型一貫以來(lái)的強(qiáng)勢(shì)表現(xiàn),在10個(gè)權(quán)威基準(zhǔn)測(cè)評(píng)中奪得開(kāi)源模型最優(yōu)成績(jī),在部分測(cè)評(píng)中超越閉源的GPT-3.5和GPT-4。

英語(yǔ)任務(wù)上,Qwen-72B在MMLU基準(zhǔn)測(cè)試取得開(kāi)源模型最高分;中文任務(wù)上,Qwen-72B霸榜C-Eval、CMMLU、GaokaoBench等基準(zhǔn),得分超越GPT-4;數(shù)學(xué)推理方面,Qwen-72B在GSM8K、MATH測(cè)評(píng)中斷層式領(lǐng)先其他開(kāi)源模型;代碼理解方面,Qwen-72B在HumanEval、MBPP等測(cè)評(píng)中的表現(xiàn)大幅提升,代碼能力有了質(zhì)的飛躍。

在10大權(quán)威測(cè)評(píng)中,通義千問(wèn)720億參數(shù)模型獲得開(kāi)源模型最優(yōu)成績(jī)

通義千問(wèn)720億開(kāi)源模型部分成績(jī)超越閉源的GPT-3.5和GPT-4

Qwen-72B可以處理最多32k的長(zhǎng)文本輸入,在長(zhǎng)文本理解測(cè)試集LEval上取得了超越ChatGPT-3.5-16k的效果。研發(fā)團(tuán)隊(duì)優(yōu)化了Qwen-72B的指令遵循、工具使用等技能,使之能更好地被下游應(yīng)用集成。比如,Qwen-72B搭載了強(qiáng)大的系統(tǒng)指令(System Prompt)能力,用戶只用一句提示詞就可定制AI助手,要求大模型扮演某個(gè)角色或者執(zhí)行特定的回復(fù)任務(wù)。

用戶僅用一句提示詞就可創(chuàng)建自己的AI助手

此前,中國(guó)大模型市場(chǎng)還沒(méi)出現(xiàn)足以對(duì)標(biāo)Llama 2-70B的優(yōu)質(zhì)開(kāi)源模型。Qwen-72B填補(bǔ)了國(guó)內(nèi)空白,以高性能、高可控、高性價(jià)比的優(yōu)勢(shì),提供不亞于商業(yè)閉源大模型的選擇?;赒wen-72B,大中型企業(yè)可開(kāi)發(fā)商業(yè)應(yīng)用,高校、科研院所可開(kāi)展AI for Science等科研工作。

從1.8B到72B, 通義千問(wèn) 率先實(shí)現(xiàn)全尺寸開(kāi)源

如果說(shuō)Qwen-72B“向上摸高”,抬升了開(kāi)源大模型的尺寸和性能天花板;發(fā)布會(huì)上的另一開(kāi)源模型Qwen-1.8B則“向下探底”,成為尺寸最小的中國(guó)開(kāi)源大模型,推理2K長(zhǎng)度文本內(nèi)容僅需3G顯存,可在消費(fèi)級(jí)終端部署。

從18億、70億、140億到720億參數(shù)規(guī)模,通義千問(wèn)成為業(yè)界首個(gè)“全尺寸開(kāi)源”的大模型。用戶可在魔搭社區(qū)直接體驗(yàn)Qwen系列模型效果,也可通過(guò)阿里云靈積平臺(tái)調(diào)用模型API,或基于阿里云百煉平臺(tái)定制大模型應(yīng)用。阿里云人工智能平臺(tái)PAI針對(duì)通義千問(wèn)全系列模型進(jìn)行深度適配,推出了輕量級(jí)微調(diào)、全參數(shù)微調(diào)、分布式訓(xùn)練、離線推理驗(yàn)證、在線服務(wù)部署等服務(wù)。

阿里云是國(guó)內(nèi)最早開(kāi)源自研大模型的科技企業(yè),8月以來(lái)開(kāi)源了Qwen-7B、Qwen-14B和視覺(jué)理解模型Qwen-VL。幾款模型先后沖上HuggingFace、Github大模型榜單,得到中小企業(yè)和個(gè)人開(kāi)發(fā)者的青睞,累計(jì)下載量超過(guò)150萬(wàn),催生出150多款新模型、新應(yīng)用。發(fā)布會(huì)現(xiàn)場(chǎng),多位開(kāi)發(fā)者伙伴現(xiàn)身說(shuō)法,分享了他們用Qwen開(kāi)發(fā)專屬模型和特定應(yīng)用的實(shí)踐。

阿里云CTO周靖人表示,開(kāi)源生態(tài)對(duì)促進(jìn)中國(guó)大模型的技術(shù)進(jìn)步與應(yīng)用落地至關(guān)重要,通義千問(wèn)將持續(xù)投入開(kāi)源,希望成為“AI時(shí)代最開(kāi)放的大模型”,與伙伴們共同促進(jìn)大模型生態(tài)建設(shè)。

通義千問(wèn)基座模型持續(xù)進(jìn)化,多模態(tài)探索業(yè)界領(lǐng)先

通義千問(wèn)在多模態(tài)大模型領(lǐng)域的探索也領(lǐng)先業(yè)界一步,當(dāng)天,阿里云首次開(kāi)源音頻理解大模型Qwen-Audio。

Qwen-Audio能夠感知和理解人聲、自然聲、動(dòng)物聲、音樂(lè)聲等各類語(yǔ)音信號(hào)。用戶可以輸入一段音頻,要求模型給出對(duì)音頻的理解,甚至基于音頻進(jìn)行文學(xué)創(chuàng)作、邏輯推理、故事續(xù)寫(xiě)等等。音頻理解能夠賦予大模型接近人類的聽(tīng)覺(jué)能力。

通義大模型能“聽(tīng)”也能“看”。通義千問(wèn)8月開(kāi)源出視覺(jué)理解大模型Qwen-VL,迅速成為國(guó)際開(kāi)源社區(qū)最佳實(shí)踐之一。本次發(fā)布會(huì)又宣布了Qwen-VL的重大更新,大幅提升通用OCR、視覺(jué)推理、中文文本理解基礎(chǔ)能力,還能處理各種分辨率和規(guī)格的圖像,甚至能“看圖做題”。不論從權(quán)威測(cè)評(píng)成績(jī)還是真人體驗(yàn)的效果看,Qwen-VL的中文文本理解能力都大幅超越了GPT-4V。

通義千問(wèn)閉源模型也在持續(xù)進(jìn)化,一個(gè)月前發(fā)布的通義千問(wèn)2.0版閉源模型,最近已進(jìn)階至2.1版,上下文窗口長(zhǎng)度擴(kuò)展到32k,代碼理解生成能力、數(shù)學(xué)推理能力、中英文百科知識(shí)、幻覺(jué)誘導(dǎo)抵抗能力分別提升30%、10%、近5%和14%。用戶可以在通義千問(wèn)APP免費(fèi)體驗(yàn)最新版本的閉源模型。

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
大模型

相關(guān)文章

  • 首屆通義千問(wèn)AI挑戰(zhàn)賽開(kāi)賽,參賽者可暢玩通義開(kāi)源模型家族

    12月1日,首屆“通義千問(wèn)AI挑戰(zhàn)賽”開(kāi)賽,參賽者可免費(fèi)暢玩通義開(kāi)源模型家族,包括剛剛發(fā)布的720億參數(shù)模型Qwen-72B。主辦方為參賽者提供價(jià)值50萬(wàn)元的免費(fèi)云上算力和豐厚獎(jiǎng)金。賽事分為算法和Agent兩大賽道,前者聚焦通義千問(wèn)大模型的微調(diào)訓(xùn)練,希望通過(guò)高質(zhì)量的數(shù)據(jù)探索開(kāi)源模型的代碼能力上限,后

    標(biāo)簽:
    大模型
  • 最強(qiáng)開(kāi)源大模型來(lái)了!通義千問(wèn)720億參數(shù)模型開(kāi)源發(fā)布

    12月1日通義千問(wèn)發(fā)布會(huì),阿里云開(kāi)源通義千問(wèn)720億參數(shù)模型Qwen-72B。Qwen-72B在10個(gè)權(quán)威基準(zhǔn)測(cè)評(píng)創(chuàng)下開(kāi)源模型最優(yōu)成績(jī),成為業(yè)界最強(qiáng)開(kāi)源大模型,性能超越開(kāi)源標(biāo)桿Llama2-70B和大部分商用閉源模型,可適配企業(yè)級(jí)、科研級(jí)的高性能應(yīng)用。通義千問(wèn)當(dāng)天還開(kāi)源了18億參數(shù)模型Qwen-1.

    標(biāo)簽:
    大模型
  • 掰開(kāi)安卓手機(jī),滿屏都是三個(gè)字:大模型

    這年頭,安卓廠商沒(méi)個(gè)大模型,都不敢開(kāi)手機(jī)發(fā)布會(huì)了。前腳OPPO剛用大模型升級(jí)了語(yǔ)音助手,后腳vivo就官宣自研手機(jī)AI大模型;小米發(fā)布會(huì)則直接將大模型當(dāng)場(chǎng)塞進(jìn)手機(jī)系統(tǒng)……其競(jìng)爭(zhēng)激烈程度,不亞于搶芯片首發(fā)。到底是怎么回事?究其原因,還是智能終端已經(jīng)成為了各類AIGC應(yīng)用的落地“新灘頭”。先是圖像生成大

    標(biāo)簽:
    大模型
  • 加速大模型落地,容聯(lián)云發(fā)布多款生成式智能服務(wù)

    基于容聯(lián)云自主研發(fā)的赤兔大模型能力,容聯(lián)云容犀機(jī)器人真正將大模型強(qiáng)大的理解能力、知識(shí)學(xué)習(xí)能力、總結(jié)能力、挖掘能力、推理能力融入于實(shí)際落地應(yīng)用中。開(kāi)創(chuàng)性的打造生成式場(chǎng)景化智能問(wèn)答、生成式智能輔助、AI運(yùn)營(yíng)話術(shù)庫(kù),幫助企業(yè)洞悉更精準(zhǔn)的客戶真實(shí)需求,提升一線客服人員的專業(yè)服務(wù)能力,并代替人工完成大量低價(jià)值

    標(biāo)簽:
    大模型
  • 從搜索到大模型,百度商業(yè)化的“驚險(xiǎn)一躍”

    文:向善財(cái)經(jīng)關(guān)于百度,最近發(fā)生了這么兩件事兒。一個(gè)是華爾街分析師重申了對(duì)百度股票的買(mǎi)入評(píng)級(jí)和目標(biāo)價(jià),但在該公司11月21日公布第三季度收益之前下調(diào)了第三季度收入預(yù)期。分析師給出的理由是,線下廣告支出走軟,以及2G資金減少之后,給智能交通帶來(lái)挑戰(zhàn)。另外一個(gè)是最近文心一言正式上線了專業(yè)版,并且開(kāi)始收費(fèi),

    標(biāo)簽:
    百度
    大模型
  • AI加速時(shí)代的“進(jìn)度條”,我們撥動(dòng)了百分之幾?

    “技術(shù)日新月異,人類生活方式正在快速轉(zhuǎn)變,這一切給人類歷史帶來(lái)了一系列不可思議的奇點(diǎn)。我們?cè)?jīng)熟悉的一切,都開(kāi)始變得陌生?!庇?jì)算機(jī)之父約翰·馮·諾依曼曾這樣說(shuō)到。

    標(biāo)簽:
    ai智能
  • AI視頻賽道,要變天了

    “毀滅你,與你何干?”,這是在劉慈欣的科幻小說(shuō)《三體》里用來(lái)形容人類與三體人之間的戰(zhàn)爭(zhēng)的一句話。

    標(biāo)簽:
    ai智能
  • “創(chuàng)造市場(chǎng)”與“算法進(jìn)化”,中美AI競(jìng)速的岔路口

    “人工智能的商業(yè)模式,是要?jiǎng)?chuàng)造一個(gè)市場(chǎng),而非一個(gè)算法”。這是世界AI泰斗MichaelI.Jordan的觀點(diǎn)。而當(dāng)前的全球AI市場(chǎng),占據(jù)主導(dǎo)地位的中美雙方,卻也走出了兩條截然不同的技術(shù)路徑,前者執(zhí)著于前沿技術(shù)的探索,后者則發(fā)力應(yīng)用優(yōu)化和商業(yè)化落地。南轅北轍的兩個(gè)方向,或許已經(jīng)無(wú)法直接進(jìn)行排位先后、優(yōu)

    標(biāo)簽:
    ai智能
  • 智能體進(jìn)化發(fā)展了一年,現(xiàn)在的RPA Agent迭代到什么程度了?

    智能體進(jìn)化發(fā)展了一年,現(xiàn)在的RPAAgent迭代到什么程度了?從實(shí)在智能最新發(fā)布的實(shí)在Agent7.0,看RPAAgent的迭代升級(jí)抓取豆瓣信息、自己制作PPT,這款A(yù)IAgent真的實(shí)現(xiàn)了流程全自動(dòng)化AIAgent構(gòu)建到執(zhí)行全自動(dòng)化,持續(xù)進(jìn)化RPAAgent再次降低智能體應(yīng)用門(mén)檻實(shí)在智能重磅發(fā)布實(shí)

  • 崔大寶:大模型降溫背后的難點(diǎn)、卡點(diǎn)、節(jié)點(diǎn)

    崔大寶|節(jié)點(diǎn)財(cái)經(jīng)創(chuàng)始人進(jìn)入2024年,大模型似乎有熄火之勢(shì):資本市場(chǎng),與之關(guān)聯(lián)的概念炒不動(dòng)了,英偉達(dá)股價(jià)動(dòng)輒暴跌重挫,引發(fā)“泡沫戳破”的擔(dān)憂;消費(fèi)市場(chǎng),BATH們的推新活動(dòng)少了,產(chǎn)品更新迭代的速度慢了,民眾的關(guān)注度降了……熱鬧的大概只剩下兩場(chǎng)酣仗:自5月15日字節(jié)跳動(dòng)宣布“以厘計(jì)費(fèi)”,打響國(guó)內(nèi)大模型

    標(biāo)簽:
    大模型
  • 這一屆“出道”的數(shù)字人,已經(jīng)拿捧上了“鐵飯碗”

    文|智能相對(duì)論作者|陳泊丞好消息!你心心念念的事業(yè)單位發(fā)錄取公告了!壞消息!他們沒(méi)錄你,錄了個(gè)數(shù)字人。圖片來(lái)源網(wǎng)絡(luò)隨著數(shù)字人技術(shù)的突破,越來(lái)越多的傳統(tǒng)企業(yè)和機(jī)構(gòu)開(kāi)始用上了“數(shù)字員工”。甚至很多中國(guó)人心心念念的“鐵飯碗”,也被這些數(shù)字人給捧上了。數(shù)字人捧上了“鐵飯碗”簡(jiǎn)單翻看一下全國(guó)各地事業(yè)單位的“錄

    標(biāo)簽:
    數(shù)字人