热re99久久精品国99热-亚洲 中文 欧美 日韩 在线-99久久精品无码一区二区毛片-97久久精品亚洲中文字幕无码

2023年的大模型之戰(zhàn)，因算力需求之大，投入成本之高，被不少人視為巨頭之間的掰手腕。

阿里的大模型是在今年4月面世，同年9月，阿里對(duì)外開(kāi)源了7B/14B的通義千問(wèn)大模型。

阿里云CTO周靖人說(shuō)，“阿里是唯一一家主動(dòng)宣布大模型開(kāi)源的大公司?！?/span>

開(kāi)源讓阿里的大模型有了不一樣。

不過(guò)，這一年，阿里在大模型上的重重布局，不只是想做個(gè)開(kāi)源社區(qū)，而是也想成為那個(gè)“賣鏟子”的人。

01

大模型的阿里往事

和國(guó)內(nèi)大多數(shù)科技巨頭一樣，阿里涉足大模型相關(guān)技術(shù)領(lǐng)域，也并非從今年開(kāi)始，而是可以追溯到四年前。

2018年10月，谷歌預(yù)訓(xùn)練大模型BERT發(fā)布，作為基于自家2017年發(fā)布的Transformer框架研發(fā)出的一種新型AI模型，BERT跳出了循環(huán)網(wǎng)絡(luò)和卷積網(wǎng)絡(luò)的經(jīng)典AI范式，很好地發(fā)揮了“注意力機(jī)制”的結(jié)構(gòu)特性，讓AI模型第一次有了“通用”能力。

當(dāng)時(shí)研發(fā)出BERT的谷歌兩位科學(xué)家絲毫不留情面，狠狠地與OpenAI當(dāng)時(shí)還慘不忍睹的初代GPT進(jìn)行了一波對(duì)比。

BERT在當(dāng)時(shí)風(fēng)靡程度可以從兩個(gè)方面窺見(jiàn)一斑：

首先，在AI刷榜成癮的那幾年，作為一個(gè)全新的NLP模型，BERT刷新了11項(xiàng)NLP性能紀(jì)錄，成為了當(dāng)年名副其實(shí)的最強(qiáng)NLP預(yù)訓(xùn)練模型；

其次是產(chǎn)業(yè)的瘋狂跟進(jìn)。

BERT發(fā)布僅僅一年后，F(xiàn)acebook的RoBERTa模型、斯坦福的ELECTRA模型，以及國(guó)內(nèi)百度的ERNIE模型等就蜂擁而至。

阿里達(dá)摩院也是在2019年，在BERT基礎(chǔ)上，推演出的預(yù)訓(xùn)練大語(yǔ)言模型structBERT。

自此之后，新的AI范式，也就是現(xiàn)在所謂的大模型，開(kāi)始在不確定中悄悄成長(zhǎng)。

在2019年踏足這一領(lǐng)域后，阿里在2021年推出了多模態(tài)大模型M6，又在2022年推出了“通義”大模型。

與此同時(shí)，為了研究大模型，阿里在達(dá)摩院內(nèi)部整合機(jī)器智能、數(shù)據(jù)計(jì)算等實(shí)驗(yàn)室資源，以“通義千問(wèn)”之名，構(gòu)建起了通義實(shí)驗(yàn)室。

實(shí)際上，自M6開(kāi)始，阿里大模型開(kāi)啟了自我進(jìn)化之路，通義實(shí)驗(yàn)室通義千問(wèn)負(fù)責(zé)人周暢在2023云棲大會(huì)上稱，“我們最開(kāi)始其實(shí)只是想做一個(gè)能看、聽(tīng)、說(shuō)、使用工具的通用智能體。”

圖片

而這，也是自1956年人工智能發(fā)展至今的幾十年里，所有AI研究團(tuán)隊(duì)都在追逐的一個(gè)終極目標(biāo)。

大模型新范式的出現(xiàn)，讓這一領(lǐng)域不少科學(xué)家第一次感受到，他們離這一終極目標(biāo)的距離，似乎已經(jīng)很近。

02

從M6到通義千問(wèn)

達(dá)摩院是阿里在2017年成立的一個(gè)科研屬性的研究機(jī)構(gòu)，背靠國(guó)內(nèi)科技巨頭，達(dá)摩院陸續(xù)匯聚了來(lái)自全球各領(lǐng)域的技術(shù)大牛。

尤其是人工智能領(lǐng)域，不少華人AI科學(xué)家，都曾被達(dá)摩院招入麾下。

這就不難理解，為什么2022年年初，達(dá)摩院能夠?qū)ν獍l(fā)布模型、任務(wù)、結(jié)構(gòu)統(tǒng)一的通用多模態(tài)模型M6-OFA。

在2022年9月的WAIC 2022上，時(shí)任達(dá)摩院副院長(zhǎng)的周靖人稱，M6-OFA正是通義大模型的底座。

然而，盡管這一模型在通用性上有了不小的進(jìn)步，但就語(yǔ)言理解能力而言，這一模型始終無(wú)法很好地與人類進(jìn)行自然交互。

直到這年11月，ChatGPT的出現(xiàn)，讓達(dá)摩院同樣在做大模型的AI科學(xué)家興奮了起來(lái)，也是在這時(shí)，他們有了做通義千問(wèn)的念頭。

而阿里真正意義上的類ChatGPT大模型——通義千問(wèn)的問(wèn)世，是在阿里身處動(dòng)蕩之年的2023年。

2023年，從內(nèi)部來(lái)看，阿里經(jīng)歷了架構(gòu)調(diào)整、業(yè)務(wù)拆分、集團(tuán)換帥，達(dá)摩院也經(jīng)歷了不小的人員流動(dòng)和調(diào)整。

尤其是繼楊紅霞之后，原達(dá)摩院大模型團(tuán)隊(duì)另外兩位核心人物司羅、徐盈輝的相繼離職，讓阿里新的大模型團(tuán)隊(duì)在百模大戰(zhàn)前，進(jìn)行了一次緊張的重新梳理。

從外部來(lái)看，在ChatGPT問(wèn)世后，短短幾個(gè)月里，迅國(guó)內(nèi)速涌現(xiàn)出不少大模型明星團(tuán)隊(duì)，李開(kāi)復(fù)、王慧文、李志飛、王小川等AI大牛帶資入場(chǎng)，百度文心一言更是在這年3月迅速上線開(kāi)啟邀測(cè)，百模大戰(zhàn)幾乎瞬發(fā)。

阿里是在今年4月11日正式對(duì)外發(fā)布的類ChatGPT產(chǎn)品——通義千問(wèn)，通義千問(wèn)的發(fā)布，也宣告著阿里正式加入到了這場(chǎng)堪稱“AI革命”的百模大戰(zhàn)中。

時(shí)任阿里CEO的張勇這樣解釋這場(chǎng)變革：

“(大模型是)今天真正一項(xiàng)技術(shù)可能在未來(lái)十年二十年，形成重大歷史契機(jī)、創(chuàng)造新產(chǎn)業(yè)的關(guān)頭?！?/span>

于是，我們看到，在這之后，無(wú)論內(nèi)部組織架構(gòu)經(jīng)歷怎樣復(fù)雜的調(diào)整，都沒(méi)有影響阿里對(duì)大模型的團(tuán)隊(duì)、資源的巨量投入。

邀測(cè)順利開(kāi)啟、新產(chǎn)品通義聽(tīng)悟、通義萬(wàn)相等相繼發(fā)布，阿里核心業(yè)務(wù)釘釘、淘寶逐漸導(dǎo)入大模型，就連相對(duì)獨(dú)立的C端品牌天貓精靈，也成了通義千問(wèn)的試驗(yàn)田，早早傳出了接入通義千問(wèn)大模型的消息。

一切就像張勇在4月發(fā)布通義千問(wèn)時(shí)說(shuō)的那樣，“阿里所有產(chǎn)品都將接入大模型(重新做一遍)已經(jīng)成為阿里內(nèi)部的共識(shí)?！?/span>

03

輪到釘釘做“試驗(yàn)田”

2023年，大模型急速發(fā)展，但不可否認(rèn)的是，如今的大模型，仍處于商業(yè)化前夜。

要想將大模型生意做起來(lái)，各大公司必然需要一塊試驗(yàn)田。和十年前云計(jì)算浪潮來(lái)臨時(shí)，阿里首先將阿里云用到自家核心業(yè)務(wù)淘寶上一樣，這次阿里再次對(duì)內(nèi)下手。

只不過(guò)，這次最先被阿里選中的是釘釘。

被選上的釘釘受寵若驚，在通義千問(wèn)發(fā)布僅僅一周后的春釘發(fā)布會(huì)上，釘釘總裁葉軍笑稱：

“以往我們釘釘做個(gè)產(chǎn)品，天天都是求著人家用，最近這一個(gè)月，每天都有人在在釘釘、微信上找我們說(shuō)，能不能趕快(用大模型)做點(diǎn)功能給我們?！?/span>

也是在這場(chǎng)發(fā)布會(huì)上，葉軍正式官宣“釘釘全面接入通義千問(wèn)大模型”，并討巧地用了一個(gè)程序員的標(biāo)志性符號(hào)——“/”來(lái)命名嵌入到釘釘中的這一“大模型”功能。

這一被嵌入到釘釘中的名為“/”的功能當(dāng)時(shí)被應(yīng)用到了IM、文檔、視頻會(huì)議、應(yīng)用開(kāi)發(fā)等內(nèi)嵌功能中，用以實(shí)現(xiàn)諸如寫(xiě)推廣文案、生成配圖、提取會(huì)議紀(jì)要、生成視頻會(huì)議議程回顧、創(chuàng)建待辦事項(xiàng)、發(fā)起群投票、生成表情包等功能。

可以看到，“釘釘”接入“通義千問(wèn)”的過(guò)程和能力，與“微軟Bing”接入“ChatGPT”本質(zhì)類似，功能也相同。

不同的是，大模型為釘釘這樣的應(yīng)用帶來(lái)了一次重生的機(jī)會(huì)。

作為釘釘?shù)拇蠹议L(zhǎng)，葉軍對(duì)此深有體會(huì)。

“大家一直都說(shuō)釘釘是一個(gè)非常臃腫的軟件，釘釘?shù)墓δ艽_實(shí)非常多，多到有時(shí)候我們都找不到在哪里，大模型為釘釘帶來(lái)了一次躍遷的機(jī)會(huì)?！?/span>

也是借著這次大模型的機(jī)會(huì)，曾經(jīng)在消費(fèi)市場(chǎng)沒(méi)什么存在感的釘釘，在這一年，收購(gòu)了我來(lái)的釘釘推出了“釘釘個(gè)人版”。

釘釘個(gè)人版的獨(dú)特之處在于，官方基于我來(lái)(釘釘收購(gòu)的協(xié)同辦公團(tuán)隊(duì))在這個(gè)版本上打造了一個(gè)個(gè)人空間，用戶在釘釘上通過(guò)大模型檢索或生成的內(nèi)容，都可以存到這個(gè)個(gè)人空間中。

葉軍說(shuō)，“將AI創(chuàng)作的內(nèi)容存下來(lái)，基于AI創(chuàng)作的內(nèi)容編輯修改(應(yīng)用到編寫(xiě)郵件、方案創(chuàng)作中)，可能將是未來(lái)每個(gè)人工作的常態(tài)?！?/span>

這是釘釘基于大模型做出的改變，是葉軍看到的釘釘?shù)臋C(jī)會(huì)。

而釘釘，也成為阿里口中“國(guó)內(nèi)第一個(gè)將大模型規(guī)模落地的應(yīng)用”。

04

模型迭代兩三事

互聯(lián)網(wǎng)公司對(duì)技術(shù)感知度足夠高，于是有了阿里快速跟進(jìn)類ChatGPT大模型;

釘釘跑得足夠快，于是有了幾乎與阿里發(fā)布通義千問(wèn)同時(shí)的官宣接入，甚至還手把手教了一遍各位“看官”如何在釘釘中用大模型。

不過(guò)，這些只是百模大戰(zhàn)的開(kāi)始。

在ChatGPT一路小步快跑，迅速更新到到了GPT-3.5、GPT-4一樣，國(guó)內(nèi)的大模型也一邊公測(cè)、一邊應(yīng)用，一邊也在快速進(jìn)行模型迭代。

阿里是在上周的云棲大會(huì)上正式對(duì)外發(fā)布的通義千問(wèn)2.0版本，在此之前，包括華為、百度、科大訊飛等大廠和獨(dú)角獸都陸續(xù)更新了大模型的版本和能力。

從通義千問(wèn)面世到2.0版本發(fā)布，中間經(jīng)歷了半年的時(shí)間，這半年是阿里與全球其他大模型團(tuán)隊(duì)緊張競(jìng)速的半年。

在這半年里，阿里從各個(gè)渠道不斷努力招人來(lái)擴(kuò)充通義實(shí)驗(yàn)室的戰(zhàn)力，加緊技術(shù)研發(fā)和模型訓(xùn)練。

據(jù)周暢在云棲大會(huì)上透露，“由于資源有限，我們這半年整體是在圍繞Scalling Law做技術(shù)探索。”

所謂Scalling Law(規(guī)模定理)，指的是算力、參數(shù)規(guī)模與模型測(cè)試損失之間的函數(shù)關(guān)系。

周暢所說(shuō)的“圍繞Scalling Law做技術(shù)探索”，實(shí)際上就是基于小模型研究數(shù)據(jù)分布、清晰規(guī)則、數(shù)據(jù)配比，在模型算力和參數(shù)規(guī)模擴(kuò)大時(shí)，如何提升模型能力。

基于這些工作，周暢和他的團(tuán)隊(duì)將通義千問(wèn)的預(yù)訓(xùn)練語(yǔ)料提升了一倍。

在預(yù)訓(xùn)練語(yǔ)料得到提升后，模型訓(xùn)練效率成了阻礙算法迭代的又一關(guān)鍵問(wèn)題，而在大規(guī)模集群里，任務(wù)穩(wěn)定性也存在很大挑戰(zhàn)。

于是，阿里通義千問(wèn)團(tuán)隊(duì)又通過(guò)對(duì)底層靈駿集群的穩(wěn)定性、網(wǎng)絡(luò)效率，中間層各種算子優(yōu)化，以及框架層的設(shè)計(jì)機(jī)制進(jìn)行了著重攻關(guān)。

基于這些工作，阿里通義千問(wèn)團(tuán)隊(duì)又將模型訓(xùn)練效率提升了30%，訓(xùn)練穩(wěn)定性提升了15%。

圖片

而通過(guò)對(duì)Scalling Law的探索，通義千問(wèn)團(tuán)隊(duì)最終將積累下來(lái)的這些經(jīng)驗(yàn)應(yīng)用到通義千問(wèn)模型訓(xùn)練中，由此也就有了阿里上周發(fā)布的通義千問(wèn)2.0。

05

不為模型，為工具

在上周云棲大會(huì)上，隨著通義千問(wèn)2.0的發(fā)布，周靖人還對(duì)外做了另外兩項(xiàng)發(fā)布：

一項(xiàng)是整合了此前阿里基于通義千問(wèn)的各類模型，統(tǒng)一對(duì)外梳理并發(fā)布了8大行業(yè)模型；

另一項(xiàng)則是更新并發(fā)布了阿里的大模型基礎(chǔ)設(shè)施，包括模型訓(xùn)練平臺(tái)PAI靈駿、模型推理與服務(wù)平臺(tái)PAI靈積，以及大模型應(yīng)用開(kāi)發(fā)平臺(tái)百煉。

然而，這些并不是最重要的。

鋅產(chǎn)業(yè)認(rèn)為，作為蔡崇信、王堅(jiān)兩位重回舞臺(tái)見(jiàn)證阿里新時(shí)期的這場(chǎng)云棲大會(huì)，最重要的是，作為阿里大模型研發(fā)一號(hào)位的周靖人，明確了大模型時(shí)代阿里的定位：

——不是做一個(gè)C端產(chǎn)品(通義千問(wèn))，而是要將模型的能力釋放出去，繼續(xù)做B端生意。

基于這樣的定位，周靖人也明確了阿里大模型的三個(gè)商業(yè)模式：

第一，為創(chuàng)業(yè)公司、高校和機(jī)構(gòu)開(kāi)發(fā)自己的通用大模型，提供算力、工具和服務(wù)；

第二，為有較強(qiáng)AI能力的團(tuán)隊(duì)和開(kāi)發(fā)者提供模型開(kāi)發(fā)平臺(tái)，供這些團(tuán)隊(duì)和開(kāi)發(fā)者結(jié)合自己的行業(yè)知識(shí)、第三方通用大模型，開(kāi)發(fā)自己的專用大模型(基礎(chǔ)模型)；

第三，為希望基于基礎(chǔ)模型做二次開(kāi)發(fā)的團(tuán)隊(duì)，提供基礎(chǔ)模型和服務(wù)。

總結(jié)來(lái)看就是，阿里在大模型時(shí)代想做的是為想要開(kāi)發(fā)“通用大模型”、“行業(yè)大模型”和“基于大模型的應(yīng)用”的三類人群提供三樣?xùn)|西：

一曰工具，即算力平臺(tái)、訓(xùn)練平臺(tái)、開(kāi)發(fā)平臺(tái)，當(dāng)然也包括其他各種云服務(wù)；

二曰模型，即“通義”家族，以及其他三方開(kāi)發(fā)者開(kāi)發(fā)出的各種基礎(chǔ)模型；

三曰生態(tài)，即魔搭社區(qū)，通過(guò)魔搭社區(qū)既要做一個(gè)豐富的模型生態(tài)，也要做模型背后的開(kāi)發(fā)者生態(tài)。

顯然，在大模型時(shí)代，阿里既想像英偉達(dá)一樣，成為那個(gè)“賣鏟子”的人，也想通過(guò)“賣鏟子”，繼續(xù)成為下一個(gè)時(shí)代的平臺(tái)型企業(yè)。