热re99久久精品国99热-亚洲 中文 欧美 日韩 在线-99久久精品无码一区二区毛片-97久久精品亚洲中文字幕无码

大模型行業越來越熱鬧。國外，馬斯克為Twitter搶購1萬塊GPU籌備大模型項目、亞馬遜大力投資大型語言模型和生成式AI、OpenAI推出了ChatGPTiOS版本；國內，百度發布文心一言、阿里發布通義千問，王小川、王慧文、閆俊杰等“有背景”的創業者跑步進場。

相較于深度學習而言，大模型讓AI的認知能力更上一層樓，進而實現所謂的“智能涌現”，催生出ChatGPT、AutoGPT、AIGC等新型應用，讓AI全面進入工業化大生產階段。英偉達創始人、CEO黃仁勛說：AI的“iPhone時刻”來臨。在激動人心的“iPhone時刻”，行業缺什么？

百模大戰

AI的門檻一下變高了

跟當年的AI創業以及互聯網創業生態不同，大模型成為“頭號玩家”的游戲，活躍的玩家要么是大廠，要么是有資金加持的“有背景”創業者，“草根創業者”尚未出現。

大模型具有“巨量數據、巨量算法、巨量算力”三大“巨量”特征，對任何企業包括巨頭來說，打造一個大模型都不是一件容易的事情，需要收集海量數據、需要采買海量算力、需要進行大量研發，金錢、時間、人力投入同樣“巨量”。ChatGPT是創業公司OpenAI做的，這家公司在2015年成立后低調耕耘8年，且有微軟等巨頭/大佬支持，底層硬件投入高達10億美元以上，每次訓練消耗的電力足夠3000輛特斯拉汽車每輛跑20萬英里。

“巨量”特征讓大模型研發門檻極高，但任何技術生態要走向繁榮都離不開社會化創新。移動互聯網的崛起源自于iOS和安卓的出現，但也離不開應用市場數百萬開發者的創新。同理，大模型上“長出”的應用也都得靠開發者來定義，讓AI大模型為所有開發者（技術服務商、企業、組織、個體開發者等）所用，是加速大模型產業發展的關鍵。

截至目前，大模型還處在“只聽其聲不聞其人”的階段，大廠的大模型已在開放，但需要使用者有較高的人才、算力等資源配置，當下市面上急缺一款讓開發者乃至大學生等群體“人人可用”的大模型。

62億參數規格

大模型也能“小而美”

最近我在朋友圈看到有人分享了一個輕量級開源大模型：中英雙語對話模型ChatGLM-6B，它的最大特點是輕量化，支持在單張消費級顯卡上進行部署推理使用，這讓它具備人人可用的基礎——千億規格的大模型往往需要成百上千張顯卡才能部署。

ChatGLM-6B來自智譜AI這家公司，它由清華技術成果轉化而來。2022年8月，智譜AI旗下的千億級參數模型GLM-130B中英雙語稠密模型正式向研究界和工業界開放——“130B”是130billion的縮寫，即1300億參數。據官網介紹稱，GLM-130B與BERT、GPT-3和T5有著不同的架構，是一個包含多目標函數的自回歸預訓練模型，具有雙語支持、高精度和快速推理等特性。

2022年11月，斯坦福大學大模型中心對全球30個主流大模型進行了全方位的評測，GLM-130B是亞洲唯一入選的大模型。在與OpenAI、谷歌大腦、微軟、英偉達、臉書的各大模型對比中，評測報告顯示GLM-130B在準確性和惡意性指標上與GPT-3175B（davinci）接近或持平，魯棒性和校準誤差在所有千億規模的基座大模型（作為公平對比，只對比無指令提示微調模型）中表現不錯。

2023年3月14日，智譜AI基于GLM-130B推出的千億對話模型ChatGLM開始內測，ChatGLM對標ChatGPT，具備問答和對話功能且針對中文進行了優化，第三方評測顯示其具備ChatGPT3.5至少70%的能力水平。同一天，智譜AI還開源了62億參數的ChatGLM-6B模型。根據官方Blog顯示，ChatGLM-6B采取跟GLM-130B一樣的架構與技術，其將參數規格從千億精簡到62億，具有如下特征：

第一，輕量級。結合模型量化技術，ChatGLM-6B參數大幅精簡，INT4量化級別下最低只需6GB顯存，支持在單張消費級顯卡上進行本地部署，部署門檻與推理成本大幅降低。

第二，中英雙語對話。進行了充分的中英雙語預訓練，經過約1T標識符的中英雙語訓練，輔以監督微調、反饋自助、人類反饋強化學習等訓練方式，它更能對齊人類意圖，進而擁有不錯的智能表現。

第三，國產自主。GLM-130B對國產信控生態有較好的支持，可在國產的海光DCU、華為昇騰910和申威處理器及美國的英偉達芯片上進行訓練與推理。ChatGLM-6B作為國產自主的輕量級大模型也支持信控平臺，可助力我國AI技術特別是大模型自主化。

截至目前ChatGPT、文心一言、通義千問的體驗門檻都很高，而ChatGLM-6B支持公眾體驗（http：//open.bigmodel.ai/trialcenter），簡單注冊后，我體驗了一下它的能力。對近期AI型圈沸沸揚揚的口水戰，它回答得很得體。

我打算做一個華為最新折疊屏手機MateX3的評測，讓ChatGLM-6B幫忙寫一個提綱，結果中規中矩，思路沒問題：

寫詩這樣的常規任務不在話下。

商業文案創作比如取名、想廣告詞都可以做，“喝蜜雪，不舔蓋”，很有創意了。

體驗中大部分時候ChatGLM-6B的表現相比ChatGPT、文心一言、通義千問并不遜色，考慮到它是一個只有62億參數的“輕量版”大模型，哪怕“遜色”也都可以原諒了。特別值得一提的是，智譜AI針對取標題、寫文章等不同場景進行了調優，讓它在滿足對應AIGC需求時有更出色的表現。

ChatGLM-6B的參數規格只有62億，因此也存在一些不容回避的問題，比如在面對許多事實性知識任務時可能會生成不正確的信息，不擅長邏輯類問題（如數學、編程）的解答，對多輪對話的支持很一般。

要真正擁有人的智商，AI大模型依然任重道遠。AI大模型的完整稱呼是“AI預訓練大模型”，“預訓練”的字面意思很容易理解：預先訓練好，這樣應用開發者可得到相對現成的訓練結果，基于此直接開發AI應用，不再需要從0到1訓練數據、建立模型。它通過堆疊數據集“貪婪式”地訓練模式，擁有較強的通用性，理論上可泛化到多種應用場景，而小樣本或零樣本的技術實現，則可讓應用開發者快速基于其構建工程應用。

顯而易見，ChatGLM-6B的出現體現出了大模型預訓練與泛化通用的精髓，它的理念是“有舍才有得”，弱化一些能力，但降低了部署門檻，讓開發者、研究者在本地計算機上進行大模型的微調、部署、訓練成了可能，進而可更好地支持大模型落地到海量場景。

在前幾天的一次公開活動上，智譜AICEO張鵬曾表達一個觀點，“AIGC產業基座是預訓練大模型，原因在于兩個方面：第一、通用泛化能力，為AI研發降本增效，這是非常關鍵的特性；第二，融入更多知識，讓大模型能更好模擬人的智能。但與此同時也面臨著一些挑戰，比如成本高昂、訓練數據巨大，周期長等。”ChatGLM-6B的開源正是智譜AI實現通用泛化、降低AI研發門檻與成本的實踐。

開源一個月后，ChatGLM-6B的Huggingface全球下載量已超過75萬，持續兩周位列Huggingface全球模型趨勢榜榜首，GitHub星標數達到1.7萬。“小而美”的ChatGLM-6B在開源社區走熱是大模型熱的縮影。

ChatGLM-6B讓大模型技術“人人可用”

ChatGLM-6B通過輕量化的模式實現大模型的通用泛化，解決了大模型“高不可攀”這一開發者的痛點。在日益蓬勃的大模型產業中，有著獨特占位的ChatGLM-6B將在AI技術普惠中扮演重要角色。具體來說，它將給大模型產業帶來如下好處：

1、降低大模型使用門檻。更多開發者可輕松部署大模型，一方面，ChatGLM-6B是開源的，開發者可深入大模型底層一探究竟，只有搞清楚大模型的運轉機制才能更好地利用好大模型技術。另一方面，開發者可基于ChatGLM-6B進行上層應用創新，開發出我們今天想都想不到的創新AI應用，在工業化階段再切換到GLM-130B這樣的千億級大模型上。

2、降低大模型的訓練成本。大模型訓練成本高昂且耗能，基于開源的ChatGLM-6B，開發者不再需要搭建龐大的算力體系，在訓練推理時也不需要耗費驚人的電力資源、所需時間周期將大幅縮短，進而更高效、低碳、經濟地應用大模型技術，加速AI工業化大生產。

3、有利于大模型的教育普及。喬布斯當年曾說人人都要會編程，未來人人則要學會使用AI工具。在教育場景，計算機相關專業的大學生以及對編程有興趣的青少年，只要有一臺搭載顯卡的計算機就能輕松地部署ChatGLM-6B，可以盡早了解并學會應用大模型這一基礎技術。

個人覺得，“ChatGLM-6B+GLM-130B”的組合模式給AI大模型產業落地提供了一個新的范式：輕量級大模型扮演普惠的角色，讓更多人輕松“入門”，學習、理解、熟悉大模型技術，進行創新應用的開發、驗證、測試等。到了應用階段，如有必要再使用GLM-130B這樣的千億級工業化大模型部署產品，面向客戶與用戶提供商業化服務。

寫在最后：

AI大模型技術掀起新一輪產業革命，人類社會的生產力、生產資料與生產關系都將被重新定義，人們的生活與工作方式、企業的經營模式以及社會的治理方式都在被重構。在這樣的大變局下，AI大模型已成為“國之重器”。

在技術浪潮涌來時，國際形勢正波詭云譎，大國競爭日益激烈，科技是核心角力場，不論是十四五規劃綱要還是二十大均明確要增強科技創新引領作用，實現高水平科技自立自強。在這樣的時代背景下，大模型成了跟芯片一樣的制高點，我國必須要有自己的底層大模型技術，更需要有自己的完整的大模型應用與產業生態。

這幾天，王小川與百度的口水戰在大模型行業引發熱議，其實爭論“我國大模型距離ChatGPT的差距究竟是2個月還是2年”沒什么意義，我國大模型技術距離GPT還有客觀的差距，推動大模型技術精進和產業落地，是大模型玩家們的責任，行業更需要ChatGLM-6B這樣的可落地的解決方案，它大幅降低了AI開發門檻，未來還可結合低代碼等技術實現“人人都會大模型開發”，這才是AI大模型技術普惠的必經之路，也是我國AI大模型實現趕超的關鍵。

在官方博客上，ChatGLM團隊有一段樸素的文字：

“我們一直在探索、嘗試和努力，GLM系列模型取得了一絲進展，但我們離國際頂尖大模型研究和產品（比如OpenAI的ChatGPT及下一代GPT模型）都還有明顯差距。中國大模型研究在原創算法、AI芯片和產業上的追趕與突破需要大家的一起努力，更需要我們對下一代AI人才的培養與鍛煉。很幸運的是，GLM團隊在過去幾年探索的過程中，有一群有情懷、有能力、有格局的年輕人加入我們并肩作戰，快樂開卷，大家一起焦慮，一起熬夜，一起成長，一起創造。通用人工智能探索，我們一直在路上，努力前行。”

我覺得還是很扎心的。大模型熱潮中，渾水摸魚、蹭熱點、搞炒作的玩家不少，但也有一些腳踏實地的團隊正在研發大模型技術，想方設法在推動大模型落地，只爭朝夕地追趕先行者，他們，值得被尊敬。