訂閱
糾錯(cuò)
加入自媒體

大模型發(fā)展到現(xiàn)在,如何才能真正走向生產(chǎn)力?

2023-09-02 10:01
奇偶派
關(guān)注

來自無錫的80后礦山管理者胡哥在閱遍眾多大模型的介紹視頻后,沒忍住對我問道:“大模型能做啥?”

這就是大模型的現(xiàn)狀——行業(yè)內(nèi)火熱,圈外人發(fā)懵。這不禁讓人思考,大模型的時(shí)代真的到來了嗎?還是只是小圈層內(nèi)的自嗨?

2023年以來,以ChatGPT、Midjourney為代表的以內(nèi)容生成為導(dǎo)向的人工智能應(yīng)用,引發(fā)了一輪又一輪的創(chuàng)新浪潮。

讓大模型技術(shù)深入生活生產(chǎn)的核心場景,降低使用AI的門檻,助力企業(yè)實(shí)現(xiàn)降本增效,成為了各家AI、科技企業(yè)都在為之努力的目標(biāo)。

不過,從技術(shù)走向生產(chǎn)力談何容易。一方面,算力不足的問題一直存在,另一方面,大模型能力落地,也需要尋找更多的場景。

1

決勝大模型時(shí)代

算力、網(wǎng)絡(luò)、向量數(shù)據(jù)庫缺一不可

大模型應(yīng)用場景日趨多樣,需求也隨著增加,進(jìn)而倒逼著多元算力方面的創(chuàng)新,為滿足AI工作負(fù)載的需求,采用GPU、FPGA、ASIC等加速卡的服務(wù)器越來越多。

根據(jù)IDC數(shù)據(jù)統(tǒng)計(jì),2022年,中國加速服務(wù)器市場相比2019年增長44.0億美元,服務(wù)器市場增量的一半更是來自加速服務(wù)器。

這意味著未來算力一定是多元化的。

高性能、高彈性與高穩(wěn)定的算力,對于網(wǎng)絡(luò)速度與穩(wěn)定性要求也非常高,在訓(xùn)練集群中,一旦網(wǎng)絡(luò)有波動,訓(xùn)練的速度就會大受影響,只要一臺服務(wù)器過熱、宕機(jī),整個(gè)集群都可能要停下來,然后訓(xùn)練的任務(wù)要重啟,這些事件會使得訓(xùn)練的時(shí)間大大增加,所以投入在大模型的成本也會變大。

圖片

算力產(chǎn)業(yè)鏈,圖源:科智咨詢整理

另外,GPU服務(wù)器運(yùn)營與分層次的排查也會更頻瑣,整體運(yùn)維的難度與工作量也會高很多。

因此,云所提供的穩(wěn)定計(jì)算、高速網(wǎng)絡(luò)與專業(yè)的運(yùn)維,可以為算法工程師大大減輕基礎(chǔ)設(shè)施的壓力,讓他們把精力放在模型的構(gòu)建與算法的優(yōu)化上。

騰訊云打造的面向模型訓(xùn)練的新一代HCC高性能計(jì)算集群,搭載最新代次的GPU,結(jié)合多重加速的高性能存儲系統(tǒng),加上3.2T超高互聯(lián)帶寬、低延時(shí)的網(wǎng)絡(luò)傳輸,整體性能比過去提升了三倍。

圖片

在大模型訓(xùn)練場景,速度是核心,運(yùn)算速度更快意味著一切繁復(fù)的運(yùn)算和模擬會更快、更準(zhǔn)確。結(jié)合騰訊自研的軟硬件技術(shù),為企業(yè)的AI計(jì)算、高性能計(jì)算需求提供算力底座。

另外,計(jì)算集群越大,產(chǎn)生的額外通信損耗越多。大帶寬、高利用率、信息無損,是算力集群面臨的核心挑戰(zhàn)。

為解決傳輸質(zhì)效的問題,騰訊云通過自研“星脈”高性能網(wǎng)絡(luò),在軟件和硬件層面,如交換機(jī)、通信協(xié)議、通信庫以及運(yùn)營系統(tǒng)等方面,都進(jìn)行了升級和創(chuàng)新,帶來的計(jì)算效果提升也是明顯的。

圖片

“星脈”能夠提升40%的GPU利用率,節(jié)省30%-60%的模型訓(xùn)練成本,為AI大模型帶來10倍的通信性能提升。

另外,目前的大模型都是預(yù)訓(xùn)練模型,對于訓(xùn)練截止日之后發(fā)生的事情一無所知。主要表現(xiàn)為沒有實(shí)時(shí)的數(shù)據(jù),并且缺乏私域數(shù)據(jù)或者企業(yè)數(shù)據(jù)。

而向量數(shù)據(jù)庫作為一種專門用于存儲、管理、查詢、檢索向量的數(shù)據(jù)庫,可以通過存儲最新信息或者企業(yè)數(shù)據(jù)有效彌補(bǔ)了這些不足。

向量數(shù)據(jù)庫和大模型結(jié)合,可以降低企業(yè)訓(xùn)練大模型的成本,提高信息輸出的及時(shí)性和準(zhǔn)確度。最終大模型和向量數(shù)據(jù)庫的結(jié)合,會成為一種通用的呈現(xiàn)形態(tài)或率先在垂直領(lǐng)域體現(xiàn)價(jià)值。

在擴(kuò)展性方面,向量數(shù)據(jù)庫可以輕松地通過添加更多節(jié)點(diǎn)來擴(kuò)展系統(tǒng)性能;在檢索方面,向量數(shù)據(jù)庫能夠?qū)崿F(xiàn)低時(shí)延高并發(fā)檢索;在兼容性方面,向量數(shù)據(jù)庫不僅支持多種類型和格式的向量數(shù)據(jù),還支持多種語言和平臺的接口及工具。

騰訊云向量數(shù)據(jù)庫(Tencent Cloud VectorDB),最高支持業(yè)界領(lǐng)先的10億級向量檢索規(guī)模,并將延遲控制在毫秒級。在大模型預(yù)訓(xùn)練數(shù)據(jù)的分類、去重和清洗上,可以實(shí)現(xiàn)10倍效率提升。

圖片

但僅有硬件遠(yuǎn)遠(yuǎn)不夠,下一代的AI需要在硬件和算法方面都進(jìn)行創(chuàng)新,大模型要想突破至下一站,需要對落地的途徑進(jìn)行重新審視。

2

大模型的中場戰(zhàn)事,產(chǎn)業(yè)化應(yīng)用正提速

從今年3月百度率先發(fā)布語言大模型生成式AI產(chǎn)品“文心一言”后,各大科技互聯(lián)網(wǎng)巨頭紛紛入局,國內(nèi)大模型瞬間遍地開花。包括阿里、華為、商湯科技、科大訊飛、360、騰訊等,紛紛推出各類大模型。

圖片

圖源:來源:ImfoQ發(fā)布的大模型評測報(bào)告

人工智能正在進(jìn)入大規(guī)模落地應(yīng)用關(guān)鍵期。

在IDC近日發(fā)布的《中國人工智能公有云服務(wù)市場份額2022》報(bào)告中,騰訊云憑借其2022年在計(jì)算機(jī)視覺、對話式AI等領(lǐng)域的領(lǐng)先優(yōu)勢,營收增速達(dá)到 124.6%,成為國內(nèi)收入增速最快的公有云廠商。

企業(yè)擁抱大模型的方式和路徑正在重構(gòu),可以預(yù)見,大模型能力落地和核心就是應(yīng)用場景。

此前,騰訊對外表示,其自研的騰訊混元大模型目前已經(jīng)進(jìn)入公司內(nèi)應(yīng)用測試階段。自身的企業(yè)級應(yīng)用已經(jīng)率先基于騰訊自研的混元大模型,針對不同的應(yīng)用場景提供了更智能的服務(wù),也為用戶提高了工作效率。

騰訊云、騰訊廣告、騰訊游戲、騰訊金融科技、騰訊會議、騰訊文檔、微信搜一搜、QQ瀏覽器等多個(gè)騰訊內(nèi)部業(yè)務(wù)和產(chǎn)品,已經(jīng)接入騰訊混元大模型測試并取得初步效果,更多業(yè)務(wù)和應(yīng)用正在逐步接入中。

在行業(yè)落地方面,如何面向廣泛客戶群體的同時(shí),又能給出針對性的解決方案,騰訊云試圖在兩者的特質(zhì)上給出答案。

其打造的大模型一站式服務(wù)平臺MaaS(Model-as-a-Service)內(nèi)置多個(gè)高質(zhì)量行業(yè)大模型,涵蓋金融、傳媒、文旅、政務(wù)、教育等多個(gè)行業(yè)場景。騰訊云TI平臺已經(jīng)全面接入Llama 2、Falcon、Dolly、Vicuna、Bloom、Alpaca等20多個(gè)主流模型。

基于這些基礎(chǔ)模型,騰訊云的客戶只要加入自己的場景數(shù)據(jù),就可以生成契合自身業(yè)務(wù)需要的專屬模型;同時(shí)也可根據(jù)自身業(yè)務(wù)場景需求,適配不同參數(shù)、不同規(guī)格的模型服務(wù)。

具體而言,是基于騰訊云此前發(fā)布的高性能計(jì)算集群HCC、自研星脈計(jì)算網(wǎng)絡(luò)架構(gòu)、向量數(shù)據(jù)庫這些技術(shù)底座,以及包含了數(shù)據(jù)標(biāo)注、數(shù)據(jù)訓(xùn)練、加速組件等在內(nèi)的TI平臺,搭建面向垂類行業(yè)的大模型平臺。垂類行業(yè)企業(yè)在其中進(jìn)行挑選,再針對性進(jìn)行數(shù)據(jù)精調(diào),將其升級為企業(yè)專屬大模型。

在一周后的9月7日,2023騰訊全球數(shù)字生態(tài)大會將在深圳正式開幕,此次大會的主題為“智變加速,產(chǎn)業(yè)煥新”,屆時(shí)大會對云計(jì)算、大數(shù)據(jù)、人工智能、SaaS等核心數(shù)字化工具做出新的進(jìn)展公布,可以看出當(dāng)下騰訊云在各領(lǐng)域的實(shí)踐狀況。

3

寫在最后

一家致力于AI聲音克隆領(lǐng)域創(chuàng)業(yè)者趙子清告訴奇偶派,雖然自己平時(shí)在批量處理一些文件、需要寫一個(gè)簡單的程序時(shí)會使用ChatGPT,但像他這樣頻繁利用GPT的人,其實(shí)僅限于有技術(shù)背景的從業(yè)者,大部分創(chuàng)業(yè)者在大模型問答嘗鮮后活躍度都不高。

根據(jù)調(diào)查,在大模型的創(chuàng)業(yè)公司中,超過80%的從業(yè)者對大模型有著深入的理解和使用經(jīng)驗(yàn),而在普通人群中,僅有不到5%的人了解大模型。對大模型有限的了解,造成了國內(nèi)大模型創(chuàng)業(yè)的局限性。

但與大部分人只知道Chat的情況不同的是,各行各業(yè)中都存在著亟需大模型能力來提升生產(chǎn)力的場景,而利用大模型能力提升效率,是各大廠商追求的目標(biāo),也是未來發(fā)展的方向。

而騰訊也將于一周后為我們展現(xiàn)其在人工智能領(lǐng)域的最新進(jìn)展,究竟有哪些行業(yè)、哪些從業(yè)人員將被大模型從繁雜的工作中“解放”出來,就讓我們一起拭目以待吧。

       原文標(biāo)題 : 大模型發(fā)展到現(xiàn)在,如何才能真正走向生產(chǎn)力?

聲明: 本文由入駐維科號的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報(bào)。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個(gè)字

您提交的評論過于頻繁,請輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號