訂閱
糾錯
加入自媒體

留給“端側(cè)大模型”的時間不多了

2024-06-02 11:00
腦極體
關(guān)注

端側(cè)大模型(Edge AI models),也就是只在設(shè)備本地(如智能手機、IoT設(shè)備、嵌入式系統(tǒng)等)運行的大模型,過去一兩年來非常流行。

具體表現(xiàn)在,終端設(shè)備廠商,如蘋果、榮耀、小米、OV等,AI公司如商湯科技,都推出了自研的純端側(cè)大模型。

端側(cè)大模型存在的意義,就是“以小博大”。

簡單來說,和云側(cè)大模型相比,端側(cè)大模型要在本地部署,所以參數(shù)規(guī)模都不大,不用擔心私密數(shù)據(jù)在推理時被泄露;不需要網(wǎng)絡(luò)傳輸,因此響應(yīng)速度更快;設(shè)備原生搭載,不需要租用云資源,用起來更省……

聽起來,端側(cè)大模型簡直是AI設(shè)備不可或缺的標配啊。但實際情況,可能出乎很多人的意料。

圖片

我們在調(diào)研和使用多個終端廠商的大模型時發(fā)現(xiàn),端云協(xié)同、云端大模型,才是大模型在端側(cè)的主流形式。

比如目前很流行的“手機拍照一鍵擦除背景人物”,僅靠端側(cè)大模型的計算能力是無法實現(xiàn)的,需要端云協(xié)同來完成。

再比如公文寫作、長文要點總結(jié)、PDF要點摘要等,端側(cè)大模型要么無法完成,比如榮耀、OPPO端側(cè)大模型都不支持PDF文本摘要,小米MiLM的支持度和生成效果也不夠好。

最終,用戶還是要訪問GPT-4、文心一言、智譜清言、訊飛星火、KIMI等云端大模型的網(wǎng)頁/APP,來滿足一些復雜AIGC任務(wù)需求。

不難看到,端側(cè)大模型聽起來很美,但真正用起來卻有點雞肋。

而隨著云端大模型“變大”(走向統(tǒng)一多模態(tài))又“變小”(壓縮技術(shù)),留給“端側(cè)大模型”的時間,真的不多了。

端側(cè)大模型不是萬能的,但沒有云側(cè)大模型是萬萬不能的

目前來看,“端側(cè)大模型”收益和損失這筆賬,根本算不平。

先說收益,云端大模型比端側(cè)大模型對用戶的價值更大。

端側(cè)AI首先要保障用戶體驗,先有價值,再說其他。只能在設(shè)備本地運行,意味著“端側(cè)大模型”注定不會太大,必然限制了模型本身的性能表現(xiàn),無法媲美云端大模型。

所以,用戶在使用端側(cè)大模型時,要犧牲一部分體驗,那么所獲得的收益是否更大呢?并不是。

云端大模型的能力變得越來越強大,與不得不“因小失大”的端側(cè)大模型,拉開了更大的體驗差距。比如近期OpenAI和谷歌斗得火熱的多模態(tài)大模型,GPT-4o和Gemini帶來令人驚艷的語音交互、多種模態(tài)一次生成等能力,處理圖片、視頻、音頻等數(shù)據(jù)和復雜邏輯,都要在云端運行。

圖片

一位國內(nèi)PC行業(yè)的資深從業(yè)者曾告訴腦極體,大模型出來之后我們硬件企業(yè)就在研究,怎么將大模型跟PC結(jié)合,究竟什么是真正的AI PC?結(jié)論就是,搭載了GPT-4(代指當下最先進大模型)的硬件,確實可以叫“AI xx”,模型能力才是最核心的。

所以,想做好端側(cè)AI,端側(cè)大模型不是萬能的,但沒有云側(cè)大模型是萬萬不能的。

云端大模型不得不用,那端側(cè)大模型也一樣非用不可嗎?這就要來說說損失了。

不用端側(cè)大模型,并不會給用戶帶來更大的麻煩。

此前,終端追求搭載“端側(cè)大模型”,主要受限于兩點:計算瓶頸、安全顧慮。大模型推理對實時性的要求,云端相比本地的時延更高。此外,手機、PC涉及大量隱私數(shù)據(jù),傳輸?shù)皆贫诉M行推理,讓很多人有顧慮。上述兩點“損失”正在被積極地解決。

比如前不久谷歌I/O大會上,就發(fā)布了響應(yīng)速度快、成本低的輕量化模型Gemini 1.5 Flash。谷歌采用了“蒸餾”方法,將較大Gemini 模型的核心知識和技能遷移到了更小、更高效的模型中,Gemini 1.5 Flash在摘要、聊天應(yīng)用、圖像和視頻字幕等多種任務(wù)中,有很好的表現(xiàn),可以在不同平臺運行。

此外,本地計算硬件針對AI任務(wù)進行優(yōu)化,也可以提升云端推理服務(wù)的流暢度。目前x86、Arm陣營都在積極提升端側(cè)計算單元對AI專項任務(wù)的適配度,已經(jīng)有旗艦和高端手機支持實時運行大規(guī)模參數(shù)量的大模型。

數(shù)據(jù)安全層面,終端廠商和大模型企業(yè)都推出了相應(yīng)的隱私安全保護機制,通過“數(shù)據(jù)可用不可見”、脫敏、聯(lián)邦學習等多種手段,防范泄露風險。

圖片

以一貫注重隱私安全的蘋果為例,也自研了端側(cè)模型OpenELM,可在手機和筆記本電腦等設(shè)備上運行,但在真正上線AIGC等能力時,據(jù)說也將選擇與大模型企業(yè)合作(國外據(jù)傳是OpenAI,國內(nèi)據(jù)傳是文心一言)。

綜上,使用“云端大模型”的收益正顯著增大,不用“端側(cè)大模型”的損失卻越來越小。這讓“以小博大”端側(cè)大模型,顯得越來越不劃算了。

接下來的故事也不難預測,隨著越來越多的終端企業(yè),紛紛把云端大模型塞進設(shè)備,純端側(cè)大模型的存在會越來越尷尬,進入到“不好用-不愛用-更不好用”的循環(huán)中。

這端側(cè)大模型,終端廠商是非做不可嗎?

你可能會問了,既然端側(cè)大模型不如云端大模型好用,為什么終端廠商還都在下大力氣做呢?

客觀情況是,大模型必須得有,但終端廠商并不適合做云端大模型,所以端側(cè)、端云協(xié)同就成了必選項。

一位國內(nèi)某終端企業(yè)的負責人曾直言:即使我的研發(fā)費用再翻一倍,也沒法做像ChatGPT、AIGC、Sora這樣的通用大模型,還是會選擇跟百度、騰訊、阿里巴巴等伙伴合作。

比如榮耀正在引導百模千態(tài),在手機中接入文心一言等通用大模型,以及高德地圖、航旅縱橫等行業(yè)大模型;華為在PC中接入了文心一言、訊飛星火、智譜AI的通用大模型,同時上線了基于自研盤古大模型的AI紀要功能……

從主觀角度猜測,終端廠商做端側(cè)大模型,既有品牌方面的考量,彰顯大模型技術(shù)的自研能力,也有“將靈魂握在自己手里”的考慮,類似于銀行、金融機構(gòu)、車企希望將數(shù)據(jù)這一核心優(yōu)勢,掌握在自己手里,打造行業(yè)大模型,而非交給大模型廠商。

圖片

終端廠商,既希望通過合作云端大模型,拔高AI設(shè)備的體驗優(yōu)勢,增強產(chǎn)品對消費者的吸引力,又希望通過自研抓住端側(cè)大模型,守住數(shù)據(jù)護城河,是進可攻、退可守的大模型策略。

我們預計,隨著云端大模型的性能、能力在非線性增長,終端廠商的純端側(cè)大模型,會被拉開越來越大的差距,無法成為消費者的購買決策依據(jù)。

不遠的將來,能否在設(shè)備側(cè)整合優(yōu)質(zhì)云端大模型生態(tài),會成為AI終端設(shè)備的賽點。

總結(jié)一下就是,端側(cè)大模型,終端廠商可以做,但沒必要。云側(cè)大模型,終端廠商必須有,且得比人強。

深度協(xié)作的不只大模型,還有兩類廠商

在一次與華為終端的交流中,對方提到:華為是唯一一個云側(cè)通用大模型、端側(cè)大模型全自研的終端廠商(指盤古大模型),這給AI硬件奠定了很好的基礎(chǔ)。比如要完成一個復雜的AIGC任務(wù),可以拆分為云、端、邊緣等并行訓練,兼顧推理效果、運行速度、數(shù)據(jù)安全等。

需要說明的是,上述思路仍處于概念驗證階段,目前我們還未能在華為終端設(shè)備上體驗到盤古大模型從云到端的深度整合。但這一理念,在邏輯上確實是說得通的——通過端云高效協(xié)同,可以建立起無短板的大模型產(chǎn)品力,打動AI硬件的潛在消費者,而這離不開終端廠商和通用大模型廠商的深度合作。

端側(cè)大模型和云側(cè)通用大模型全自有的終端企業(yè),確實具備緊密融合的先天優(yōu)勢,不過,其他廠商也可以通過開放生態(tài)補足,形成一個更全面的AGI模型生態(tài)。

這對雙方來說,是一件互利共贏的事情:

圖片

通用大模型廠商,需要借助終端廠商的龐大設(shè)備生態(tài),作為大模型落地的土壤,回收基座模型的龐大投入。借助端側(cè)的設(shè)備數(shù)據(jù),更好地解決大模型的幻覺問題,推動模型進化。

而終端廠商,需要通用大模型(尤其是尖端版本的云端大模型)作為體驗支撐,為用戶提供最先進的AIGC應(yīng)用和體驗,避免在基座模型上投入太高的研發(fā)成本,也避免在AI體驗上被其他終端廠商拉大。

在此基礎(chǔ)上,終端廠商和云端通用大模型廠商還要抓緊解決的重點問題:

安全問題。如何在保證隱私數(shù)據(jù)的基礎(chǔ)上,學習設(shè)備數(shù)據(jù),明確數(shù)據(jù)權(quán)益與責任歸屬,對數(shù)據(jù)產(chǎn)生的商業(yè)收益建立合理的分配機制。

開發(fā)者分利政策。無論是手機的AI應(yīng)用,還是云端大模型的AI應(yīng)用,都需要開發(fā)者來完成。終端開發(fā)者生態(tài)和大模型開發(fā)者生態(tài)的進一步打通,也會增加對開發(fā)者的吸引力,加速AI應(yīng)用的孵化。那么,如何共同賦能并分利給開發(fā)者,將成為兩類廠商合作與博弈的關(guān)鍵。

今年上半年,我們見證了通用大模型的諸多突破,留給端側(cè)大模型的時間已經(jīng)不多了,留給終端廠商構(gòu)建大模型共同體生態(tài)的機會窗口期,也并不會太久。

下半年,我們或?qū)⒁娮C一場“終端廠商+大模型廠商”攜手的“陣營戰(zhàn)”。

       原文標題 : 留給“端側(cè)大模型”的時間不多了

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯
x
*文字標題:
*糾錯內(nèi)容:
聯(lián)系郵箱:
*驗 證 碼:

粵公網(wǎng)安備 44030502002758號