解決了算力之困后，端側(cè)大模型將有可能最先引爆本輪AI革命的盈利點(diǎn)。

算力和數(shù)據(jù)的天花板，決定了本輪的AI熱潮究竟能走多遠(yuǎn)。

但不幸的是，對(duì)國內(nèi)而言，其中的算力天花板，離“到頂”已經(jīng)越來越近。

就在8月初，美簽署最新行政令，禁止美國對(duì)中國計(jì)算機(jī)芯片等敏感技術(shù)進(jìn)行一些新投資，重點(diǎn)將在限制美國資本對(duì)于中國半導(dǎo)體設(shè)計(jì)軟件和制造硬件的投資。

此消息一出，不少人頓感：國內(nèi)算力危矣！

而機(jī)警的大廠，也開始了各自未雨綢繆的準(zhǔn)備。

《金融時(shí)報(bào)》的一篇報(bào)道稱，國內(nèi)包括阿里、字節(jié)在內(nèi)的科技巨頭，已經(jīng)訂購50億美元的英偉達(dá)的A800芯片，來面對(duì)訓(xùn)練大語言模型需要的算力挑戰(zhàn)。

按照此前媒體報(bào)道，目前中國企業(yè)GPU芯片持有量超過1萬枚的不超過5家，擁有1萬枚A100的至多1家。

那么，在愈發(fā)緊張的算力之下，中國AI的前途、命運(yùn)將如何發(fā)展？

短期來看，算力之困對(duì)于業(yè)內(nèi)，似乎是個(gè)無解的問題。然而，技術(shù)的發(fā)展，有時(shí)就像生物的進(jìn)化，當(dāng)一種技術(shù)在面臨“生存挑戰(zhàn)”時(shí)，也會(huì)由于選擇壓力而發(fā)生一系列的突變。

而對(duì)國內(nèi)而言，這樣的突變方向，也許就是分散于各個(gè)終端里的端側(cè)大模型。

01 端側(cè)大模型，如何解算力之困？

端側(cè)大模型的發(fā)展，對(duì)國內(nèi)算力突圍有著怎樣的意義？這還得從目前云計(jì)算的需求說起。

當(dāng)下，面對(duì)大模型高昂的算力成本，許多致力于涉足AI領(lǐng)域，但卻算力匱乏的企業(yè)，往往都選擇了租用云算力的方式，來滿足訓(xùn)練需求。

在此背景下，昇騰AI集群這樣的云服務(wù)平臺(tái)也趁勢而起，成為了孵化國內(nèi)各個(gè)大模型的“母工廠”。

然而，即使是云計(jì)算本身，也需要大量的GPU支撐。

如果云服務(wù)商無法獲取足夠的GPU資源，那么它們也無法為國內(nèi)AI企業(yè)提供高效、可靠的云計(jì)算服務(wù)。

而端側(cè)AI最重要的意義，就在于分擔(dān)了目前國內(nèi)云計(jì)算的壓力。

倘若我們將十幾億分散的智能手機(jī)，當(dāng)成了一個(gè)個(gè)潛在的、擁有大量閑置算力的移動(dòng)計(jì)算單元，那么部署在手機(jī)中的端側(cè)AI，就能在這些設(shè)備閑置時(shí)間里，將這些碎片化、分布式算力利用起來，產(chǎn)生頗為可觀的規(guī)模效應(yīng)。

鴻蒙4中出現(xiàn)的手機(jī)大模型

具體來說，聯(lián)邦計(jì)算，就是這樣為人熟知的分布式計(jì)算方式之一。

所謂聯(lián)邦計(jì)算，簡而言之，就是在數(shù)據(jù)源（例如用戶設(shè)備）上進(jìn)行模型的局部訓(xùn)練，然后將這些局部模型的參數(shù)或更新聚合到中央服務(wù)器上，形成一個(gè)“全局模型”。

相比于集中式的訓(xùn)練，這種分布式的方式可以更好地利用各個(gè)設(shè)備的計(jì)算能力，降低中央服務(wù)器的算力需求。

在這樣的過程中，依靠終端設(shè)備（例如手機(jī)）的龐大數(shù)量規(guī)模，每個(gè)“全局模型”的訓(xùn)練成本，在無意中便被不斷攤薄了。

因?yàn)槊總�(gè)“小模型”的訓(xùn)練只需要消耗端側(cè)設(shè)備的計(jì)算資源，而不需要傳輸大量的原始數(shù)據(jù)到云端。這樣，就可以節(jié)省網(wǎng)絡(luò)帶寬和云端存儲(chǔ)空間，也可以減少云端服務(wù)器的計(jì)算壓力。

更重要的是，與云端GPU這類高成本的訓(xùn)練方式相比，由于端側(cè)AI芯片往往是針對(duì)特定的AI應(yīng)用和算法，進(jìn)行優(yōu)化和定制，因此其往往有著相對(duì)更明確的“回血”途徑。

例如，前段時(shí)間，爆火的妙鴨相機(jī)，大家應(yīng)該都聽說了。在其最受追捧的初期，成千上萬的用戶涌進(jìn)應(yīng)用中，高峰期一度有4000-5000人排隊(duì)，需要等待10多個(gè)小時(shí)才能出片。

之后，是阿里云進(jìn)行了緊急擴(kuò)容，才勉強(qiáng)應(yīng)對(duì)了這暴漲數(shù)百倍的算力需求。

但倘若用戶不用在云端等待，而是直接在本地，或者通過端云協(xié)同的方式，就能實(shí)現(xiàn)這樣的生成效果呢？

一種可能的方式，是先在端側(cè)生成低分辨率的圖片，之后再上傳到云端，用較少的資源對(duì)圖片進(jìn)行清晰化處理。

如此一來，既降低了云端算力的負(fù)擔(dān)，又在一定程度上保障了生成的質(zhì)量、效率。

在當(dāng)下的AI應(yīng)用開發(fā)中，開發(fā)者不僅需要支付云端大模型API接口的成本，還得自己租用服務(wù)器，保證密鑰安全。

如果是文字生成類AI，文字量大的話，相應(yīng)的token也是一筆不小的開支。

而隨著算力門檻的降低，眾多AI應(yīng)用的開發(fā)者，將不再被云端算力的成本所縛，而只需調(diào)用端側(cè)大模型提供的開放API，就可以快速開發(fā)各類AI應(yīng)用。

在此基礎(chǔ)上，一個(gè)開放的、多樣化的AI應(yīng)用生態(tài)，就隨著端側(cè)大模型的普及，而應(yīng)運(yùn)而生了。

02 以“偏”補(bǔ)“全”的端側(cè)芯片

AI應(yīng)用井噴的時(shí)代似乎近在眼前，但要想讓每臺(tái)手機(jī)都標(biāo)配一個(gè)大模型，前面還有道難以回避的門檻——硬件基礎(chǔ)。

由于芯片架構(gòu)不同，在端側(cè)部署時(shí)，往往需要對(duì)模型網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行一通修改才能勉強(qiáng)“上車”。

具體來說，目前GPT這類主流AI所使用的Transformer架構(gòu)，往往部署于云端服務(wù)器。

這是因?yàn)镚PU對(duì)于MHA結(jié)構(gòu)（Transformer中的多頭注意力機(jī)制）計(jì)算支持更友好。而端側(cè)AI的芯片，則主要側(cè)重于CNN（卷積神經(jīng)網(wǎng)絡(luò)）的結(jié)構(gòu)。

如果將前者強(qiáng)行轉(zhuǎn)移到端側(cè)，帶來的一個(gè)明顯問題，就是模型精度下降。

那么有沒有什么辦法，能讓大模型在進(jìn)行端側(cè)化改造的同時(shí)，仍能保證其精度呢？

愛芯元智推出的端側(cè)芯片AX650N，似乎提供了一個(gè)可能的路線。

AX650N芯片擁有自研混合精度NPU和愛芯智眸AI-ISP兩大核心技術(shù)，其對(duì)Transformer結(jié)構(gòu)的網(wǎng)絡(luò)進(jìn)行了專門的優(yōu)化，在其NPU中增加了專門用于自注意力計(jì)算的單元，可以大幅提升Transformer網(wǎng)絡(luò)的運(yùn)行速度和準(zhǔn)確率。

憑借著這類針對(duì)端側(cè)的優(yōu)化技術(shù)，AX650N已經(jīng)做到了在端側(cè)部署原版Swin Transformer只需要5分鐘，而跑起私有模型，只要1個(gè)小時(shí)就能搞定。

但盡管如此，受限于架構(gòu)和內(nèi)存，這樣的優(yōu)化，僅僅只是針對(duì)視覺大模型方向而言的，因?yàn)閺挠布�算力上來說，端側(cè)AI芯片，始終難以做到GPU芯片那樣“面面俱到”的通用性、兼容性。

既然如此，國內(nèi)的大模型之困，是否就指望不上它了？

其實(shí)不然，從量的角度來講，邊緣側(cè)、端側(cè)的需求一定比云側(cè)更大，畢竟邊緣側(cè)、端側(cè)設(shè)備會(huì)更多。

而在這眾多的需求中，只要使用了大模型的終端（如手機(jī)、智能音箱），能做到兩點(diǎn)，那么國內(nèi)大模型在應(yīng)用層，就有盤活的可能。

其中第一點(diǎn)，就是夠降低人們獲取信息、知識(shí)的成本。

倘若以后人們打開手機(jī)或者其他終端，就能獲得一個(gè)諸如私人醫(yī)生和律師、廚師的AI助理，能為我們提供成本低廉、快速的咨詢服務(wù)，那么人們就會(huì)對(duì)其產(chǎn)生依賴。

因?yàn)閺男袨閷W(xué)上來說，人總歸是有惰性的。

雖然目前的某些律所，也能為人們提供免費(fèi)的咨詢服務(wù)，但這其中卻包含了無形的時(shí)間成本、溝通成本。

正如互聯(lián)網(wǎng)出現(xiàn)后，雖然人們?nèi)阅芡ㄟ^紙制地圖進(jìn)行導(dǎo)航，但大部分人卻再也離不開手機(jī)上的定位功能一樣。

從某種程度上說，壓縮了各種知識(shí)、智能的端側(cè)模型，將會(huì)重復(fù)這一過程。

第二點(diǎn)，則是個(gè)性化功能的普及。

在“前AI時(shí)代”，個(gè)性化定制的大規(guī)模推廣，是一件不可想象的事。

在沒有AI技術(shù)支持的情況下，實(shí)現(xiàn)個(gè)性化定制通常需要大量的人力和時(shí)間投入。為每個(gè)用戶提供個(gè)性化的產(chǎn)品或服務(wù)，往往需要大量的人工處理。

然而，隨著本輪AI革命的到來，人們已經(jīng)在應(yīng)用層，看到了AI用于個(gè)性化、定制化服務(wù)的可能。

例如character.Ai一類的應(yīng)用，支持用戶根據(jù)自己的需求、偏好，量身定制一個(gè)“AI伴侶”。

試想一下，倘若這樣的定制化服務(wù)進(jìn)入到了端側(cè)，端側(cè)大模型就能不斷收集用戶數(shù)據(jù)，再進(jìn)行反饋、訓(xùn)練，并最終打造出一個(gè)獨(dú)一無二的、貼身的AI助手。

而這樣量身定制的體驗(yàn)，顯然比大規(guī)模的標(biāo)準(zhǔn)化服務(wù)，更具吸引力。

03 總結(jié)

盡管在模型規(guī)模、性能等方面，端側(cè)大模型目前還遠(yuǎn)無法與云端大模型相比，但分布式的算力格局，以及龐大的規(guī)模效應(yīng)，都將大大降低目前國內(nèi)云端算力的負(fù)擔(dān)。

而在算力成本降低之后，大量基于API接口的AI應(yīng)用，也得以通過一個(gè)個(gè)部署在本地的端側(cè)大模型不斷涌現(xiàn)。

在應(yīng)用大爆發(fā)的背景下，一些捕捉到先機(jī)的應(yīng)用，就會(huì)基于端側(cè)大模型實(shí)時(shí)響應(yīng)、個(gè)性化定制的功能，引爆本輪AI革命真正的盈利點(diǎn)。

而這，正是無數(shù)人在這股AI浪潮中苦苦追尋的。

       原文標(biāo)題 : 端側(cè)AI，如何化解國內(nèi)算力之困？