美國(guó)商務(wù)部長(zhǎng)吉娜·雷蒙多(Gina Raimondo)在2024年1月26日接受路透采訪時(shí)宣布了限制外國(guó)客戶、尤其是中國(guó)客戶使用美國(guó)云計(jì)算廠商的服務(wù)訓(xùn)練AI大模型的計(jì)劃。雷蒙多的原話是：“我們不能允許中國(guó)或者其他我們不希望的玩家使用我們的云服務(wù)訓(xùn)練他們的模型。我們引入了芯片出口禁令，但那些芯片正在被美國(guó)的云計(jì)算數(shù)據(jù)中心使用，所以我們需要考慮關(guān)閉這些渠道，以避免潛在的惡意行為。”（注：原文可參見(jiàn)1月27日的路透社電訊）

毫無(wú)疑問(wèn)，上述舉措把美國(guó)對(duì)華科技制裁推到了一個(gè)新的高度，對(duì)中國(guó)人工智能產(chǎn)業(yè)的潛在破壞力很大。雖然我不是芯片或人工智能方面的專家，但幸運(yùn)的是，我在這些產(chǎn)業(yè)有很多朋友。在得知這個(gè)消息之后，我馬上征詢了他們的看法，學(xué)到了很多東西。他們普遍認(rèn)為，美國(guó)商務(wù)部的新舉措從宏觀角度看是可以理解的，但是為什么要在這個(gè)時(shí)間點(diǎn)推出，就有些耐人尋味了。

過(guò)去一年多，中國(guó)的互聯(lián)網(wǎng)大廠和科技公司自稱在AI大模型領(lǐng)域取得了顯著戰(zhàn)績(jī)，“與OpenAI的差距只有半年到一年”。就在前幾天，周鴻祎還宣稱“去年我們看大模型像原子彈，今年再看大模型像茶葉蛋”——從資本市場(chǎng)炒作的角度看，上述說(shuō)法很有道理（尤其是有利于大股東離婚減持）；從技術(shù)研發(fā)的角度看就完全不是那么一回事了。事實(shí)上，中國(guó)科技行業(yè)對(duì)OpenAI的“趕超”，離不開(kāi)下面三個(gè)因素的幫助：

第一，對(duì)境外開(kāi)源大模型的吸收借鑒。

GPT-3以上的版本是不開(kāi)源的，但是國(guó)外并不缺乏開(kāi)源大模型可供借鑒（抄襲），其中最受歡迎的就是Meta于2023年2月發(fā)布的LlaMA，以及7月發(fā)布的LLaMA2。LLaMA本來(lái)只是有條件地對(duì)學(xué)術(shù)界開(kāi)源，但很快遭到大規(guī)模泄露，Meta索性將其后續(xù)版本做成了全面開(kāi)源。

LLaMA2有三個(gè)公開(kāi)版本，分別擁有70億個(gè)、130億個(gè)和700億個(gè)參數(shù)；Meta還宣布會(huì)在合適的時(shí)候公布更復(fù)雜的版本。雖然LLaMA2還是比不上GPT-4，但是作為一個(gè)借鑒（抄襲）的原點(diǎn)已經(jīng)足夠了。眾所周知，國(guó)內(nèi)一部分創(chuàng)業(yè)公司（名字就不點(diǎn)了）的“自研大模型”就是拿LLaMA2套皮的，就連參數(shù)名稱都懶得改。

第二，通過(guò)租用GPT接口，對(duì)GPT模型參數(shù)進(jìn)行“蒸餾”。

一個(gè)月前，外電報(bào)道稱字節(jié)跳動(dòng)旗下產(chǎn)品疑似因?yàn)檎{(diào)用GPT接口訓(xùn)練自己的大模型而被封號(hào)。其實(shí)這種事情，所有人都在做，圈內(nèi)俗稱“蒸餾”。所謂“蒸餾”，就是反復(fù)與GPT進(jìn)行海量對(duì)話，通過(guò)GPT返回的數(shù)據(jù)對(duì)自己的模型參數(shù)進(jìn)行調(diào)節(jié)；簡(jiǎn)而言之，就是讓GPT幫你訓(xùn)練自己的模型。

只要有足夠的人力、財(cái)力，任何公司都可以通過(guò)先抄LLaMA2、再租用GPT進(jìn)行“蒸餾”的方法，在較短的時(shí)間內(nèi)搞出一個(gè)像模像樣的“自研大模型”，在測(cè)試中的表現(xiàn)甚至真能做到“與OpenAI只差半年到一年”（具體差多少取決于花了多少錢做蒸餾）。很可惜，通過(guò)這種方法搞出來(lái)的大模型永遠(yuǎn)無(wú)法趕超OpenAI，就像在考試時(shí)抄學(xué)霸試卷的學(xué)生永遠(yuǎn)不可能超過(guò)學(xué)霸——對(duì)了，還得小心別被監(jiān)考老師抓住。

第三，租用Azure、AWS等海外云計(jì)算服務(wù)，解決算力瓶頸。

從2022年開(kāi)始，美國(guó)不斷收緊對(duì)華芯片出口禁令。雖然英偉達(dá)多次推出了對(duì)華“特供版”GPU，但是美國(guó)商務(wù)部隨即補(bǔ)上了漏洞，現(xiàn)在可供利用的漏洞已經(jīng)很小了。公允地說(shuō)，哪怕不考慮芯片禁令，中國(guó)公司也很難搶到足夠的GPU，因?yàn)橛�偉達(dá)的高端GPU一直供不應(yīng)求，亞馬遜等北美大廠經(jīng)常是“出了新型號(hào)先搶一萬(wàn)張”，來(lái)自中國(guó)的客戶的優(yōu)先級(jí)肯定不會(huì)太高。

我們知道，AI大模型使用的算力分為“訓(xùn)練”和“推理”兩種，前者要求明顯更高。因此，中國(guó)科技公司普遍采取了“訓(xùn)練與推理分開(kāi)”的模式，把一大塊訓(xùn)練業(yè)務(wù)交給微軟Azure、亞馬遜AWS、谷歌GCP等北美云計(jì)算大廠去做，因?yàn)橹挥兴鼈冇凶銐虻母叨怂懔�；至于推理，則可以全部放在國(guó)內(nèi)（合規(guī)要求也必須在國(guó)內(nèi)），甚至在硬件端搞一些“國(guó)產(chǎn)替代”。這個(gè)玩法，實(shí)際上是變相繞過(guò)芯片禁令，芯片雖然沒(méi)進(jìn)口到中國(guó)，相關(guān)算力卻是中國(guó)公司在使用。美國(guó)監(jiān)管當(dāng)局肯定早已注意到了這里存在的漏洞，只是以前沒(méi)管，現(xiàn)在決定出手管了。

當(dāng)然，美國(guó)商務(wù)部的提議會(huì)不會(huì)訴諸實(shí)踐、合不合法（此處是指美國(guó)的國(guó)內(nèi)法），是值得爭(zhēng)議一番的。不過(guò)在中美科技競(jìng)爭(zhēng)的大背景下，這個(gè)提議得到實(shí)施的概率很大，美國(guó)云計(jì)算廠商的大門(mén)早晚是要對(duì)中國(guó)客戶關(guān)上的。真正需要回答的問(wèn)題有兩個(gè)：

為什么美國(guó)要在這個(gè)時(shí)候推出新的禁令？那些認(rèn)真想趕超GPT的國(guó)內(nèi)廠商，接下來(lái)去哪里找算力？

先說(shuō)第一條。從商業(yè)或科技邏輯講，美國(guó)商務(wù)部在此刻提議新的禁令，有點(diǎn)不太好理解：中國(guó)與美國(guó)在AI大模型方面的差距仍然很大，所謂“大模型從原子彈變成了茶葉蛋”純粹是A股公司大股東為了減持而吹的牛逼，業(yè)內(nèi)人士沒(méi)人相信，美國(guó)人應(yīng)該更不信。允許中國(guó)公司租用美國(guó)云計(jì)算資源，在短期內(nèi)不會(huì)影響硅谷的科技霸權(quán)，反而會(huì)帶來(lái)一筆不菲的收入。芯片禁令對(duì)中國(guó)AI研發(fā)的限制已經(jīng)夠大了，有必要更進(jìn)一步、把事情做絕嗎？微軟、亞馬遜這些云計(jì)算巨頭為什么不阻止美國(guó)商務(wù)部把事情做絕呢？

對(duì)于上面的疑問(wèn)有兩種解釋路徑。一種是政治解釋：今年是大選年，美國(guó)兩黨在互相比較誰(shuí)對(duì)中國(guó)更強(qiáng)硬，“戰(zhàn)場(chǎng)州”的選民普遍對(duì)全球化沒(méi)什么好感，此時(shí)加強(qiáng)對(duì)華科技禁令是一張比較好的牌。至于硅谷科技巨頭，這幾年一直是它們春風(fēng)得意、收入和利潤(rùn)猛增的時(shí)刻，失去一點(diǎn)來(lái)自中國(guó)客戶的云計(jì)算收入應(yīng)該不是大問(wèn)題，沒(méi)人愿意為此事死磕。

另一種則是科技解釋：下一代AI大模型（GPT-5及其競(jìng)爭(zhēng)對(duì)手），需要的訓(xùn)練算力可能會(huì)升級(jí)到“萬(wàn)卡規(guī)模”乃至“N萬(wàn)卡規(guī)模”。因?yàn)樵诂F(xiàn)有基礎(chǔ)上進(jìn)一步提升大模型的能力，必須“大力出奇跡”、從資源規(guī)模上想辦法，就像當(dāng)年的核武器從2萬(wàn)噸量級(jí)飆升到千萬(wàn)噸乃至1億噸一樣。如果中國(guó)公司打算追趕到這一步，那它們對(duì)美國(guó)云計(jì)算資源的需求就會(huì)上升一個(gè)數(shù)量級(jí)；換個(gè)角度講，美國(guó)本土客戶的需求也會(huì)上升一個(gè)數(shù)量級(jí)，導(dǎo)致微軟、亞馬遜手中的高端算力更加供不應(yīng)求。

因此，美國(guó)商務(wù)部此時(shí)提出對(duì)華云計(jì)算服務(wù)禁令，一方面是提前封死中國(guó)公司追趕的道路，另一方面也有助于把寶貴的算力資源留給美國(guó)本土公司使用。在市場(chǎng)經(jīng)濟(jì)環(huán)境下，價(jià)高者得，發(fā)生什么事情很難說(shuō)；所以最佳競(jìng)爭(zhēng)策略是把中國(guó)公司排除在市場(chǎng)經(jīng)濟(jì)之外。微軟、亞馬遜肯定也知道自己手里的算力會(huì)更加精貴、不缺客戶，所以也沒(méi)有動(dòng)力提出反對(duì)。

現(xiàn)在輪到第二個(gè)問(wèn)題：對(duì)于那些真心想追上世界領(lǐng)先水平（而不是炒高股價(jià)、離婚減持）的中國(guó)科技公司而言，接下來(lái)要去哪里找算力呢？答案取決于它們?cè)敢飧冻龆喔叩拇鷥r(jià)，而且不僅是經(jīng)濟(jì)代價(jià)。哪怕美國(guó)商務(wù)部正式頒布并嚴(yán)格執(zhí)行禁令，中國(guó)公司要通過(guò)注冊(cè)海外分支機(jī)構(gòu)、尋找海外合作伙伴的方式去變相購(gòu)買美國(guó)云計(jì)算服務(wù)，應(yīng)該也是有門(mén)路的。問(wèn)題在于一旦被抓，后果可能很嚴(yán)重——永遠(yuǎn)不要低估美國(guó)監(jiān)管者下死手的力度。國(guó)內(nèi)互聯(lián)網(wǎng)大廠多是美國(guó)、香港上市公司，它們有沒(méi)有膽子為了AI大模型冒如此巨大的風(fēng)險(xiǎn)呢？

如果不考慮上述冒險(xiǎn)做法，那就只有立足于發(fā)掘國(guó)內(nèi)算力資源了。目前AI相關(guān)芯片領(lǐng)域所有的“國(guó)產(chǎn)替代”都集中在推理端，因?yàn)橥评硭�需算力要求不高。在�?xùn)練端，全世界都存在對(duì)英偉達(dá)（設(shè)計(jì)）+臺(tái)積電（制造）的替代需求，可是全世界都沒(méi)做到（包括美國(guó)自己的科技大廠）。或許再過(guò)五年、十年，總歸有人能拿出替代方案，但那時(shí)的世界又不一樣了。上文提到過(guò)，目前國(guó)內(nèi)自研AI大模型與GPT的差距還是明顯的，而且GPT自身也在迅速迭代，訓(xùn)練算力的需求一時(shí)半會(huì)是下不來(lái)的。

目前國(guó)內(nèi)的幾家主流大廠（大家都知道是哪幾家），平均每家手頭只有1000-2000張用于通用大模型訓(xùn)練的顯卡，有的多些、有的少些。有人猜測(cè)，某些大廠可能在海外囤積了大批顯卡；不過(guò)考慮到近年來(lái)英偉達(dá)顯卡一直供不應(yīng)求，就算“囤積”了，規(guī)模也不會(huì)太大。即將到來(lái)的GPT-5時(shí)代，可能是一個(gè)“萬(wàn)卡規(guī)模”的時(shí)代，全國(guó)現(xiàn)有的符合要求的顯卡加起來(lái)可能都滿足不了哪怕一個(gè)自研大模型的訓(xùn)練需求。怎么辦？我也很想知道。

附帶說(shuō)一句，在2022年11月ChatGPT橫空出世之前，中國(guó)科技公司囤積英偉達(dá)顯卡的最強(qiáng)動(dòng)力，竟然是為云游戲做準(zhǔn)備——當(dāng)時(shí)很多互聯(lián)網(wǎng)大廠是真心相信云游戲是未來(lái)、而且能迅速兌現(xiàn)的。無(wú)心插柳柳成蔭，云游戲雖然一直沒(méi)起來(lái)，為云游戲準(zhǔn)備的顯卡卻成了中國(guó)AI大模型的救命稻草。

真是令人啼笑皆非：過(guò)去三年，中國(guó)游戲行業(yè)遭受了來(lái)自四面八方的一輪又一輪的抨擊，夾起尾巴做人，在社交媒體上動(dòng)不動(dòng)就能看到“游戲算科技嗎”“游戲有什么技術(shù)含量”的說(shuō)法。現(xiàn)在，居然是游戲行業(yè)要在拯救中國(guó)“硬科技”的過(guò)程中，發(fā)揮舉足輕重的作用。我們所有人都欠游戲行業(yè)一個(gè)感謝。那些一貫輕視、侮辱、詆毀游戲的人，還欠游戲行業(yè)一個(gè)道歉。我等待著他們的道歉，我希望能聽(tīng)到他們的道歉！

       原文標(biāo)題 : 美國(guó)計(jì)劃禁止云計(jì)算廠商為中國(guó)訓(xùn)練AI大模型，我的一點(diǎn)看法