本地AI的門檻到底有多低？

如果說2023年是大家公認(rèn)的AI元年，那么2024年很可能就是AI大模型普及的關(guān)鍵一年。  

在這一年里，大量的AI大模型、大量的AI應(yīng)用問世，Meta、Google等廠商也開始面向民眾推出自己的在線/本地大模型，似乎“AI人工智能”瞬間從一個遙不可及的概念，就這么突然來到了人們身邊。  

現(xiàn)在大家在生活中多多少少都接觸過AI了，可如果你仔細(xì)分辨，你會發(fā)現(xiàn)，你所能接觸到的各種AI應(yīng)用，他們幾乎都部署在“云端”上。如果想要搭建一臺本地運(yùn)行大模型的設(shè)備，那起碼都是售價在5000元以上的全新AIPC，對于普通消費(fèi)者來說似乎并不友好。  

     （圖源：Google）      

不過將預(yù)算壓縮到極致，然后搭配出一套「能用」的主機(jī)，正是每一位DIY玩家的終極樂趣。而現(xiàn)在的問題是，如果真的想弄一臺可以本地運(yùn)行大語音模型的電腦，到底需要多少錢？  

我的預(yù)算是——300元。  

盡管近期正經(jīng)的內(nèi)存/存儲產(chǎn)品有價格上漲的趨勢，但是在洋垃圾這邊其實(shí)價格變化倒是不大，甚至一批早年的洋垃圾CPU和礦卡GPU還有價格下跌的趨勢。在如今AI大潮席卷而來的背景下，我甚至不準(zhǔn)備拘泥于辦公影音需求，決定挑戰(zhàn)一下用三百塊錢的預(yù)算，試著去打造出一套性價比頗高的入門級本地大模型主機(jī)。  

至于具體應(yīng)該怎么操作，最終成效是否如意，跟著我一起看下去自然就知道了。

 經(jīng)典的老CPU，礦工級的GPU 

在CPU的選擇上，我直接從閑魚上撿了一顆Intel® Core™i3-4170T。  

該處理器為二核四線程，3.2GHz主頻，沒有睿頻能力，具備3MB智能緩存，采用22nm制程工藝的Haswell架構(gòu)，最大的特點(diǎn)就是擁有一顆HD4400核顯，這也是我選擇它的關(guān)鍵。                                                                                                          

     （圖源：雷科技）     

俗話說得好，低價U配低價板嘛，主板我選的就是一塊華碩工包H81M-V3主板，只有兩根DDR3內(nèi)存插槽不說，甚至都沒有HDMI輸出接口，也沒有M2硬盤位，USB 3.0、SATA III接口都只有兩個，這玩意最大的優(yōu)勢就是超級低的二手價格。

這加起來不到80的板U套裝，性價比放在今時今日也是出類拔萃的。

     （圖源：淘寶）      

這種CPU，散熱就不用太擔(dān)心了。

閑魚20包郵寄過來的下壓式風(fēng)冷散熱，雖然外觀上是丑了一點(diǎn)，簡陋了一點(diǎn)，但是用來壓我這一套超低價配置肯定是綽綽有余了。

     （圖源：雷科技）      

至于顯卡嘛，近期閑魚上面流出了一大堆P106-090/P106-100礦卡，其中前者的價格普遍在75塊錢左右，后者的價格普遍在120塊錢左右，考慮到我這次的初衷并不是為了游戲而來，我最終直接選擇了一張索泰P106-090礦卡，這卡因?yàn)閹�寬問題并不適合游戲，但價格就擺在這里。 

最后，給它簡單配上兩根雜牌DDR3內(nèi)存，組成內(nèi)存雙通道，用一個350W長城電源供電，一塊120GB SATA SSD做系統(tǒng)盤，用上次裝機(jī)剩下來的大水牛硅脂湊合湊合，最后再配上個20塊錢的電腦城小機(jī)箱，我們?nèi)�百元裝機(jī)的基礎(chǔ)硬件就到齊了。

      （圖源：雷科技）      

不服跑個分！還算合理的性能表現(xiàn)

裝機(jī)完成，點(diǎn)亮機(jī)箱！

先做個簡單的性能測試，作為多年服役的老將，Intel® Core™i3-4170T的性能也就那樣，即便是在用TrottlesStop解鎖功耗的情況下，也就差不多相當(dāng)于移動端酷睿六代、酷睿七代處理器的水平。

（圖源：雷科技）

在實(shí)測環(huán)節(jié)中，CPU-Z測試單核跑分有319.9分，多核跑分有881.0分，在CINEBENCH測試標(biāo)準(zhǔn)下，CINEBENCH R20多核732cb、單核301cb。這成績當(dāng)然算不上亮眼，但是拿來日常辦公、輕度娛樂倒是完全足夠。

（圖源：雷科技） 

再看看GPU部分，我們手上這張索泰P106-090采用16nm工藝打造，顯卡核心為GP106，核心頻率為1354MHz，可提升到1531MHz，具有768個著色單元，支持DirectX12，顯存規(guī)格為3072MB/192Bit三星GDDR5內(nèi)存，顯存頻率可達(dá)2002MHz。

（圖源：雷科技） 

值得注意的是，P106-090的接口是PCI-E x4 1.1，而P106-100的接口是PCI-E x16 1.1，這導(dǎo)致二者即便是在相同核心的情況下，依然存在著比較明顯的性能差異，我選擇P106-090這張顯卡，也僅僅是因?yàn)樗�能在極低的價格下提供CUDA算力的加持罷了。

如圖所示，在測評DX11性能的Fire Strike測試中，P106-90在Extreme測試中取得了3287分的圖形分?jǐn)?shù)；在測評DX12性能的Time Spy測試中，P106-90在基本測試中取得了2251分的圖形分?jǐn)?shù)，這個性能表現(xiàn)和GTX1050差不多，較R5-7640H的核顯性能有一定差距。

（圖源：雷科技） 

存儲方面，我們斥資40元購入的這塊雜牌128GB Sata SSD硬盤，順序讀寫速度達(dá)到505.28MB/s和400.09MB/s，隨機(jī)4K讀寫達(dá)到132.35MB/s和244.29MB/s，盡管和M2 SSD硬盤沒得比，但是作為系統(tǒng)啟動盤肯定是綽綽有余了。

（圖源：雷科技） 

至于這對雙通道的DDR3內(nèi)存，使用AIDA64進(jìn)行內(nèi)存緩存測試，測得的讀取速度為20894 MB/s，寫入速度為23629 MB/s，復(fù)制速度為20901 MB/s，延遲為67.5ns，給這臺電腦用可以說是剛剛好。

（圖源：雷科技）

 大模型游戲，居然都能跑

既然目的是在幾百塊錢的預(yù)算下，打造出一套可用的本地大模型游戲主機(jī)，那么實(shí)際體驗(yàn)肯定是我們最關(guān)注的一環(huán)。

先嘗試一下Koblodcpp，這是一款整合Koblod.AI界面的llamacpp啟動程序，可以運(yùn)行目前外網(wǎng)流行的GGUF格式本地大模型，甚至可以整合語音大模型和繪圖大模型，實(shí)現(xiàn)在對話的同時，生成語音和對應(yīng)場景的效果。

（圖源：雷科技） 

遺憾的是，目前在Huggingface上面共享的GGUF格式大模型，其容量大小普遍超過了3GB，即便選用容量大小只有5GB左右的causallm_7b模型，依然會導(dǎo)致顯卡顯存溢出引發(fā)CPU的運(yùn)算介入，最終導(dǎo)致整個大模型的運(yùn)行效率降低。

（圖源：雷科技） 

姑且測試一下，在這種模式下，Kobold.AI的回復(fù)最長達(dá)到了599s（即10分鐘）左右，最短的回復(fù)也需要50s來生成左右，和云端大模型平均10s就能提供回復(fù)的效果相差甚遠(yuǎn)，體驗(yàn)確實(shí)很一般。

既然如此，我們不妨退而求其次，用英特爾AIGC助手來體驗(yàn)本地大模型，這是一個集成了多種本地大語言模型的演示Demo，致力于在不連接網(wǎng)絡(luò)的情況下，實(shí)現(xiàn)智能人機(jī)對話。

在關(guān)閉電腦網(wǎng)絡(luò)的情況下，除開首次部署大模型時需要一定時間外，后續(xù)的提問基本上在5秒內(nèi)都能獲得答復(fù)，不管是回答問題、翻譯還是寫作都非常迅速，雖然在應(yīng)對一些腦筋急轉(zhuǎn)彎或者算術(shù)題時依然會出現(xiàn)邏輯錯誤，但是在這種情況下的整體體驗(yàn)可比之前強(qiáng)太多了。

     （圖源：雷科技）      

當(dāng)然，角色卡、提示詞這些比較高級的功能就肯定用不了了。

再看看AI繪畫，我這里使用的是bilibili UP主@整合的繪世啟動器，集Stablediffsion WebUI、各種SD插件下載和模型遠(yuǎn)程使用于一體，算是個相當(dāng)實(shí)用的一體啟動器。

     （圖源：雷科技）      

考慮到P106-90僅有3GB的運(yùn)存限制，我選擇了經(jīng)過剪裁后容量僅為2GB的mistoonAnime MIX_v20模型，實(shí)測P106-90生成4張128*160的圖片耗時約三分鐘，生成4張240*320的圖片耗時七到八分鐘，而生成1張512*512的圖片則需要六分鐘左右。

（圖源：雷科技） 

從實(shí)際體驗(yàn)來看，個人建議在減少提示詞和插件的情況下，從128*160的圖片開始生成，遇到了合適的圖片再進(jìn)行單張圖片的AI升格重繪，這樣整體的體驗(yàn)還是挺不錯的，否則用512*512的規(guī)格生成圖片，廢圖概率不是一般的高。

（圖源：雷科技，用SD生成的圖片） 

既然本地大模型算是能用，那么游戲體驗(yàn)又怎么樣呢？

考慮到實(shí)際硬件配置，我們先后測試了《孤島驚魂6》《古墓麗影：暗影》《F1 2020》以及《地平 線：零之黎明》四款游戲在FHD分辨率下的體驗(yàn)，讓我們來看看各自的表現(xiàn)。

在《孤島驚魂6》的性能測試中，在1920*1080最低畫質(zhì)下，這臺電腦的平均幀數(shù)為32fps，即便開啟FSR性能檔，最終游戲幀數(shù)也只能在40fps上下波動。

（圖源：雷科技） 

再看看賽車游戲，在《F1 2020》中，我們開啟1920*1080中畫質(zhì)，進(jìn)行澳大利亞賽道的晴天測試，最終平均幀率可以達(dá)到59fps，即便是這張多次服役的礦卡也能流暢運(yùn)行。

（圖源：雷科技）

作為標(biāo)準(zhǔn)測試游戲，《古墓麗影：暗影》自然沒有錯過這次測試。在沒有開啟FSR、默認(rèn)1920*1080最低畫質(zhì)下，這臺電腦運(yùn)行游戲基準(zhǔn)測試的平均幀數(shù)為50fps，算是這一批3A游戲里最接近穩(wěn)定60幀的游戲體驗(yàn)。

（圖源：雷科技） 

最后來個硬茬，《地平線：零之黎明》，因?yàn)樽畹彤嬞|(zhì)也會爆顯存的緣故，這臺電腦在1280*720最低畫質(zhì)下，才能勉強(qiáng)達(dá)到30fps的及格線，只能說不適合游玩了。

（圖源：雷科技） 

總的來說，受到嚴(yán)苛的帶寬限制影響，P106-090的實(shí)際性能并不如和它跑分相近的GTX1050，最多就是比Iris Xe 96EU核顯略強(qiáng)一些的水平，應(yīng)付近些年的3A游戲已經(jīng)有些捉襟見肘了。

 總結(jié)：確實(shí)能跑大模型，但穩(wěn)定性欠佳

優(yōu)點(diǎn)：

1、成本預(yù)算低廉；

2、確實(shí)能運(yùn)行本地大模型。

缺點(diǎn)：

1、二手零部件無保障；

2、礦卡驅(qū)動非常容易掉，白屏問題時有發(fā)生。

這款預(yù)算300元的電腦主機(jī)能用嗎？ 

盡管CPU規(guī)格老舊、礦卡表現(xiàn)不穩(wěn)定，但是這款預(yù)算300元的電腦主機(jī)確實(shí)能完成本地大模型的部署，在文本生成和AI繪圖的體驗(yàn)上都沒有什么問題，你甚至也能把它當(dāng)成一臺AI PC。

即便運(yùn)行《孤島驚魂6》這樣的3A大作，這款機(jī)子也能在FHD低畫質(zhì)下保證60幀穩(wěn)定運(yùn)行，那么應(yīng)付《英雄聯(lián)盟》這類網(wǎng)游應(yīng)該是綽綽有余的，也可以當(dāng)一臺入門的網(wǎng)游主機(jī)來用。

（圖源：雷科技） 

那么我對這款電腦主機(jī)感到滿意嗎？

答案是否定的，在實(shí)際使用的過程中，P106-90這張礦卡多次出現(xiàn)掉驅(qū)動導(dǎo)致電腦白屏，需要用DDDU卸載驅(qū)動再重裝的情況。如果說這放在測試?yán)镞�只是有點(diǎn)麻煩的話，那么放在日常使用中肯定是很難讓人接受的。

值得注意的是，目前閑魚上面還有不少和我組裝起來的這臺機(jī)子配置類似的洋垃圾整機(jī)，售價普遍在350-400元左右，目標(biāo)受眾很明顯是剛上大學(xué)或者走出社會的年輕群體，個人建議大伙別去購買這些產(chǎn)品，一分錢一分貨可不是開玩笑的。

歸根結(jié)底，撿垃圾有風(fēng)險，上車前需謹(jǐn)慎。對于玩膩了高端電腦的玩家來說，偶爾玩玩撿垃圾主機(jī)還是很有意思的，但這只是為了樂子，并不是真的打算將其作為主力機(jī)長期使用，畢竟撿垃圾主機(jī)的配件年久失修且沒有質(zhì)保，萬一因?yàn)樗�的故障而丟失了重要數(shù)據(jù)，那就得不償失了。

不過，通過用三百塊預(yù)算完成能運(yùn)行本地大模型PC的嘗試，一定程度上說明，硬件性能可能不是制約AI PC發(fā)展的主要因素。至少在普通消費(fèi)者的使用場景中，相比起算力提升，PC廠商更該做的應(yīng)該是幫助用戶搭建好AI大模型的框架和環(huán)境，在系統(tǒng)和軟件上給用戶帶來更好的體驗(yàn)。換句話說，AI PC應(yīng)該是用戶拿到手就能用的，而不是像我們自己組裝DIY PC這般折騰。

來源：雷科技

       原文標(biāo)題 : 我花300塊組裝的電腦，成功跑通了本地大模型