訂閱
糾錯(cuò)
加入自媒體

谷歌內(nèi)部深度揭秘TPU3.0技術(shù)

作為世界領(lǐng)先的技術(shù)領(lǐng)先公司之一,谷歌推出了高速定制機(jī)器學(xué)習(xí)芯片Tensor Processing Units(TPU),從而提高了標(biāo)準(zhǔn)。這些芯片最初是在2016年5月由該公司進(jìn)行的 I/O 開發(fā)者大會上推出的。

但谷歌對TPU的了解并不多,原因很明顯。然而,該公司最近發(fā)布了一篇文章,其中包含對TPU的深入分析。您可以閱讀該論文以獲得詳細(xì)摘要。在這篇博客中,我們將向您展示Google揭示的芯片的主要亮點(diǎn)。

什么是TPU?

Tensor Processing Units或TPU是由Google設(shè)計(jì)的定制機(jī)器學(xué)習(xí)芯片,用于成功執(zhí)行其常規(guī)機(jī)器學(xué)習(xí)工作負(fù)載。谷歌現(xiàn)在正致力于實(shí)施這些TPU,而不是使用CPU,GPU和兩者的組合,據(jù)稱這些TPU比標(biāo)準(zhǔn)CPU和GPU快15-30倍。此外,在功耗方面,這些芯片的TeraOps /瓦特高出30到80倍。

發(fā)展歷史

谷歌透露,該公司并不知道公司的額外硬件資源可以像TPU一樣有用和強(qiáng)大。早在2006年,該公司就開始尋找新的方法來有效利用其過多的硬件資源,包括GPU,F(xiàn)PGA芯片和ASIC。在未來幾年內(nèi),Google Datacenters進(jìn)行了大量實(shí)驗(yàn)。但是,主要的轉(zhuǎn)變發(fā)生在2013年,當(dāng)時(shí)DNN越來越受歡迎,并且在未來幾年它應(yīng)該會更大。

谷歌推斷,如果發(fā)生這種情況,公司可用的硬件資源將不足以滿足增強(qiáng)的計(jì)算要求。就在那時(shí),公司開始著手一個(gè)高優(yōu)先級項(xiàng)目,設(shè)計(jì)一系列定制ASIC芯片,以更低的功耗和更快的速度處理更多的任務(wù)。這些定制ASIC芯片被谷歌稱為“Tensor Processing Units”。

TPU芯片旨在用于處理其內(nèi)部操作,以便通過先進(jìn)的機(jī)器學(xué)習(xí)算法為用戶改進(jìn)其云平臺。雖然谷歌目前不太可能在其自己的云平臺之外推出TPU,但它確實(shí)展示了通向世界的道路并為新發(fā)明鋪平了道路。

TPU 3.0與Edge TPU

2016年5月的谷歌I/O大會,谷歌首次公布了自主設(shè)計(jì)的TPU,2017年谷歌I/O大會,谷歌宣布正式推出第二代TPU處理器,在今年的Google I/0 2018大會上,谷歌發(fā)布了新一代TPU處理器——TPU 3.0。TPU 3.0的性能相比目前的TPU 2.0有8倍提升。

之后谷歌又發(fā)布了 Edge TPU 芯片搶攻邊緣計(jì)算市場。雖然都是 TPU,但邊緣計(jì)算用的版本與訓(xùn)練機(jī)器學(xué)習(xí)的 Cloud TPU 不同,是專門用來處理AI預(yù)測部分的微型芯片。Edge TPU可以自己運(yùn)行計(jì)算,而不需要與多臺強(qiáng)大計(jì)算機(jī)相連,因此應(yīng)用程序可以更快、更可靠地工作。它們可以在傳感器或網(wǎng)關(guān)設(shè)備中與標(biāo)準(zhǔn)芯片或微控制器共同處理AI工作。

Google在I/O大會上發(fā)布了TPU3,雖然目前詳細(xì)信息不多,但下面幾點(diǎn)還是值得討論:8倍性能;快速迭代;云服務(wù)和Benchmark。TPU3到底哪里厲害?

一個(gè)TPU3 pod的總處理能力100 PFLOPS是TPU2 pod的8倍。從下圖我們可以看一下TPU3 pod和TPU2 pod的對比。

TPU2的一個(gè)pod包括4個(gè)rack,兩個(gè)CPU rack(左右兩邊),兩個(gè)TPU rack(中間兩個(gè))。每個(gè)rack有32個(gè)computing unit (板卡),每個(gè)TPU板卡有4顆TPU芯片。因此一個(gè)pod總共有64 x 4顆TPU2芯片。每顆TPU2芯片的處理能力是45TFLOPS,因此一個(gè)pod總的處理能力是45 x 4 x 64 = 11.5 PFLOPS。

對比來看,TPU3的板卡仍然包括4顆芯片。但目測TPU3 pod的rack數(shù)量和板卡的密度(這個(gè)看的不是很清楚)和TPU2相比都增加了一倍。因此,一個(gè)pod中的TPU3芯片的數(shù)量應(yīng)該是之前4倍。如果pod的總處理能力是TPU2的8倍,那么TPU3單芯片的處理能力則為TPU2的2倍。

根據(jù)Google的說法,這次他們第一次在Data center采用水冷的散熱方式,這可能和芯片功耗以及板卡密度增加有關(guān)系。

總得來說,如上圖所描述(來自Google I/O大會的talk:Effective Machine Learning with Google TPU,可以在YouTube上搜索Google io 18 stage 8觀看),TPU3實(shí)現(xiàn)的超過100 PFLOPS的處理能力是來自“新的芯片架構(gòu)和大規(guī)模系統(tǒng)”。

快速迭代

從去年I/O大會發(fā)布TPU2到今天不過一年時(shí)間,Google的芯片迭代速度還是非常驚人的。“為什么Google能夠?qū)崿F(xiàn)這樣的快速迭代?”這也是一個(gè)非常值得探討的話題。我先簡單談幾點(diǎn)個(gè)人看法:

第一,TPU是一個(gè)Domain-specific Architecture,定位準(zhǔn)確,架構(gòu)簡單,容易擴(kuò)展。相比之下,傳統(tǒng)的通用處理器必須考慮靈活性和兼容性,有太重的包袱。當(dāng)然,TPU這種特點(diǎn)也決定它只能用于有限的應(yīng)用場景,可能只有Google的體量以及云服務(wù)能夠所提供的應(yīng)用需求才能充分利用TPU這種專用芯片,這一點(diǎn)是得天獨(dú)厚的。這也是目前幾乎所有科技巨頭都開始自研芯片的一個(gè)基本考量。而傳統(tǒng)的芯片廠商在這一點(diǎn)上就有些尷尬了。

第二,Google的軟件和系統(tǒng)能力超強(qiáng),TPU以Cloud service出現(xiàn),提高給客戶的是整體服務(wù)。芯片硬件可做的tradeoff空間比較大,芯片本身的弱點(diǎn)可以在系統(tǒng)層面彌補(bǔ)。從目前得到的信息分析的,TPU3的處理能力是TPU2的8倍,其中芯片換代的貢獻(xiàn)只有2倍,大部分改進(jìn)在系統(tǒng)層面。另一方面,目前芯片開發(fā)離不開相關(guān)軟件工具,Google的軟件能力和生態(tài)也是其能夠?qū)崿F(xiàn)芯片快速迭代的一個(gè)重要因素。

第三,錢很重要。Google不差錢,在芯片實(shí)現(xiàn)上可以通過花錢換取時(shí)間?偟脕碚f,Google TPU的意義可能遠(yuǎn)遠(yuǎn)超過芯片本身。它背后的芯片設(shè)計(jì)邏輯,實(shí)現(xiàn)方法,應(yīng)用模式和生態(tài)環(huán)境,相較傳統(tǒng)芯片開發(fā)有很大區(qū)別,也許會成為趨勢。

Google在發(fā)布TPU3的時(shí)候同時(shí)提到了新的云服務(wù),在之前的Cloud TPU基礎(chǔ)上,今年晚些時(shí)候還會發(fā)布Cloud TPU pod,可以看出TPU對于Goolge的云端戰(zhàn)略的重要意義。

有意思的是,在Google的talk中強(qiáng)調(diào)了cost的問題,每個(gè)例子都給出了相應(yīng)的training cost,畫風(fēng)是這樣的。

這里頗有廣告的感覺,不禁讓人想起黃教主的”The more GPUs you buy, The more money you save“。結(jié)合最近Microsoft對Brainwave項(xiàng)目的宣傳,感覺云端機(jī)器學(xué)習(xí)的價(jià)格戰(zhàn)馬上就要開始了。另外,Google也強(qiáng)調(diào)了Benchmark的重要性,還專門展示了他們最近力推的MLPerf。

最近不同平臺之間的對比很多,有比性能的,也有拼成本的。相信隨著越來越多的廠商加入,刷榜應(yīng)該會非常熱鬧。

聲明: 本文由入駐維科號的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報(bào)。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個(gè)字

您提交的評論過于頻繁,請輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號