我們身處于一個(gè)數(shù)據(jù)、信息量爆炸性增長的時(shí)代,一個(gè)由 AI 引領(lǐng)的、更加智能的時(shí)代。

但是,持續(xù)增加的數(shù)據(jù)量在為人工智能(AI)提供源源不斷的“動(dòng)力”的同時(shí),也對(duì)用于 AI 的電子計(jì)算硬件提出了更多的挑戰(zhàn),無論是在計(jì)算速度,還是在功耗方面,都已經(jīng)成為嚴(yán)重制約 AI 發(fā)展的主要瓶頸之一。

如今,隨著用于自動(dòng)駕駛汽車和語音識(shí)別等機(jī)器學(xué)習(xí)方法的出現(xiàn),這種數(shù)據(jù)增加的上升趨勢仍將繼續(xù)下去。所有這些,都給當(dāng)前的計(jì)算機(jī)處理器在滿足人們需求方面帶來了沉重的負(fù)擔(dān)。

好在,一個(gè)由多國科學(xué)家組成的團(tuán)隊(duì)已經(jīng)開始著手解決這個(gè)問題。最新研究進(jìn)展以“Parallel convolutional processing using an integrated photonic tensor core”為題,于 1 月 6 日發(fā)表在頂級(jí)科學(xué)期刊《自然》(Nature)上。

(來源:Nature)

據(jù)論文描述,研究人員開發(fā)了一種新的方法和架構(gòu),通過使用基于光的處理器或光子處理器,將處理和數(shù)據(jù)存儲(chǔ)結(jié)合到單個(gè)芯片上。研究結(jié)果首次證明,這些設(shè)備可以快速并行處理信息,而這種能力是現(xiàn)有電子芯片無法做到的。

研究人員表示,通過這種利用光的獨(dú)特屬性來加速 AI 處理的方式,可能會(huì)加速光學(xué)計(jì)算領(lǐng)域的變革。

新型硬件系統(tǒng)的發(fā)展

隨著 AI 的興起,傳統(tǒng)的電子計(jì)算方法逐漸達(dá)到了其性能極限,并且滯后于可處理數(shù)據(jù)的快速增長。在各種類型的 AI 系統(tǒng)中,人工神經(jīng)網(wǎng)絡(luò)由于優(yōu)異的性能而被廣泛應(yīng)用于 AI 任務(wù),這些網(wǎng)絡(luò)使用多層相互連接的人工神經(jīng)網(wǎng)絡(luò)進(jìn)行復(fù)雜的數(shù)學(xué)運(yùn)算。

為了加速人工神經(jīng)網(wǎng)絡(luò)的處理,人們已經(jīng)做出了各種努力來設(shè)計(jì)和實(shí)現(xiàn)特定的電子計(jì)算系統(tǒng)。特別值得一提的是,人們?cè)趯Ｓ眉�成電路、大腦靈感計(jì)算和內(nèi)存計(jì)算等定制芯片的應(yīng)用上,已經(jīng)取得了相當(dāng)大的成功,這些芯片通過一系列稱為憶阻器的內(nèi)存設(shè)備直接進(jìn)行處理。

圖 | 新型光子處理器的并行卷積處理示意圖(來源:牛津大學(xué))

在電子計(jì)算中,電子是信息的載體,但一直以來光子都被認(rèn)為是一種更優(yōu)的替代選擇。因?yàn)楣庾V覆蓋的波長范圍很廣,不同波長的光子可以同時(shí)多路復(fù)用(并行傳輸)和調(diào)制(通過改變它們可以攜帶信息),而不會(huì)使光信號(hào)相互干擾。

這種以光速傳播信息的方式能達(dá)到目前最小的時(shí)間延遲。此外,無源傳輸有助于實(shí)現(xiàn)超低功耗,而相位調(diào)制可以輕松調(diào)制并檢測出頻率高于 40 千兆赫的光。

在過去的幾十年里,光纖通信取得了巨大的成功。然而,使用光子進(jìn)行計(jì)算仍然具有一定的挑戰(zhàn)性,特別是在規(guī)模和性能水平上,其與最先進(jìn)的電子處理器相比更具挑戰(zhàn)性。這一困難來自于缺乏合適的并行計(jì)算機(jī)制、使用材料來允許人工神經(jīng)元的高速非線性響應(yīng)以及可擴(kuò)展的光子器件來集成到計(jì)算硬件中。

幸運(yùn)的是,過去幾年來,光學(xué)頻率梳(Optical Frequency Combs)的發(fā)展為集成光子處理器帶來了新的機(jī)會(huì)。光學(xué)頻率梳是一組光源,其發(fā)射光譜由數(shù)千或數(shù)百萬條頻率均勻且間隔緊密的清晰譜線組成。這些器件在光譜學(xué)、光學(xué)時(shí)鐘計(jì)量和電信等領(lǐng)域取得了巨大的成功,其可以集成到計(jì)算機(jī)芯片中,并用作光學(xué)計(jì)算的高效能源,非常適合采用波分復(fù)用技術(shù)(WDM)進(jìn)行數(shù)據(jù)并行處理。

光子處理器:為 AI 加速

在此次工作中,研究人員成功研制了一個(gè)集成光子處理器,該處理器可以對(duì)跨越二維空間的光信號(hào)進(jìn)行卷積處理。該設(shè)備在基于相變材料(一種可以在非晶相和晶相之間切換的材料)的“內(nèi)存”計(jì)算架構(gòu)中使用光學(xué)頻率梳。

通過波長復(fù)用,該處理器可以對(duì)輸入數(shù)據(jù)進(jìn)行充分的并行化處理,并利用相變材料的集成單元陣列進(jìn)行類似的矩陣矢量乘法運(yùn)算。

(來源:Nature)

該團(tuán)隊(duì)也針對(duì)矩陣—向量乘法開發(fā)了一個(gè)硬件加速器。由于不同波長的光不會(huì)相互干擾,研究人員可以使用多個(gè)波長的光進(jìn)行并行計(jì)算。

為了做到這一點(diǎn),他們使用了洛桑聯(lián)邦理工學(xué)院(EPFL)開發(fā)的另一項(xiàng)創(chuàng)新技術(shù),一種基于芯片的“頻率梳”,并以此作為光源。頻率梳可以提供各種不同的光波,這些光波在同一個(gè)光子芯片中相互獨(dú)立地處理。

該研究的負(fù)責(zé)人之一、EPFL 的 Tobias Kippenberg 教授說:“我們的研究首次將頻率梳應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域�！� Kippenberg教授在頻率梳發(fā)展方面做出開創(chuàng)性的研究工作。

同時(shí),該研究的負(fù)責(zé)人之一、明斯特大學(xué)(WWU)的 Wolfram Pernice 教授也表示:“在機(jī)器學(xué)習(xí)領(lǐng)域,用于加速任務(wù)的光子處理器使復(fù)雜的數(shù)學(xué)任務(wù)能夠以很高的速度和處理量處理,這比依賴電子數(shù)據(jù)傳輸?shù)膫鹘y(tǒng)芯片快得多�！�

在設(shè)計(jì)和制造完光子芯片后,研究人員在一個(gè)可識(shí)別手寫數(shù)字的神經(jīng)網(wǎng)絡(luò)上對(duì)其進(jìn)行了測試。這些網(wǎng)絡(luò)受到生物學(xué)的啟發(fā),是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)概念,主要用于圖像或音頻數(shù)據(jù)的處理。

論文的第一作者之一 Johannes Feldmann 表示:“輸入數(shù)據(jù)和一個(gè)或多個(gè)過濾器之間的卷積運(yùn)算非常適合我們的矩陣體系結(jié)構(gòu)。利用光進(jìn)行信號(hào)傳輸使處理器能夠通過波分多路復(fù)用執(zhí)行并行數(shù)據(jù)處理,這保證了更高的計(jì)算密度,并且僅需一個(gè)時(shí)間步長就可以進(jìn)行許多矩陣乘法。與通常在較低頻率工作的傳統(tǒng)電子設(shè)備相比,光調(diào)制速度可以達(dá)到 50-100GHz 范圍�！�

牛津大學(xué)的 Nathan Youngblood 認(rèn)為,“利用波分多路復(fù)用可以實(shí)現(xiàn)更高的數(shù)據(jù)速率和計(jì)算密度,也就是處理器單位面積上的操作,這是以前無法實(shí)現(xiàn)的�！�

這種高度并行化的框架,有可能在單個(gè)步驟中高速處理整個(gè)圖像。在不久的將來,該系統(tǒng)可以通過使用商業(yè)制造程序和輔助現(xiàn)場機(jī)器學(xué)習(xí)來進(jìn)行大規(guī)模擴(kuò)展。

新型硬件的巨大應(yīng)用潛力

由于卷積過程涉及到無源傳輸,所以理論上光子處理核心的計(jì)算能以光速和低功耗來進(jìn)行。這種能力對(duì)于能源密集型應(yīng)用程序非常有價(jià)值,比如應(yīng)用在云計(jì)算中。

鑒于傳統(tǒng)電子計(jì)算方法面臨的挑戰(zhàn),集成光子學(xué)的出現(xiàn)是令人興奮的。它作為一個(gè)潛在的“接班人”,為未來的計(jì)算架構(gòu)實(shí)現(xiàn)前所未有的性能。

然而,建造一個(gè)實(shí)用的光學(xué)計(jì)算機(jī)仍將需要廣泛的跨學(xué)科努力和材料科學(xué)、光子學(xué)、電子學(xué)等領(lǐng)域的研究人員之間的合作。

圖 | 用于在光照下運(yùn)行的矩陣乘法處理器的示意圖(來源:Oxford University)

盡管報(bào)道的光子處理器具有較高的單位面積計(jì)算能力和潛在的可擴(kuò)展性,但全光學(xué)計(jì)算規(guī)模仍然很小。此外,由于存在固有的吸收光的計(jì)算元件,以及光電信號(hào)經(jīng)常需要轉(zhuǎn)換,能源效率會(huì)受到一些限制。

未來另一個(gè)研究方向是,發(fā)展先進(jìn)的非線性集成光子計(jì)算架構(gòu),而不是單一或二維的線性卷積。

通過將電子電路和數(shù)千或數(shù)百萬個(gè)光子處理器集成到一個(gè)合適的架構(gòu)中,一種同時(shí)利用光子和電子處理器的混合光電框架,或許在不久的將來可以徹底改變 AI 硬件。未來,這種硬件將在通信、數(shù)據(jù)中心營運(yùn)和云計(jì)算等領(lǐng)域具有十分重要的應(yīng)用。