AI加速器是一類專門的硬件電路或計算系統(tǒng),旨在加速人工智能算法的實現(xiàn),尤其是機器學(xué)習(xí)、自然語言處理、計算機視覺和語音識別等需要大規(guī)模計算的應(yīng)用。典型的應(yīng)用場景包括無人駕駛系統(tǒng)、機器人技術(shù)、監(jiān)控安防等計算密集型任務(wù)場景。

AI加速器是涉及算法模型、網(wǎng)絡(luò)框架、軟件工具鏈、加速器IP和硬件平臺的復(fù)雜AI算法實現(xiàn)系統(tǒng)。深蘭科技AI加速平臺采用異構(gòu)計算的FPGA芯片,并自主研發(fā)了加速器IP及整套開發(fā)工具,在多任務(wù)處理方面的優(yōu)勢尤為突出。

深蘭科技AI加速解決方案如下圖所示

1．異構(gòu)計算在AI加速領(lǐng)域的優(yōu)勢
      深蘭科技的AI加速硬件平臺采用賽靈思的MPSOC系列FPGA。MPSOC是一種集成多處理器系統(tǒng)的異構(gòu)計算芯片,其中的多處理器系統(tǒng)包括:CPU(applications processor),RTP(real-time processor),GPU(graphics processor)以及FPGA(Field Programmable Gate Array)。不同的處理器適合處理的任務(wù)不同,多處理器的異構(gòu)計算系統(tǒng)在AI加速領(lǐng)域有著獨特的優(yōu)勢。

以人臉識別應(yīng)用為例,來看一下異構(gòu)計算平臺在AI加速領(lǐng)域的表現(xiàn)。

1．?dāng)?shù)據(jù)采集階段,計算平臺要提供傳感器接入的能力;

2．?dāng)?shù)據(jù)處理階段,計算平臺要提供常見的視頻圖像處理庫;

3．特征提取和比對階段,包含大量的數(shù)據(jù)調(diào)度和重復(fù)計算任務(wù);

4．最終模型輸出和顯示階段,計算平臺要提供圖像疊加和視頻顯示等功能。

單獨的CPU更適合處理串行的控制流,不適用于大規(guī)模的并行計算;單獨的GPU更適合處理大規(guī)模的并行計算,但是在處理控制流方面又顯得捉襟見肘。MPSOC中的多核ARM適合視頻采集和數(shù)據(jù)預(yù)處理,FPGA中各種加速算子適合特征提取和特征比對,Mali GPU適合最終輸出顯示。多種處理器協(xié)同合作才能高效的完成人臉識別任務(wù)。

深蘭科技AI加速器如何高效工作

決定AI加速器工作效率的關(guān)鍵有三點:

1．高帶寬的片外數(shù)據(jù)吞吐;

2．高效率的片上數(shù)據(jù)緩存;

3．針對性的大規(guī)模并行計算單元。

深蘭科技AI加速器在設(shè)計的時候充分考慮了這三個因素

深蘭科技自主研發(fā)的AI加速器采用ARM和FPGA協(xié)同工作的架構(gòu),ARM和FPGA上各掛有一組帶寬高達150G的DDR4內(nèi)存顆粒,兩組內(nèi)存統(tǒng)一編址,便于內(nèi)存管理。內(nèi)存顆粒和計算單元間采用AXI4高速總線互聯(lián),AXI_INTERCONNECT可以保證高效的多路數(shù)據(jù)總線讀寫仲裁,避免多路總線沖突及帶寬分配不均衡。

高帶寬的片外數(shù)據(jù)吞吐只能保證海量的數(shù)據(jù)可以送進FPGA,數(shù)據(jù)如果要進入計算單元,還要經(jīng)過高效的片上數(shù)據(jù)重組和數(shù)據(jù)緩存。深蘭科技的AI加速器按照NCHW的格式重組數(shù)據(jù),重組完的數(shù)據(jù)被寫入相應(yīng)的片上緩存(RAM和FIFO)。

不同類型的計算任務(wù)由定制化開發(fā)的RTL算子完成,這樣可以保證很高的計算效率。目前完成的算子包括卷積算子、池化算子、上采樣算子、加法算子和softmax算子等,具體參數(shù)見下表。

3．深蘭科技AI加速器應(yīng)用案例展示

無人駕駛應(yīng)用:

紅綠燈識別,采用Mobilenet+Edlenet的組合神經(jīng)網(wǎng)絡(luò)提高小目標(biāo)的識別準(zhǔn)確性。

智能交通應(yīng)用:

航拍目標(biāo)檢測,直升機高空俯視航拍,用于智能交通控制。

激光雷達應(yīng)用:

點云數(shù)據(jù)目標(biāo)檢測,使用Pixornet神經(jīng)網(wǎng)絡(luò)進行3D 目標(biāo)檢測的鳥瞰圖檢測。