訂閱
糾錯(cuò)
加入自媒體

CVPR 2020: SGAS,一種基于貪心思想的CNN/GCN網(wǎng)絡(luò)結(jié)構(gòu)搜索算法

論文作者來自阿卜杜拉國王科技大學(xué)的在讀博士生李國豪,本次分享的是KAUST與Intel ISL在 CVPR 2020 的工作:SGAS,一種基于貪心思想的CNN/GCN網(wǎng)絡(luò)結(jié)構(gòu)搜索算法。

本工作通過貪心(greedy)的搜索方式減輕了NAS中模型排名在搜索和最后評(píng)估不一致的問題。是一種更優(yōu)更快的網(wǎng)絡(luò)結(jié)構(gòu)搜索算法,并同時(shí)支持CNN和GCN的搜索。代碼已開源,想在圖像,點(diǎn)云,生物圖數(shù)據(jù)上做網(wǎng)絡(luò)結(jié)構(gòu)搜索的同學(xué)都可以試一試。

相關(guān)工作

網(wǎng)絡(luò)結(jié)構(gòu)搜索(NeuralArchitecture Search, 簡稱NAS) 是一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)自動(dòng)化設(shè)計(jì)的技術(shù)。NAS基于相應(yīng)算法在特定的樣本集內(nèi)自動(dòng)設(shè)計(jì)出高性能的網(wǎng)絡(luò)結(jié)構(gòu)。這些自動(dòng)搜索出的網(wǎng)絡(luò)結(jié)構(gòu)在某些任務(wù)上已經(jīng)媲美或超過了人類專家手工設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)。

早期NAS的算法是基于強(qiáng)化學(xué)習(xí)(Zoph et al.[1])或進(jìn)化算法(Real et al.[2])。這些算法計(jì)算成本高昂,阻礙了其廣泛應(yīng)用。近來,Liu et al.[3]提出了一種高效的可微分的網(wǎng)絡(luò)結(jié)構(gòu)搜索算法:可微分網(wǎng)絡(luò)結(jié)構(gòu)搜索(Differentiable Architecture Search, 簡稱DARTS)。DARTS的提出使得網(wǎng)絡(luò)結(jié)構(gòu)搜索在單卡一天內(nèi)完成搜索。后續(xù)許多工作都基于DARTS基礎(chǔ)上進(jìn)行改進(jìn),比如SNAS/FBNet/ProxylessNAS/P-DARTS/GDAS/MdeNAS/PC-DARTS/FairDARTS等等。

背景知識(shí):DARTS

DARTS采用基于單元(Cell)的搜索方法進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)搜索。Cell是一個(gè)網(wǎng)絡(luò)子模塊,可以自由堆疊多次形成卷積網(wǎng)絡(luò)。DARTS通過學(xué)習(xí)cell的結(jié)構(gòu),完成對網(wǎng)絡(luò)的結(jié)構(gòu)搜索。Cell是由N個(gè)節(jié)點(diǎn)的有序序列組成的有向無環(huán)圖(如圖1)。Cell中每個(gè)節(jié)點(diǎn)x^(i)是卷積網(wǎng)絡(luò)中的特征圖,每個(gè)有向邊(i,j)代表一種對x的運(yùn)算o(i, j) (如3x3的卷積)。一個(gè)cell具有兩個(gè)輸入節(jié)點(diǎn),一個(gè)輸出節(jié)點(diǎn)和多個(gè)中間結(jié)點(diǎn)。Cell的輸入節(jié)點(diǎn)被定義為前兩層的輸出。Cell的輸出是對所有中間節(jié)點(diǎn)進(jìn)行歸約運(yùn)算(例如concatenation)后的結(jié)果。每個(gè)中間節(jié)點(diǎn)由它之前結(jié)點(diǎn)經(jīng)過算子op變換后相加得到:

DARTS為了實(shí)現(xiàn)可微搜索,提出了搜索空間的continuousrelaxation機(jī)制,利用softmax函數(shù)來學(xué)習(xí)所有可能候選運(yùn)算op的權(quán)重:

其中,$mathcal(O)$ 表示搜索空間中的候選運(yùn)算(例如卷積,最大池化,零)等,零表示沒有運(yùn)算(邊)。其中一對節(jié)點(diǎn)(i,j)之間的運(yùn)算由向量lpha_{i, j}參數(shù)化。運(yùn)算的結(jié)果是每種可能運(yùn)算結(jié)果的加權(quán)求和。向量lpha_{i, j}的維度為搜索空間長度|O|。因而,DARTS將網(wǎng)絡(luò)結(jié)構(gòu)搜索的任務(wù)簡化為了學(xué)習(xí)一組連續(xù)變量lpha= {lpha(i, j)},如圖1所示。DARTS在搜索結(jié)束階段,通過argmax得到權(quán)重最大的候選運(yùn)算op當(dāng)作該邊的搜索結(jié)果:

圖1 DARTS的單元結(jié)構(gòu)以及網(wǎng)絡(luò)結(jié)構(gòu)搜索示意圖[3]

1  2  3  4  5  下一頁>  
聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請輸入評(píng)論內(nèi)容...

請輸入評(píng)論/評(píng)論長度6~500個(gè)字

您提交的評(píng)論過于頻繁,請輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評(píng)論

暫無評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)