訂閱
糾錯(cuò)
加入自媒體

CVPR 2020: SGAS,一種基于貪心思想的CNN/GCN網(wǎng)絡(luò)結(jié)構(gòu)搜索算法

DARTS存在的部分問題

一般NAS的流程是分為搜索階段和評(píng)估階段,在訓(xùn)練集與驗(yàn)證集上進(jìn)行結(jié)構(gòu)的搜索(搜索階段),然后在測(cè)試集上進(jìn)行模型的評(píng)估(評(píng)估階段)。DARTS在搜索結(jié)束的階段直接得到網(wǎng)絡(luò)結(jié)構(gòu),如圖1和公式3所示。這種策略導(dǎo)致在搜索和評(píng)估階段派生的網(wǎng)絡(luò)結(jié)構(gòu)的性能相關(guān)性非常低。網(wǎng)絡(luò)在搜索階段的效果,并不能反映其在評(píng)估階段的真實(shí)效果。我們將這種現(xiàn)象稱之為:退化的搜索評(píng)估相關(guān)性(degeneratesearch-evaluation correlation)。我們認(rèn)為造成這種想象的主要原因是:(1)搜索階段和評(píng)估階段設(shè)置的不一致性;(2)權(quán)重共享(weight sharing)造成的副作用。

舉個(gè)例子:假設(shè)我們只搜索3種候選運(yùn)算,skip-connect,3x3卷積,5x5卷積。如果搜索時(shí)分配的權(quán)重分別是skip-connect (0.34),3x3卷積(0.33),5x5卷積(0.33),最后所選的操作會(huì)是沒有可學(xué)習(xí)參數(shù)的skip-connect,如果所有的邊都是這種情況,那么最后的網(wǎng)絡(luò)在評(píng)價(jià)階段性能就會(huì)很差,然而在搜索階段這個(gè)網(wǎng)絡(luò)和權(quán)重分配為skip-connect (0.33),3x3卷積(0.34),5x5卷積(0.33),最后會(huì)得到3x3卷積的網(wǎng)絡(luò)性能幾乎不會(huì)有區(qū)別。這一現(xiàn)象并不僅僅發(fā)生在DARTS上,也發(fā)生其他大部分NAS算法上,這嚴(yán)重影響了NAS的性能。

肯德爾系數(shù) au[4]可用于量化搜索評(píng)估相關(guān)性( search-evaluation correlation)?系聽栂禂(shù)介于-1到1,-1表示完全負(fù)相關(guān),1表示完全正相關(guān)。如果肯德爾系數(shù)為0,則分布完全獨(dú)立。理想的NAS方法應(yīng)具有較高的搜索評(píng)估相關(guān)性 au。我們以DARTS 為例, 在CIFAR-10數(shù)據(jù)集上運(yùn)行10次,分別根據(jù)搜索準(zhǔn)確性和最終評(píng)估準(zhǔn)確性排名,計(jì)算其肯德爾系數(shù)。一階和二階的DARTS的肯德爾系數(shù)分別僅為0.16和-0.29。因此,DARTS算法的搜索評(píng)估相關(guān)性極低,無法根據(jù)DARTS在搜索階段的效果預(yù)測(cè)模型測(cè)試階段的準(zhǔn)確性。

圖2 搜索-測(cè)試相關(guān)性可以用肯德爾系數(shù)衡量。

常見的NAS算法,如DARTS,肯德爾系數(shù)低,無法根據(jù)其搜索階段對(duì)最終測(cè)試的準(zhǔn)確性做出可靠的預(yù)測(cè)。

<上一頁  1  2  3  4  5  下一頁>  
聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評(píng)論

暫無評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)