訂閱
糾錯
加入自媒體

CVPR 2020: SGAS,一種基于貪心思想的CNN/GCN網(wǎng)絡結構搜索算法

SGAS詳細方案

針對退化的搜索評估相關性這一重要的問題,我們提出了SGAS(SequentialGreedy Architecture Search),一種順序貪心決策的搜索算法。

圖2 SGAS的網(wǎng)絡結構搜索示意圖

我們基于貪心算法的思想將網(wǎng)絡結構的搜索問題,轉化為逐步地選擇一條邊并確定其運算的子問題。實驗證明,依次解決這些簡單的子問題,可以讓最終結構具有更高的搜索-測試相關性。算法的迭代過程如算法1所示。

在每個決策時期,我們根據(jù)預先確定的選擇標準選擇一條邊(i^{+}, j^{+})。通過用公式(3)得到這條邊的運算,并替換相應的混合運算o^{ar}。所選擇的運算,即是所選的邊基于貪心的最優(yōu)選擇。每當確定好一條邊的運算,我們就不再需要這條邊的結構參數(shù)lpha(i^{+}, j^{+}))以及混合操作中其余路徑的權重,我們可以將這條邊從后續(xù)的優(yōu)化中去除。這樣可以帶給我們一個額外的好處是:優(yōu)化問題得到了剪枝,進而可以提高搜索的效率。一條邊被剪枝后,剩下的超網(wǎng)絡以及參數(shù)形成一個新的子問題,該子問題將被以相同的算法迭代求解。在搜索階段的最后,便得到一個沒有權重共享的離散子網(wǎng)絡,如圖2所示。SGAS算法基于順序貪心算法,減少了在搜索階段和評價階段的模型不一致性和權重共享的副作用,使得模型的搜索-測試相關性最大化。

在SGAS中,選擇標準的設計至關重要。我們考慮影響邊的選擇的三個重要因素:邊的重要性,選擇確定性和選擇穩(wěn)定性。

邊的重要性:如果這條邊的非零運算選擇的可能性越高,表明這條邊越重要。

選擇確定性:熵(entropy)是分布用度量不確定性的常。非零運算的歸一化權重可以看作是一種分布:

我們將選擇確定性定義為一減去操作分布的歸一化熵:

選擇穩(wěn)定性:為了讓選擇更穩(wěn)定,我們需要考慮選擇確定性的歷史分布。直方圖相交[48]是檢測分布變化的常用方法,我們利用直方圖相交來計算第T步中的前K時間的邊的平均選擇穩(wěn)定性:

<上一頁  1  2  3  4  5  下一頁>  余下全文
聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內容
文章糾錯
x
*文字標題:
*糾錯內容:
聯(lián)系郵箱:
*驗 證 碼:

粵公網(wǎng)安備 44030502002758號