CVPR 2020: SGAS,一種基于貪心思想的CNN/GCN網(wǎng)絡結構搜索算法
SGAS詳細方案
針對退化的搜索評估相關性這一重要的問題,我們提出了SGAS(SequentialGreedy Architecture Search),一種順序貪心決策的搜索算法。
圖2 SGAS的網(wǎng)絡結構搜索示意圖
我們基于貪心算法的思想將網(wǎng)絡結構的搜索問題,轉化為逐步地選擇一條邊并確定其運算的子問題。實驗證明,依次解決這些簡單的子問題,可以讓最終結構具有更高的搜索-測試相關性。算法的迭代過程如算法1所示。
在每個決策時期,我們根據(jù)預先確定的選擇標準選擇一條邊(i^{+}, j^{+})。通過用公式(3)得到這條邊的運算,并替換相應的混合運算o^{ar}。所選擇的運算,即是所選的邊基于貪心的最優(yōu)選擇。每當確定好一條邊的運算,我們就不再需要這條邊的結構參數(shù)lpha(i^{+}, j^{+}))以及混合操作中其余路徑的權重,我們可以將這條邊從后續(xù)的優(yōu)化中去除。這樣可以帶給我們一個額外的好處是:優(yōu)化問題得到了剪枝,進而可以提高搜索的效率。一條邊被剪枝后,剩下的超網(wǎng)絡以及參數(shù)形成一個新的子問題,該子問題將被以相同的算法迭代求解。在搜索階段的最后,便得到一個沒有權重共享的離散子網(wǎng)絡,如圖2所示。SGAS算法基于順序貪心算法,減少了在搜索階段和評價階段的模型不一致性和權重共享的副作用,使得模型的搜索-測試相關性最大化。
在SGAS中,選擇標準的設計至關重要。我們考慮影響邊的選擇的三個重要因素:邊的重要性,選擇確定性和選擇穩(wěn)定性。
邊的重要性:如果這條邊的非零運算選擇的可能性越高,表明這條邊越重要。
選擇確定性:熵(entropy)是分布用度量不確定性的常。非零運算的歸一化權重可以看作是一種分布:
我們將選擇確定性定義為一減去操作分布的歸一化熵:
選擇穩(wěn)定性:為了讓選擇更穩(wěn)定,我們需要考慮選擇確定性的歷史分布。直方圖相交[48]是檢測分布變化的常用方法,我們利用直方圖相交來計算第T步中的前K時間的邊的平均選擇穩(wěn)定性:
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-10.29立即報名>> 2024德州儀器嵌入式技術創(chuàng)新發(fā)展研討會
-
10月31日立即下載>> 【限時免費下載】TE暖通空調系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月14日立即報名>> 2024工程師系列—工業(yè)電子技術在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
推薦專題
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結構工程師 廣東省/深圳市