5 Rethinking Bottleneck Structure for Efficient Mobile Network Design

作者：Zhou Daquan，Qibin Hou，Yunpeng Chen，Jiashi Feng，Shuicheng Yan

機(jī)構(gòu)：新加坡國(guó)立大學(xué)，依圖科技

簡(jiǎn)介：反向剩余塊是近年來移動(dòng)網(wǎng)絡(luò)體系結(jié)構(gòu)設(shè)計(jì)的主流。它通過引入反向殘差學(xué)習(xí)和使用線性瓶頸兩種設(shè)計(jì)規(guī)則來改變傳統(tǒng)的剩余瓶頸。本文對(duì)這種設(shè)計(jì)變更的必要性進(jìn)行了反思，發(fā)現(xiàn)這種變更可能帶來信息丟失和梯度混淆的風(fēng)險(xiǎn)。因此，我們建議翻轉(zhuǎn)結(jié)構(gòu)并提出一種新的瓶頸設(shè)計(jì)，稱為沙漏塊，在更高的維度上執(zhí)行身份映射和空間變換，從而有效地減少信息丟失和梯度混淆。大量的實(shí)驗(yàn)表明，與一般的觀點(diǎn)不同，這種瓶頸結(jié)構(gòu)比倒置的瓶頸結(jié)構(gòu)對(duì)移動(dòng)網(wǎng)絡(luò)更為有利。在ImageNet分類中，通過簡(jiǎn)單地用我們的沙漏塊代替倒立的殘差塊而不增加參數(shù)和計(jì)算量，分類精度比MobileNetV2提高1．7％以上。在pascalvoc2007測(cè)試集上，觀察到在目標(biāo)檢測(cè)方面也有0．9％的mAP改進(jìn)。通過將其加入神經(jīng)結(jié)構(gòu)搜索方法DARTS的搜索空間，進(jìn)一步驗(yàn)證了沙漏塊的有效性。經(jīng)過25％的參數(shù)簡(jiǎn)化，分類精度比以前的DARTS模型提高了0．13％。

6 MutualNet： Adaptive ConvNet via Mutual Learning from Network Width and Resolution

作者：Taojiannan Yang，Sijie Zhu，Chen Chen，Shen Yan，Mi Zhang，Andrew Willis

機(jī)構(gòu)：北加利福利亞大學(xué)，密歇根州立大學(xué)

簡(jiǎn)介：本文提出了寬度－分辨率相互學(xué)習(xí)的方法（MutualNet），根據(jù)動(dòng)態(tài)的資源約束來訓(xùn)練網(wǎng)絡(luò)，實(shí)現(xiàn)運(yùn)行時(shí)自適應(yīng)的準(zhǔn)確率－效率的平衡。該方法利用不同的寬度和輸入分辨率，訓(xùn)練了多個(gè)子網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)都互相學(xué)習(xí)多尺度的特征表示。相對(duì)于目前SOTA的自適應(yīng)網(wǎng)絡(luò) US－Net，本文方法在ImageNet上取得了更高的top－1準(zhǔn)確率，要比最優(yōu)的復(fù)合尺度的MobileNet和EfficientNet 高1．5％1．5％1．5％。在COCO目標(biāo)檢測(cè)、實(shí)例分割和遷移學(xué)習(xí)任務(wù)上，該方法也進(jìn)行了驗(yàn)證。MutualNet的訓(xùn)練策略可以提升單個(gè)網(wǎng)絡(luò)的性能，在效率（GPU搜索時(shí)間：1500 vs． 0）和準(zhǔn)確率方面都顯著超過了AutoAugmentation。

7 PSConv： Squeezing Feature Pyramid into One Compact Poly－Scale Convolutional Layer

作者：Duo Li，Anbang Yao，Qifeng Chen

機(jī)構(gòu)：香港科技大學(xué)，intel實(shí)驗(yàn)室

簡(jiǎn)介：盡管卷積神經(jīng)網(wǎng)絡(luò)（CNNs）具有強(qiáng)大的建模能力，但它往往具有尺度敏感性。為了提高cnn對(duì)尺度方差的魯棒性，在現(xiàn)有的解決方案中，基于不同層次或?yàn)V波器的多尺度特征融合受到了廣泛的關(guān)注，而忽略了更細(xì)粒度的核空間。我們通過在更細(xì)的粒度中利用多尺度特性來彌補(bǔ)這一遺憾。所提出的卷積運(yùn)算稱為多尺度卷積（PSConv），它混合了膨脹率的頻譜，并巧妙地將其分配到每個(gè)濾波器關(guān)于單個(gè)卷積層的各個(gè)卷積核中。具體地說，膨脹率沿著濾波器的輸入和輸出通道的軸周期性地變化，以一種簡(jiǎn)潔的方式將各種尺度上的特征聚集起來。PSConv可能是許多主流CNN主干網(wǎng)中香草卷積的一個(gè)替代品，允許在不引入額外參數(shù)和計(jì)算復(fù)雜性的情況下進(jìn)行更好的表示學(xué)習(xí)。在ImageNet和MS－COCO基準(zhǔn)測(cè)試上的綜合實(shí)驗(yàn)驗(yàn)證了PSConv的優(yōu)越性能。

圖像分類

1 Learning To Classify Images Without Labels

作者：Van Gansbeke Wouter，Vandenhende Simon，Georgoulis Stamatios，Proesmans Marc，Van Gool Luc

機(jī)構(gòu)：KU Leuven／ESAT－PSI，蘇黎世聯(lián)邦理工學(xué)院

簡(jiǎn)介：有沒有可能在不使用地面真相注釋的情況下自動(dòng)分類圖像？或者，即使是類本身，也不是先驗(yàn)知識(shí)嗎？這些仍然是計(jì)算機(jī)視覺中的重要問題。有幾種方法試圖以端到端的方式解決這個(gè)問題。在本文中，作者偏離了最近的工作，提出了一種將特征學(xué)習(xí)和聚類分離的兩步方法。首先，利用表征學(xué)習(xí)中的自監(jiān)督任務(wù)來獲得語義上有意義的特征。第二，在可學(xué)習(xí)的聚類方法中，使用所獲得的特征作為先驗(yàn)。在這樣做的時(shí)候，去除了集群學(xué)習(xí)依賴于低級(jí)特征的能力，這是當(dāng)前端到端學(xué)習(xí)方法中存在的。實(shí)驗(yàn)結(jié)果表明，本文的分類準(zhǔn)確率大大超過了現(xiàn)有的分類方法，特別是CIFAR10為＋26．9％，CIFAR100－20為＋21．5％，STL10為＋11．7％。此外，在ImageNet上的結(jié)果表明，本文的方法是第一個(gè)能夠很好地?cái)U(kuò)展到200個(gè)隨機(jī)選擇的類，獲得69．3％的top－1和85．5％的top－5準(zhǔn)確率，并且在完全監(jiān)督的方法下，差異小于7．5％。