02 端到端搜索：從頭開始搜索新的架構(gòu)

被最初成功的結(jié)果所鼓舞，接著就是更進(jìn)一步、更廣泛地尋找能夠提供更好結(jié)果的全新架構(gòu)，通過不局限于組合已經(jīng)發(fā)現(xiàn)的NAS單元，可以更直接地尋找考慮到嚴(yán)格的延遲需求的架構(gòu)。

執(zhí)行端到端搜索通常需要手動探索數(shù)千個架構(gòu)，這需要大量的計算成本。探索單一架構(gòu)需要在具有多個GPU卡的數(shù)據(jù)中心計算機(jī)上進(jìn)行幾天的培訓(xùn)，這意味著搜索單個任務(wù)需要數(shù)千天的計算時間。相反，通過設(shè)計了一個代理任務(wù)：一個縮小的激光雷達(dá)分割任務(wù)，可以在幾個小時內(nèi)解決。

Waymo團(tuán)隊(duì)必須克服的一個挑戰(zhàn)，是找到一個與最初的細(xì)分任務(wù)足夠相似的代理任務(wù)。在確定代理任務(wù)上的架構(gòu)質(zhì)量與原始任務(wù)上的架構(gòu)質(zhì)量之間的良好相關(guān)性之前，對幾個代理任務(wù)設(shè)計進(jìn)行了試驗(yàn)。然后，啟動了一個類似于AutoML論文的搜索，但現(xiàn)在是代理任務(wù)：一個端到端代理搜索。這是這個概念第一次應(yīng)用在激光雷達(dá)數(shù)據(jù)上。

圖二：代理端到端搜索：在一個縮小的代理任務(wù)上探索數(shù)千個架構(gòu)，將100個最佳架構(gòu)應(yīng)用于原始任務(wù)，驗(yàn)證和部署car上最好架構(gòu)中的最好架構(gòu)

Waymo使用了幾種搜索算法，對質(zhì)量和延遲進(jìn)行優(yōu)化，因?yàn)檫@對車輛非常重要。觀察不同類型的CNN架構(gòu)，使用不同的搜索策略，如隨機(jī)搜索和強(qiáng)化學(xué)習(xí)，能夠?yàn)榇�理任�?wù)探索超過10，000種不同的架構(gòu)。通過使用代理任務(wù)，在谷歌TPU集群上需要一年以上計算時間的任務(wù)只需要兩周時間。

當(dāng)我們剛剛轉(zhuǎn)移了NAS單元，結(jié)果發(fā)現(xiàn)了比以前更好的網(wǎng)絡(luò)：

在相同的質(zhì)量下，神經(jīng)網(wǎng)絡(luò)的延遲降低20－30％；

具有更高質(zhì)量的神經(jīng)網(wǎng)絡(luò)，錯誤率降低8－10％，與以前的架構(gòu)具有相同的延遲。

圖三 ：1）第一個圖展示了在一組簡單的架構(gòu)上隨機(jī)搜索發(fā)現(xiàn)的大約4000個架構(gòu)。每個點(diǎn)都是一個經(jīng)過培訓(xùn)和評估的架構(gòu)。實(shí)線表示不同推理時間約束下的最佳體系結(jié)構(gòu)，紅點(diǎn)表示用轉(zhuǎn)移學(xué)習(xí)構(gòu)建的網(wǎng)絡(luò)的延遲和性能。在這種隨機(jī)搜索中，網(wǎng)絡(luò)學(xué)習(xí)效果不如遷移學(xué)習(xí)

圖三：2）在第二張圖中，黃色和藍(lán)色的點(diǎn)表示另外兩種搜索算法的結(jié)果。黃色的是對一組精致架構(gòu)的隨機(jī)搜索。藍(lán)色的那個使用了強(qiáng)化學(xué)習(xí)，就像在［1］中一樣，探索了6000多個架構(gòu)。它產(chǎn)生了最好的結(jié)果。這兩個額外的搜索發(fā)現(xiàn)，網(wǎng)絡(luò)明顯優(yōu)于遷移學(xué)習(xí)的網(wǎng)絡(luò)

在搜索中發(fā)現(xiàn)的一些架構(gòu)顯示了卷積、池化和反卷積操作的創(chuàng)造性組合，如下圖所示。這些架構(gòu)最終非常適合最初的激光雷達(dá)分割任務(wù)，并將部署在Waymo的自動駕駛汽車上。

圖四：由代理端到端搜索發(fā)現(xiàn)的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

03 接下來是什么

Waymo的Auto ML實(shí)驗(yàn)僅僅是個開始。對于激光雷達(dá)分割任務(wù)，傳輸學(xué)習(xí)和代理端到端搜索都提供了比人工制作更好的網(wǎng)絡(luò)，現(xiàn)在有機(jī)會將這些機(jī)制應(yīng)用到新的任務(wù)類型上，這可以改善許多其他的神經(jīng)網(wǎng)絡(luò)。

這一發(fā)展為未來的ML工作開辟了新的令人興奮的道路，并將提高Waymo的自動駕駛技術(shù)的性能和能力，并繼續(xù)與谷歌AI大腦的合作。