訂閱
糾錯
加入自媒體

碼隆科技提出跨越時空的樣本配對,解決深度度量學習痛點

作者: 將門投資企業(yè) 碼隆科技研究團隊將門好聲音第·54·期CVPR 2020系列分享第·13·期將門投資企業(yè)——碼隆科技今年在 CVPR 多有斬獲。在大會論文接受率僅有 22%、被稱為“十年來最難的一屆”的情況下,有兩篇論文入選 CVPR 2020,本文將為大家解讀其中一篇Oral:《Cross-Batch Memory for Embedding Learning》 。

導(dǎo)讀:

該論文提出了 XBM 方法,能夠用極小的代價,提供巨量的樣本對,為 pair-based 的深度度量學習方法取得巨大的效果提升。

這種提升難例挖掘效果的方式突破了過去兩個傳統(tǒng)思路:加權(quán)和聚類,并且效果也更加簡單、直接,很好地解決了深度度量學習的痛點。XBM 在多個國際通用的圖像搜索標準數(shù)據(jù)庫上(比如 SOP、In-Shop 和 VehicleID 等),取得了目前最好的結(jié)果。

一、背景和動機

難例挖掘是深度度量學習領(lǐng)域中的核心問題,最近有頗多研究都通過改進采樣或者加權(quán)方案來解決這一難題,目前主要兩種思路: 第一種思路是在 mini-batch 內(nèi)下功夫,對于 mini-batch 內(nèi)的樣本對,從各種角度去衡量其難度,然后給予難樣本對更高權(quán)重,比如 N-pairs、Lifted Struture Loss、MS Loss 使用的就是此種方案。 第二種思路是在 mini-batch 的生成做文章,比如 HTL、Divide and Conquer,他們的做法雖然看上去各有不同,但是整體思路有異曲同工之處。大致思路都是對整個數(shù)據(jù)集進行聚類,每次生成 mini-batch 不是從整個數(shù)據(jù)集去采樣,而是從一個子集,或者說一個聚類小簇中去采樣。這樣一來,由于采樣范圍本身更加集中,生成的 mini-batch 中難例的比例自然也會更大,某種程度上也能解決問題。 然而,無論是第一種方法的額外注重難樣本,還是第二種方法的小范圍采樣,他們的難例的挖掘能力其實依然有一個天花板——那就是 mini-batch 的大小。這個 mini-batch 的大小決定了在模型中單次迭代更新中,可以利用的樣本對的總量。因此,即使是很精細的采樣加權(quán)方法,在 mini-batch 大小有限的情況下,也很難有頂級的表現(xiàn)。我們在三個標準圖像檢索數(shù)據(jù)庫上進行了實驗,基于三種標準的 pair-based 方法,我們發(fā)現(xiàn)隨著 mini-batch 變大,效果(Recall@1)大幅提升。實驗結(jié)果如下圖:

可以看出,隨著 mini-batch 的增大,效果有顯著提升。但是,在實際工業(yè)應(yīng)用中 mini-batch 越大,訓(xùn)練所需要的 GPU 或 TPU 就越多,即使計算資源有充分保證,在多機多卡的訓(xùn)練過程中,如何在工程上保證通信的效率也是一個有挑戰(zhàn)的問題。

二、特征偏移

由此,我們希望另辟蹊徑,得以在 mini-batch 有限的情況下,也能獲得充足的難例樣本對。首先,必須突破深度度量學習一直以來的一個思維局限——僅在對當前 mini-batch里的樣本對兩兩比較,形成樣本對。以此我們引入了 XBM(Cross-batch Memory)這一方法來突破局限,跨越時空進行難例挖掘,把過去的 mini-batch 的樣本提取的特征也拿過來與當前 mini-batch 作比較,構(gòu)建樣本對。

我們將樣本特征隨著模型訓(xùn)練的偏移量,稱之為特征偏移(Feature Drift)。從上圖我們發(fā)現(xiàn),在訓(xùn)練的一開始,模型還沒有穩(wěn)定,特征劇烈變化,每過 100 次迭代,特征偏移大約 0.7 以上。但是,隨著訓(xùn)練的進行,模型逐步穩(wěn)定,特征的偏移也變小。我們稱這個現(xiàn)象為慢偏移(Slow Drift),這是我們可以利用的一點。

1  2  3  下一頁>  
聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯
x
*文字標題:
*糾錯內(nèi)容:
聯(lián)系郵箱:
*驗 證 碼:

粵公網(wǎng)安備 44030502002758號