導(dǎo) 讀

為什么、難在哪、怎么做：——下一代人工智能計算模型探索

Next Generation of AI－Computing Models：——Why， What， and How下一代人工智能計算模型，主要是使用一些自動化技術(shù)幫助我們設(shè)計更好的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，并在任務(wù)中提升性能。本文會重點(diǎn)從Why、What、How這3個地方重點(diǎn)講解。

第一部分 什么是網(wǎng)絡(luò)架構(gòu)搜索（NAS）？為什么很重要？

一、AI領(lǐng)域未來面臨的挑戰(zhàn)

有3件事是確定的：數(shù)據(jù)（data），模型（model），知識（knowledge）

1． 數(shù)據(jù)

Data－efficiency：如何利用有限或多模態(tài)數(shù)據(jù)訓(xùn)練模型？

在如今的數(shù)據(jù)爆炸時代，會產(chǎn)生海量的數(shù)據(jù)，其中只有很少的數(shù)據(jù)有數(shù)據(jù)標(biāo)注，大量的數(shù)據(jù)沒有數(shù)據(jù)標(biāo)注，且數(shù)據(jù)很“臟”。于是引出了第一個問題：如何從海量數(shù)據(jù)重，真正學(xué)習(xí)到自己想要的東西。

AI未來的發(fā)展方向是從全監(jiān)督發(fā)展成自監(jiān)督和無監(jiān)督的方向。

2． 模型

Auto－learning：如何為人工智能應(yīng)用設(shè)計強(qiáng)大高效的模型？

這一代的計算模型主要是基于深度學(xué)習(xí)的，尤其是卷積神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)在圖像識別領(lǐng)域的應(yīng)用，使得原先的模型從手工識別特征發(fā)展到自動學(xué)習(xí)特征。

基于這種發(fā)展的趨勢，我們將模型繼續(xù)推進(jìn)一步，使得深度學(xué)習(xí)的網(wǎng)絡(luò)設(shè)計也從手動轉(zhuǎn)為自動。這是模型部分所面臨的挑戰(zhàn)。

3． 知識

Knowledge－aware：如何定義和存儲知識，使訓(xùn)練后的模型安全可靠？

現(xiàn)有模型的算法，大部分都是擬合和訓(xùn)練數(shù)據(jù)，并不能保證擬合得到的結(jié)果具備分析常識的能力，即“不能真正地學(xué)習(xí)知識”。由于計算機(jī)缺乏常識，對知識的學(xué)習(xí)，可能會成為AI未來5年的研究方向。

二、AutoML介紹

本文的重點(diǎn)是模型部分，主要分析手動和自動，這兩種思路的區(qū)別。

2017年自動化網(wǎng)格搜索架構(gòu)被提出后，“手動更好”還是“自動更好”這類爭論不斷。在爭論的過程中逐漸催生出了一個新的方向，稱為自動化機(jī)器學(xué)習(xí)（AutoML）。這一方向在工業(yè)界得到了更多的關(guān)注度。

工業(yè)界的關(guān)注度超過學(xué)術(shù)結(jié)，主要有兩個原因：

（1） 工業(yè)界的算力更強(qiáng)。

AutoML算法對計算資源的消耗非常大。例如，Google發(fā)表的NAS方面的論文，需要上萬個GPU ／天才能完成這樣的計算。

（2） 工業(yè)界有很強(qiáng)的需求。AutoML可以幫工業(yè)界節(jié)省很多的開發(fā)成本。

以華為為例，華為有各種各樣不同的手機(jī)產(chǎn)品，從旗艦機(jī)到低端的手機(jī)，芯片的計算能力會差很多。用戶會需要在不同的手機(jī)中完成相似的功能（如拍視頻），因此針對不同的芯片需要設(shè)計不同的網(wǎng)絡(luò)架構(gòu)以滿足用戶的需求；另一方面，用戶的需求（如清晰度的要求）是實(shí)時變化的，如果使用人工機(jī)器學(xué)習(xí)算法，會帶來巨大的人力投入�；�于此，工業(yè)界存在自動化算法的需求。