伴隨著大數(shù)據(jù)，AI在沉寂了多年之后，又迎來(lái)了新的高潮。在這場(chǎng)涉及大部分科學(xué)的革命中，人工神經(jīng)網(wǎng)絡(luò)釋放了人工智能。但科學(xué)家們發(fā)現(xiàn)，這一關(guān)鍵技術(shù)暗含著一個(gè)問(wèn)題：人工神經(jīng)網(wǎng)絡(luò)就是一個(gè)“黑匣子”。

我們都知道，無(wú)論人工神經(jīng)網(wǎng)絡(luò)有多么復(fù)雜，都可以將其看作是三部分：輸入層、輸出層和隱含層。其中，我們通過(guò)深度學(xué)習(xí)，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行一層一層的疊加訓(xùn)練，以此來(lái)有效調(diào)整神經(jīng)網(wǎng)絡(luò)各級(jí)神經(jīng)元的權(quán)重。但是，這里有一個(gè)問(wèn)題，除去輸入和輸出，我們對(duì)隱含層發(fā)生了什么一無(wú)所知，即對(duì)神經(jīng)網(wǎng)絡(luò)內(nèi)部邏輯行為無(wú)從認(rèn)知。

華盛頓大學(xué)的研究生Marco Ribeiro使用過(guò)一種叫做反事實(shí)探測(cè)的方法來(lái)了解這個(gè)“黑匣子”。此方法具體就是通過(guò)給輸入一點(diǎn)微小的變化，隨即查看輸出的變化，并記錄這些變化。但是很顯然，這一方法需要上千次的操作和嘗試，而且無(wú)法幫助我們?nèi)�面認(rèn)識(shí)人工神經(jīng)網(wǎng)絡(luò)。

而Google的另一位計(jì)算機(jī)科學(xué)家Mukund Sundararajan設(shè)計(jì)了一種探測(cè)器，大大減少了輸入。不同于Ribeiro采取的隨機(jī)輸入，Sundararajan的研究創(chuàng)新點(diǎn)是引入一個(gè)空白的參考。

首先，Sundararajan輸入一個(gè)零排列的數(shù)組，隨后讓輸入數(shù)據(jù)逐步向需要測(cè)試的目標(biāo)數(shù)據(jù)轉(zhuǎn)變，以此通過(guò)輸出變化來(lái)反過(guò)來(lái)研究?jī)?nèi)在邏輯。這里值得注意的是，隨著每一步的變化，科學(xué)家們就能看到它確切的變化軌跡，從而可以以此預(yù)測(cè)變化特征。但這依然不可信，預(yù)測(cè)的結(jié)果仍然是存在很大誤差的。

對(duì)此，美國(guó)華盛頓州微軟研究所計(jì)算機(jī)科學(xué)家RiCh Caruana融入廣義加法模型（GAM）來(lái)對(duì)數(shù)據(jù)間的復(fù)雜關(guān)系進(jìn)行處理。我們都知道，統(tǒng)計(jì)學(xué)中GAM就是一種基于線性回歸，然后在一組數(shù)據(jù)中找到線性趨勢(shì)的方法。Caruana增加了這一過(guò)程，他先利用機(jī)器學(xué)習(xí)來(lái)輸出變化，隨后將網(wǎng)絡(luò)輸出的數(shù)據(jù)輸入到GAM，找出變化之間的相關(guān)性，以此來(lái)研究神經(jīng)網(wǎng)絡(luò)的內(nèi)在邏輯。

除此之外，在圖像研究領(lǐng)域，還有科學(xué)家利用生成式對(duì)抗網(wǎng)絡(luò)（GAN）對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行研究，然而所有的這些努力都是嘗試，普適的研究方法至今尚未得出。

現(xiàn)在，不僅科學(xué)家認(rèn)識(shí)到這一問(wèn)題的緊迫性，多國(guó)政府也意識(shí)到這一問(wèn)題。根據(jù)歐盟的一項(xiàng)指示，明年所有有巨大影響力的公司需向公眾解釋其模型的內(nèi)在邏輯。此外，美國(guó)軍方的藍(lán)天研究機(jī)構(gòu)國(guó)防高級(jí)研究計(jì)劃署也正在向一個(gè)稱為“可解釋AI”的新計(jì)劃投入7000萬(wàn)美元。

Google的機(jī)器學(xué)習(xí)研究員Maya Gupta說(shuō)，硅谷的研究人員們也在試圖打開(kāi)AI的“黑匣子”。除了運(yùn)行后操作的準(zhǔn)確性，所有人心中還有一個(gè)非常大的顧忌：因?yàn)椴恢�道它在做什么，所以不確定能不能相信它。

伴隨著人工智能（AI）應(yīng)用的蓬勃之勢(shì)，出于安全隱患的考慮，神經(jīng)網(wǎng)絡(luò)內(nèi)在邏輯的這一“盲點(diǎn)”確實(shí)急需規(guī)避。