很多AI將改變?nèi)祟惉F(xiàn)代生活，例如優(yōu)步的無人駕駛汽車，Yosinski的程序是一個深度神經(jīng)網(wǎng)絡(luò)，其架構(gòu)或多或少受到了大腦的啟發(fā)。正如人類大腦一樣，這個程序很難從外部理解：它是一個黑箱。

 

　　這一特殊的AI能通過大量的標(biāo)注圖像被訓(xùn)練，從而識別像斑馬線、消防車、安全帶等物體。但它能夠識別Yosinski和攝像頭前面的記者嗎？Yosinski放大了其中一個AI的獨立計算節(jié)點（神經(jīng)元），從而查看是什么引發(fā)了其響應(yīng)。

 

　　兩個幽靈般的白色橢圓狀物體浮動在屏幕上。這個神經(jīng)元似乎已經(jīng)學(xué)會了如何探測人臉輪廓。他說：“它會對你我的面部做出反應(yīng)，也會對不同大小、不同顏色的人臉做出反應(yīng)。”

 

　　不過，沒有人訓(xùn)練這種網(wǎng)絡(luò)識別人臉。在訓(xùn)練圖像中，人類不被標(biāo)注，但是網(wǎng)絡(luò)確實在學(xué)習(xí)識別人臉，也許是與人臉一同出現(xiàn)的物體，比如領(lǐng)帶、牛仔帽。該網(wǎng)絡(luò)如此復(fù)雜，以至于人類無法理解其做出的決策。

 

　　而Yosinski的探索雖然指明了部分道路，但總體狀況依然不清楚。他說：“我們有令人驚嘆的模型，但實際上并不理解它們，而且這種情況在逐年惡化。”

 

　　深度學(xué)習(xí)似乎每個月都會擴展至另外一個學(xué)科領(lǐng)域。它們能預(yù)測合成有機分子的最佳方式，可以探測與自閉癥相關(guān)的基因，甚至改變了科學(xué)本身的進(jìn)展方式。AI無往不利，但卻留給理論科學(xué)家一個憂慮：模型為什么會如此？

 

　　闡釋該難題正激勵著學(xué)界和業(yè)界的新一代研究者。一些工具無需深入即可探測AI；一些是可以媲美神經(jīng)網(wǎng)路的替代算法，有更高的透明度；一些則繼續(xù)使用更多的深度學(xué)習(xí)來窺探黑匣子。它們加起來成了一門新學(xué)科，Yosinski稱之為“人工智能神經(jīng)科學(xué)”。

 

　　Marco Ribeiro是西雅圖市華盛頓大學(xué)的一名畢業(yè)生，試圖通過一種被稱為“反事實探針”的神經(jīng)科學(xué)工具打開黑匣子。其想法是通過聰明的方式改變AI的輸入以查看有哪些變化以及如何影響輸出。

 

　　例如，Ribeiro的程序LIME會把一個影評標(biāo)注為積極，并對文字稍作修改以創(chuàng)造新變體。接著這些變體被輸入黑匣子以查看其是否依然被標(biāo)注為積極。結(jié)果顯示LIME可以辨別詞語（或者部分圖像、分子結(jié)構(gòu)，再或者任意類型的數(shù)據(jù)）這在AI的最初判斷中至關(guān)重要。

 

　　不過，LIME等新反事實方法似乎每月都會出現(xiàn)。但谷歌計算機學(xué)家Mukund Sundararajan發(fā)明了另一種探查方法，它無需對網(wǎng)絡(luò)進(jìn)行數(shù)千次測試——如果你正在嘗試?yán)斫夂芏鄾Q策，這絕對是一個福利。

 

　　Sundararajan團(tuán)隊并不是通過隨機調(diào)變輸入，而是引入一個空白的引文—— 一張純黑圖像或者一個代替文本的零排列數(shù)組，并將其一步一步推向測試的實例轉(zhuǎn)化。通過在網(wǎng)絡(luò)中運行每一步，他們觀察其確定的跳躍，并通過軌跡推論出對于預(yù)測的重要特征。

 

　　Sundararajan對比了這一過程，找出了辨識其所在的玻璃墻空間的關(guān)鍵特征：杯子、桌子、椅子和電腦的標(biāo)準(zhǔn)組合。“我可以給出無數(shù)理由。”隨著你慢慢調(diào)暗燈光，當(dāng)燈光變得非常暗淡，只有最大的原因才凸顯出來。這些轉(zhuǎn)化允許Sundararajan比Ribeiro的變體捕捉到更多的網(wǎng)路決策。

 

　　但是更深的、未解答的問題依然存在，Sundararajan說。

 

　　這一問題并非只來自科學(xué)。根據(jù)歐盟的一項指令，那些部署持續(xù)影響大眾的算法的公司必須在來年對其模型的內(nèi)在機制做出解釋。美國國防高級研究計劃署也正在向“可解釋AI”的新計劃投入7000萬美元，試圖解釋用于無人機和情報挖掘作業(yè)的深度學(xué)習(xí)。谷歌機器學(xué)習(xí)研究者M(jìn)aya Gupta也表示，打開黑匣子的驅(qū)動同樣來自硅谷內(nèi)部。

 

　　Gupta于2012年加入谷歌，當(dāng)時詢問過AI工程師的關(guān)注問題，她發(fā)現(xiàn)精度并不是他們唯一關(guān)心的。工程師們告訴Gupta:“我們并不確定網(wǎng)絡(luò)在做什么，我們不太信任它。”

 

 

　　今天的神經(jīng)網(wǎng)絡(luò)要比之前復(fù)雜得多，但其本質(zhì)是相同的。一端是數(shù)以百萬計的雜亂數(shù)據(jù)（比如狗的照片）。這些數(shù)據(jù)會被輸入具有十幾個或更多層的網(wǎng)絡(luò)中，其中的神經(jīng)形式連接會響應(yīng)數(shù)據(jù)中的特征。每一層都會把內(nèi)容抽象一點，最后一層解釋出最終判斷，如從梗犬中辨別出臘腸犬。

 

　　一開始，系統(tǒng)或許十分笨拙。但每次結(jié)果都會與標(biāo)記好的狗圖片進(jìn)行對比。在一種被稱為反向傳播的過程里，結(jié)果會通過網(wǎng)絡(luò)向前發(fā)送。這一過程會重復(fù)數(shù)百萬次，直到整個網(wǎng)絡(luò)學(xué)會識別不同品種的狗。“使用現(xiàn)代技術(shù)和大膽的嘗試，你可以讓它們真正地工作起來。”微軟雷德蒙德研究院計算機科學(xué)家Rich Caruana說。然而，這種神秘而靈活的力量也讓網(wǎng)絡(luò)變成了黑匣子。

 

　　Gupta對于處理黑匣子問題有不同的策略：她嘗試?yán)@開這些問題。幾年前，Gupta開始了一個名為GlassBox的項目。她的目標(biāo)是將工程化的可預(yù)測性納入神經(jīng)網(wǎng)絡(luò)進(jìn)而對其進(jìn)行解釋。她的指導(dǎo)原則就是單調(diào)性，即變量之間的相關(guān)性問題。

 

　　Gupta將這些單調(diào)性關(guān)系嵌入到被稱為插值查詢表的蔓生數(shù)據(jù)庫中。本質(zhì)上這個查詢表就像高中三角函數(shù)查值表一樣。但是該插值查詢表不是一個維度上的十多個條目，它在多個維度上有數(shù)百萬的條目。她將這些表寫入神經(jīng)網(wǎng)絡(luò)中，因此有效地添加了一個額外的可預(yù)測性的層級計算知識，神經(jīng)網(wǎng)絡(luò)也將變得更可控。

 

　　不過，有時候，人們必須承受黑匣子的困惑。因此理論研究者開始追尋深度學(xué)習(xí)可解釋性的第三條道路。他們說解釋深度學(xué)習(xí)的方法可以是簡單地進(jìn)行更深度的學(xué)習(xí)，而不是尋求理解神經(jīng)網(wǎng)絡(luò)或避開它。

 

　　打開黑匣子

 

　　跟很多AI開發(fā)者一樣，作為亞特蘭大佐治亞理工學(xué)院娛樂智能實驗室的負(fù)責(zé)人，Mark Riedl用上世紀(jì)80年代的電子游戲測試其作品。青蛙過河是他最喜歡的游戲之一：玩家讓青蛙穿過車流，到達(dá)彼岸的池塘。訓(xùn)練一個網(wǎng)絡(luò)進(jìn)行專家級的青蛙過河游戲其實非常容易，但是解釋AI在其中所做的事卻很難。

 

　　Riedl沒有對神經(jīng)網(wǎng)絡(luò)進(jìn)行探究，而是讓人類受試者去玩這個游戲，并且通過讓人們實時發(fā)聲描述他們的策略。Riedl在游戲代碼中記錄了那些玩家的評論：“噢，有一輛車沖我來了，我需要往前跳。”Riedl訓(xùn)練了第二個神經(jīng)網(wǎng)絡(luò)對語言進(jìn)行翻譯，把代碼譯為英文。

 

　　然后他把這個轉(zhuǎn)譯網(wǎng)絡(luò)及初始的游戲網(wǎng)絡(luò)進(jìn)行連接，生成了一個可以進(jìn)行表達(dá)的綜合性AI，當(dāng)它停在小路上時，AI會說，“在移動之前我正在等待打開一個洞。”當(dāng)被卡在屏幕邊緣時，AI也會沮喪，咒罵和抱怨。

 

　　Riedl把此方法叫做“合理化”，他設(shè)計這種方法幫助用戶理解家庭機器人、自動駕駛汽車等機器。“如果我們不能質(zhì)疑它們?yōu)槭裁催@么做，并讓它們給出合理的回答，那人們只能把AI束之高閣。”Riedl說道。但那些解釋又引起另外一個問題，他補充道：“在人類失去信任之前，合理化會錯到何種程度？”

 

　　像Riedl一樣，Yosinski也已經(jīng)使用了第二個AI系統(tǒng)幫助其理解第一個系統(tǒng)。

 

　　首先，Yosinski更新了分類器來生成圖片，而不是對圖片進(jìn)行標(biāo)注。然后，他和同事給它進(jìn)行靜態(tài)著色，并且通過它給請求對象發(fā)送信號，比如“更多火山”。最終，他們假設(shè)，網(wǎng)絡(luò)會把噪聲融入火山框圖中。而且，AI和人類看見的東西是不同的。

 

　　接下來，這個隊伍對它的圖片使用了生成對抗網(wǎng)絡(luò)（GAN）。就這樣，在圖像的訓(xùn)練數(shù)據(jù)集中，“生成器”學(xué)習(xí)生成圖像的規(guī)則，并能創(chuàng)造合成型圖像。第二個“對抗網(wǎng)絡(luò)”會試圖檢測圖像結(jié)果是真是假，促使生成器再一次進(jìn)行嘗試。這個反復(fù)過程最終會生成包含人眼可識別特征的粗略圖像。

 

　　該GAN現(xiàn)在能夠綁定到任何解決圖像問題的網(wǎng)絡(luò)。Yosinski已經(jīng)使用它來識別網(wǎng)絡(luò)中的問題，為任意圖像編寫描述。但Yosinski說，這只是個開端，還有大片的空白需要彌補。