在 OpenAI 位于舊金山的辦公室里，研究人員 Dario Amodei 正在通過(guò)賽船冠軍賽（Coast Runners）來(lái)訓(xùn)練人工智能。不過(guò)，這個(gè)人工智能好像有點(diǎn)失控了。

 

　　賽船冠軍賽的游戲規(guī)則很簡(jiǎn)單，如果想贏，選手必須收集到最多的分?jǐn)?shù)，然后跨過(guò)終點(diǎn)線。

 

　　但 Amodei 的人工智能玩著玩著有點(diǎn)過(guò)火了，它在不斷地追求高分，非但毫無(wú)跨過(guò)終點(diǎn)線的意思，反倒為了要多轉(zhuǎn)幾個(gè)圈拿高分，它開(kāi)始和其它賽船碰撞，或是在過(guò)程中自己撞墻爆炸了。

 

　　為了應(yīng)對(duì)，Amodei 和 OpenAI 的同事 Paul Christiano 正在研發(fā)一套不僅可以自我學(xué)習(xí)，同時(shí)也愿意接受人工監(jiān)控的算法。

　　（Amodei 在告知人工智能，怎樣的操作模式才更好）

 

　　在賽船游戲的訓(xùn)練中， Amodei 和同事將不時(shí)通過(guò)按鍵來(lái)指出人工智能的不當(dāng)之處，告知人工智能，不僅要贏分?jǐn)?shù)，同時(shí)也要跨過(guò)終點(diǎn)線。他們認(rèn)為，這種包含了人工干預(yù)成分的算法可以確保系統(tǒng)安全性。

 

　　而在 Google 旗下 DeepMind 的研究人員也同意 Amodei 和同事的想法。兩個(gè)團(tuán)隊(duì)，分別代表了 OpenAI 和 DeepMind，最近罕有地合作發(fā)表了部分人工智能安全方面的研究論文。

　　

　　除此以外，Google 旗下的 Google Brain，以及來(lái)自伯克利大學(xué)和斯坦福大學(xué)的研究團(tuán)隊(duì)，都設(shè)有該方向研究課題，從不同方面考慮人工智能安全問(wèn)題。

 

　　除了這種在自我學(xué)習(xí)過(guò)程中“搞錯(cuò)重點(diǎn)”的潛在危險(xiǎn)，另一個(gè)可預(yù)想的人工智能危險(xiǎn)在于“為了完成任務(wù)，拒絕被開(kāi)發(fā)者關(guān)機(jī)”。

 

　　一般在設(shè)計(jì)人工智能時(shí)，研發(fā)人員都會(huì)給它設(shè)定“目標(biāo)”，就像賽艇游戲中的“得分”一樣。一旦人工智能將獲得“分?jǐn)?shù)”為終極目標(biāo)，它可能會(huì)產(chǎn)生一個(gè)方法論——想要獲得更加多的分?jǐn)?shù)，其中一個(gè)方法就是不關(guān)閉自己，這樣就能無(wú)止境地獲取分?jǐn)?shù)了。

 

　　伯克利大學(xué)的研究人員 Dylan Hadfield-Menell 和團(tuán)隊(duì)最近發(fā)布了討論這個(gè)問(wèn)題的論文。他們認(rèn)為，如果在設(shè)計(jì)算法的時(shí)候，讓人工智能對(duì)目標(biāo)保持一定不確定性，它們才有可能愿意保留自己的“關(guān)機(jī)鍵”。他們采用了數(shù)字方式來(lái)嘗試實(shí)現(xiàn)這個(gè)設(shè)置，目前還處于理論階段。

 

　　除了人工智能自我“失控”，研究人員還在考慮黑客對(duì)人工智能的干預(yù)影響。

 

　　現(xiàn)代計(jì)算機(jī)視覺(jué)基于深度神經(jīng)網(wǎng)絡(luò)（deep neural networks），它通過(guò)學(xué)習(xí)分析大批量數(shù)據(jù)來(lái)形成對(duì)模式的了解。也就是說(shuō)，如果要讓計(jì)算機(jī)學(xué)會(huì)什么是“狗”，那就讓它分析大批量狗的圖片，并從中尋找規(guī)律。

 

　　但 Google 的 Ian Goodfellow 則認(rèn)為，這種模式可能會(huì)為黑客提供“蒙騙”人工智能的機(jī)會(huì)。Goodfellow 和其它研究人員曾展示，只要修改圖片中的幾個(gè)特定像素，他們就能讓神經(jīng)網(wǎng)絡(luò)相信圖片中的大象是一輛汽車(chē)。

 

　　如果這個(gè)神經(jīng)網(wǎng)絡(luò)是應(yīng)用在安保鏡頭的話，這樣就問(wèn)題大了。

 

　　即便你用了數(shù)百萬(wàn)張標(biāo)志了‘人’的照片來(lái)訓(xùn)練一個(gè)物件識(shí)別系統(tǒng)，你還是可以輕易拿出系統(tǒng)和人工識(shí)別 100% 不同意的圖片。我們需要認(rèn)清這種現(xiàn)象。

 

　　Goodfellow 說(shuō)道。雖然這些研究大多仍處于理論階段，但這群致力于將意外扼制于搖籃的研究人員堅(jiān)信，越早開(kāi)始考慮這個(gè)問(wèn)題越好。DeepMind 人工智能安全方面的負(fù)責(zé)人 Shane Legg 說(shuō)道：

 

　　雖然我們還不能確定，人工智能將以多塊地速度發(fā)展。但我們的責(zé)任是嘗試?yán)斫獠⒉聹y(cè)，這種技術(shù)將有可能以哪種方式被誤用，并嘗試找出不同的應(yīng)對(duì)方式。