2014年，SpaceX的首席執(zhí)行官埃隆·馬斯克發(fā)了一條推特：“博斯特羅姆的《超級(jí)智能》值得一讀，對(duì)人工智能一定要萬(wàn)分小心，它可能比核彈還危險(xiǎn)。”同一年，劍橋大學(xué)宇宙學(xué)家霍金對(duì)BBC說(shuō)：“開(kāi)發(fā)完整的人工智能可能導(dǎo)致人類滅亡。”微軟創(chuàng)始人之一比爾·蓋茨也曾警惕地表示：“我是對(duì)超級(jí)智能感到擔(dān)憂的那一派。”
2008年，計(jì)算機(jī)科學(xué)家埃利澤·尤得庫(kù)斯基在《全球?yàn)?zāi)難風(fēng)險(xiǎn)》中刻畫(huà)了AI滅世的場(chǎng)景：“AI的智力從阿米巴一路上升到村里的笨蛋那個(gè)級(jí)別，然后止步于人類天才的水平，這樣的可能性有多大？”他自己的回答是：“從物理上說(shuō)，我們有可能造出一臺(tái)運(yùn)算速度百萬(wàn)倍于人腦的計(jì)算機(jī)。如果人腦加速到這個(gè)水平，那么從前需要思考一年的問(wèn)題，現(xiàn)在31秒之內(nèi)就能解決。而這就意味著，外界才過(guò)八個(gè)半小時(shí)，內(nèi)心就已經(jīng)感覺(jué)經(jīng)歷了近千年的思考時(shí)間。”尤得庫(kù)斯基認(rèn)為，現(xiàn)在不為這個(gè)問(wèn)題著想，以后就來(lái)不及了：“AI的時(shí)間觀念和你我不同，等到你的神經(jīng)元想好‘我該做點(diǎn)什么’時(shí)，你就已經(jīng)輸了。”
這派想法的代表是牛津大學(xué)哲學(xué)家尼克·博斯特羅姆在《超級(jí)智能》一書(shū)中提出的所謂“回形針量產(chǎn)機(jī)”的思維實(shí)驗(yàn)：人類設(shè)計(jì)了一臺(tái)AI來(lái)造回形針，它在耗盡了最初的原料之后，就開(kāi)始竭力搜索一切可用的材料，包括人類身上的那些。博斯特羅姆在2003年的一篇論文中寫(xiě)道，只要這個(gè)頭一開(kāi)，AI就會(huì)“先將整個(gè)地球耗盡，甚至進(jìn)一步利用周圍更大范圍內(nèi)的所有材料，把它們都改造成一部部生產(chǎn)回形針的裝置。”用不了多久，整個(gè)宇宙就只剩下回形針和生產(chǎn)回形針的機(jī)器了。
我對(duì)這個(gè)設(shè)想持懷疑的態(tài)度。第一，這個(gè)末日?qǐng)鼍靶枰獫M足一連串條件才能實(shí)現(xiàn)，中間任何一個(gè)環(huán)節(jié)出錯(cuò)，末日的戲碼都無(wú)法上演。英國(guó)西英格蘭大學(xué)的電氣工程教授艾倫·溫菲爾德在2014年的一篇文章中這樣寫(xiě)道：“假如我們?cè)斐隽撕腿祟愊喈?dāng)?shù)腁I，假如這部AI明白了自身的工作原理，又假如它能將自己改進(jìn)成具有超級(jí)智能的AI，再假如這個(gè)超級(jí)AI出于無(wú)意或惡意開(kāi)始消耗資源，還要假如我們沒(méi)能拔掉它的插頭？到那時(shí)，我們才可能遇到麻煩。這風(fēng)險(xiǎn)不是沒(méi)有，只是概率甚微。”
第二，AI的研發(fā)其實(shí)要比預(yù)測(cè)的緩慢得多，其中每一個(gè)步驟，人類都有時(shí)間叫停。就像谷歌董事長(zhǎng)埃里克·施密特在回復(fù)馬斯克和霍金時(shí)所說(shuō)的那樣：“你們覺(jué)得人類會(huì)注意不到嗎？注意到之后，不會(huì)去關(guān)掉那些電腦嗎？”谷歌的DeepMind公司已經(jīng)發(fā)展出了一個(gè)關(guān)閉AI的開(kāi)關(guān)，它被戲稱為“緊急紅按鈕”，可以在AI意圖造反時(shí)按下。百度首席科學(xué)家吳恩達(dá)也表示（針對(duì)馬斯克的話），有人“還沒(méi)登上火星，就開(kāi)始擔(dān)憂火星上的人口問(wèn)題了。”
第三，AI滅世論的依據(jù)往往是天然智能和人工智能之間的錯(cuò)誤類比。2015年，哈佛大學(xué)的實(shí)驗(yàn)心理學(xué)家斯蒂芬·平克在回答Edge網(wǎng)站年度問(wèn)題“你對(duì)會(huì)思考的機(jī)器有什么看法”時(shí)，對(duì)這一點(diǎn)做了說(shuō)明：“AI災(zāi)難論者都在智能的概念中投射了狹隘的大男子心態(tài)。他們假定智力超越人類的機(jī)器人會(huì)制定出罷免主人或是統(tǒng)治世界的目標(biāo)。”但實(shí)際上，平克指出，人工智能同樣可能“沿著女性的路線進(jìn)化：既能熟練地解決問(wèn)題，又沒(méi)有消滅無(wú)辜者或主宰人類文明的欲望。”
第四，電腦“想做”某事的說(shuō)法（比如想把世界變成回形針）意味著電腦有了情緒，但是就像科普作家邁克爾·喬羅斯特指出的那樣：“一旦AI對(duì)某事有了向往，它就進(jìn)入了一個(gè)獎(jiǎng)賞與懲罰的世界，比如它會(huì)知道，做了壞事就要受到我們的懲罰。”
考慮到歷史上的末日預(yù)言還沒(méi)有一個(gè)應(yīng)驗(yàn)，再加上AI幾十年來(lái)的發(fā)展一向平緩，我們應(yīng)該有充裕的時(shí)間建立一套安全體系，以防止AI毀滅世界的事情發(fā)生。
