《人機對齊：如何讓人工(gong)智能(neng)學(xue)(xue)習(xi)人類價(jia)值觀》 [美]布萊恩·克里斯汀(ting) 著唐璐譯(yi) 湖南科學(xue)(xue)技術出版社出版　　■唐山(shan)

　　多倫多大學經濟學家甘斯希望女(nv)兒(er)能照顧小(xiao)弟(di)(di)弟(di)(di)上廁所，他想出一個“好辦(ban)法”：每幫小(xiao)弟(di)(di)弟(di)(di)上一次廁所，女(nv)兒(er)可得一塊糖(tang)果。女(nv)兒(er)很快找到竅(qiao)門(men)：不斷給小(xiao)弟(di)(di)弟(di)(di)喂(wei)水，讓(rang)他多上廁所，以(yi)得到更多糖(tang)果……

　　甘斯遭遇了(le)(le)典型的“對齊問(wen)題”：行動與目標(biao)不(bu)統一，“需要A卻獎(jiang)勵了(le)(le)B”。

　　在(zai)(zai)人類史(shi)上，“對(dui)齊(qi)問題”一次次帶來(lai)困擾(rao)，隨著人工智能（以下簡寫為(wei)AI）出現，“人機對(dui)齊(qi)”成了難(nan)題——AI可(ke)打敗世界上最(zui)好的(de)棋手，我(wo)們卻不(bu)知它是如何做到(dao)的(de)。隨著人類越來(lai)越依(yi)賴AI，風險真地可(ke)控嗎？我(wo)們會(hui)不(bu)會(hui)落入科幻短片《戰爭的(de)最(zui)后一天》里的(de)悲慘境地（人類滅絕，AI仍在(zai)(zai)自(zi)動作(zuo)戰）？

　　《人(ren)機對(dui)齊》是一本不太(tai)好讀的書，全書分(fen)三(san)篇，即“預警”“自(zi)主”與“示范”，彼此(ci)關聯不大，甚至同篇各章間(jian)的邏(luo)輯(ji)關系亦不明顯(xian)。或因(yin)本書旨趣不在(zai)于說明“AI已發展到什么(me)地步”，而在(zai)于由此(ci)引(yin)發的思考(kao)。

　　從這(zhe)個意(yi)義(yi)看，《人(ren)(ren)機對齊》不(bu)只是(shi)科(ke)普書，更是(shi)通識書，人(ren)(ren)人(ren)(ren)都有閱讀(du)它(ta)的必(bi)要(yao)，它(ta)應成(cheng)為現代常識的組成(cheng)部分——不(bu)了解這(zhe)些常識，你會被(bei)現代社會“開除”。

　　不是技術問題，而是社會問題

　　玩(wan)家知道，所有電子游戲都(dou)有“暗關(guan)(guan)”。比如玩(wan)《魂(hun)斗羅》，可反復打較低級的關(guan)(guan)，刷分換武器(qi)，則過難關(guan)(guan)會更容易(yi)；再如老版《FIFA》，下底傳中(zhong)必進(jin)，借此大招(zhao)，操(cao)縱中(zhong)國隊也能(neng)拿世界杯……許多“暗關(guan)(guan)”來自設計失(shi)誤(wu)，不(bu)論程序員們怎樣小心，也無法完全(quan)避免類似失(shi)誤(wu)。

　　隨(sui)著AI發展，失誤變得越來越不可容(rong)忍。

　　2015年，來自海(hai)地的(de)網絡開發者阿(a)爾(er)西(xi)(xi)內(nei)(nei)利用谷歌照片(pian)軟(ruan)件，在網上分享了自己和親友的(de)照片(pian)，讓阿(a)爾(er)西(xi)(xi)內(nei)(nei)震驚的(de)是，他們的(de)照片(pian)竟(jing)被(bei)歸(gui)類為“大(da)猩(xing)猩(xing)”。谷歌的(de)技術團(tuan)隊(dui)迅速(su)響應，可幾個(ge)(ge)小時(shi)后，問題依舊，谷歌只好關(guan)閉了“大(da)猩(xing)猩(xing)”這(zhe)個(ge)(ge)標(biao)簽。直到(dao)三年后，用谷歌搜(sou)大(da)猩(xing)猩(xing)，仍看不到(dao)任何一(yi)張照片(pian)。

　　軟件是怎么“學(xue)會”種(zhong)族主義的(de)？實際(ji)上(shang)，技(ji)術錯誤(wu)從(cong)來不只是技(ji)術本身(shen)的(de)問題。19世紀照相(xiang)最多的(de)美國人(ren)(ren)(ren)不是林肯、格蘭特(te)，而是弗雷(lei)德里克·道(dao)格拉斯(si)，一位廢奴主義者，他發現，照片(pian)上(shang)的(de)黑人(ren)(ren)(ren)特(te)別難看，因膠片(pian)均依白(bai)人(ren)(ren)(ren)模特(te)校(xiao)準，形成化(hua)學(xue)配方，拍(pai)出的(de)黑人(ren)(ren)(ren)則千人(ren)(ren)(ren)一面。

　　解決該(gai)問題似(si)乎(hu)不難(nan)，多(duo)找黑人(ren)模特即(ji)可。同(tong)理，增(zeng)加黑人(ren)照片，谷(gu)歌(ge)軟(ruan)件的識別(bie)率(lv)會(hui)更準確。

　　然(ran)而，結果(guo)適得(de)其(qi)反：IBM用AI開發了招聘(pin)軟件(jian)，輸入100份(fen)(fen)簡(jian)歷，選出5份(fen)(fen)最好的(de)(de)(de)——幾乎都是男性(xing)(xing)。程(cheng)序(xu)(xu)員關(guan)閉了性(xing)(xing)別(bie)選項，卻無(wu)法(fa)改(gai)(gai)變(bian)結果(guo)。因(yin)為AI會(hui)通過(guo)關(guan)聯信(xin)息，自動將女性(xing)(xing)排(pai)除(chu)。比如，它會(hui)把“上一年沒(mei)有(you)(you)工作”的(de)(de)(de)簡(jian)歷標(biao)注為不(bu)合(he)格，于是所(suo)有(you)(you)剛(gang)生育的(de)(de)(de)女性(xing)(xing)均遭(zao)拒(ju)。類(lei)似的(de)(de)(de)標(biao)簽無(wu)所(suo)不(bu)在，改(gai)(gai)不(bu)勝改(gai)(gai)。程(cheng)序(xu)(xu)員們(men)最后發現，他們(men)面對的(de)(de)(de)不(bu)是技(ji)術問(wen)題，而是社(she)會(hui)問(wen)題——人類(lei)社(she)會(hui)處(chu)(chu)處(chu)(chu)都有(you)(you)性(xing)(xing)別(bie)標(biao)簽，通過(guo)這些標(biao)簽，女性(xing)(xing)總會(hui)被(bei)辨(bian)認出來，被(bei)視為缺乏競爭力者(zhe)。單靠(kao)技(ji)術，已(yi)無(wu)法(fa)解決。

　　無法突破的“不可能性原理”

　　上世紀80年代，美國司法(fa)開(kai)始用AI判斷囚犯可(ke)否假釋，2000年時，已(yi)有26個州如此進行。研究者發現了其中漏洞：黑人初(chu)犯者被(bei)(bei)評(ping)為(wei)高風(feng)險(xian)，但他(ta)們不再犯罪的可(ke)能性(xing)是白(bai)人的兩倍，白(bai)人初(chu)犯者反而被(bei)(bei)評(ping)為(wei)低風(feng)險(xian)。

　　這一(yi)發現引發輿情激蕩，人們紛紛要(yao)求去掉該系統(tong)的種(zhong)族(zu)標簽(qian)，結(jie)果(guo)卻發現，落入IBM招聘系統(tong)一(yi)樣的困境——假釋系統(tong)會(hui)通過其他(ta)標簽(qian)，重新進行種(zhong)族(zu)篩(shai)選，但如(ru)把(ba)相(xiang)關標簽(qian)全撤掉，AI又會(hui)失去判斷能力。

　　研究者(zhe)們發現，一切判斷(duan)都存(cun)在著(zhu)“不可(ke)能性原理”，這(zhe)在數學(xue)上得到了(le)證明：沒(mei)有標簽，就不可(ke)能做判斷(duan)；有標簽，又必然有偏見，“原則(ze)上，任何風險評(ping)分天生都會被批評(ping)為有偏見”。

　　AI開發無(wu)法繞過兩(liang)大難(nan)題：

　　首先，道德無法客(ke)觀化。道德選擇(ze)沒(mei)有固定標準，會隨情境的(de)改變而變，人類(lei)常(chang)常(chang)無法回答“什么是(shi)真正重(zhong)要的(de)”，AI更(geng)做不到。

　　其(qi)次(ci)，精(jing)準預(yu)測無(wu)法(fa)減少風(feng)險。人(ren)類喜歡更(geng)精(jing)準的(de)(de)預(yu)測，從而掉進“預(yu)測陷阱”，事實上，造(zao)成(cheng)結果的(de)(de)原因是多元的(de)(de)，預(yu)測再精(jing)準，也(ye)(ye)無(wu)法(fa)影響結果。美國芝加哥市(shi)曾列“危險擁(yong)槍(qiang)者”名單，據說(shuo)他們比(bi)其(qi)他人(ren)死于(yu)兇(xiong)殺案的(de)(de)比(bi)例高232倍，即使如此，他們被槍(qiang)殺的(de)(de)概率(lv)也(ye)(ye)僅有0.7%，如何從1000人(ren)中(zhong)找到(dao)這(zhe)7個人(ren)呢？折騰1000人(ren)，真能挽救(jiu)這(zhe)7個人(ren)？在《反對預(yu)測》中(zhong)，作者哈科(ke)特寫道：男(nan)司機易出事故，可(ke)是嚴查男(nan)司機，會鼓勵女(nv)司機變得更(geng)魯莽，車禍率(lv)并(bing)未下降。

　　不給答案，因為根本給不出答案

　　AI模仿了人腦的工作方式，通過大量案例訓(xun)練，總結出“經(jing)(jing)驗”，獲(huo)得判斷力。可(ke)這些“經(jing)(jing)驗”正確嗎？比(bi)如一款AI診病(bing)軟件，研究者(zhe)驚訝地發現，它得出的“經(jing)(jing)驗”是：肺病(bing)患(huan)者(zhe)如有哮喘病(bing)，屬(shu)低風險。胸痛有好處。

　　心臟病有好處。

　　超過(guo)100歲有好處。

　　這些逆天的“經驗(yan)”，可能來自相關患者屬高(gao)(gao)風險，會被特殊照顧，但AI不知全過程，只知他們(men)經特殊照顧后，痊愈率較高(gao)(gao)，便(bian)認定“有好處”。

　　AI的大(da)多數(shu)“錯誤經驗”之所(suo)以(yi)不可知，是因為(wei)(wei)它模(mo)仿了人類(lei)的神經系統(tong)，作為(wei)(wei)人類(lei)，我們(men)自(zi)(zi)己也不知自(zi)(zi)己有多少“錯誤經驗”，以(yi)及(ji)它們(men)形成的原(yuan)理。通過可視(shi)化技術，研(yan)究者(zhe)們(men)發現(xian)，AI的底層(ceng)充滿荒(huang)謬。

　　比如(ru)判(pan)斷“什么是啞(ya)鈴”，AI會(hui)(hui)把手(shou)臂、肉色的(de)、超(chao)現(xian)實的(de)圖案都算(suan)成啞(ya)鈴，試錯后，這些(xie)“經驗”被否定，但并(bing)沒消失(shi)，而是滯(zhi)留在底層。人類會(hui)(hui)情緒失(shi)控，我們能模糊地感到，這與底層“經驗”相關，那么“把啞(ya)鈴誤認(ren)作手(shou)臂”會(hui)(hui)不會(hui)(hui)帶來長(chang)期影響？

　　AI正深(shen)入生活的(de)方方面面，自動駕駛(shi)、醫療、城市管理、戰爭……誰能保證AI的(de)底層經驗不犯(fan)錯？人類從沒(mei)真正掌(zhang)控(kong)好自我，引(yin)發(fa)一次次災難，我們真能掌(zhang)控(kong)好AI嗎？

　　本書第二篇、第三篇將焦(jiao)點轉向AI發(fa)展(zhan)史(shi)，描述了研究者們的突破歷(li)程，包括(kuo)從單任(ren)務(wu)轉向多任(ren)務(wu)，用單一AI在不同游戲中取勝(sheng)；從外部(bu)激勵轉向AI自我激勵；通過模(mo)仿、逆強化學習等，使AI更強大(da)……

　　然而(er)，更強大(da)的(de)AI不(bu)等于“人機對齊”，AI實際上在“強制執(zhi)行自己有局(ju)限的(de)理解”，它的(de)目的(de)未必(bi)是(shi)人類(lei)的(de)目的(de)。

　　當(dang)然，在牛津(jin)大學教授博斯特(te)羅姆等(deng)激進進化(hua)主義者看來(lai)(lai)，這些都不是(shi)問題。他計(ji)算出，未(wei)來(lai)(lai)星(xing)際(ji)文(wen)明非常強大，今天(tian)耽誤的每(mei)一秒，都相當(dang)于失去將來(lai)(lai)的100萬(wan)億人的生(sheng)命，每(mei)向未(wei)來(lai)(lai)世界前進1%，都等(deng)于技術加速1000萬(wan)年(nian)。因此即使AI有風險，也應(ying)全力推(tui)動。

　　研究者施萊格里(li)斯則說：“如果(guo)有一個(ge)神奇(qi)的(de)(de)(de)按鈕，可(ke)以(yi)把人類變成一樣(yang)的(de)(de)(de)為幸福而優化的(de)(de)(de)笨(ben)蛋，他(ta)們會按下它……幾(ji)年前，我也鼓吹這樣(yang)做。”但(dan)現在，他(ta)的(de)(de)(de)看法改變了：“我認為不應該按那個(ge)按鈕。”

　　對此(ci)，《人機(ji)對齊》沒給出答案，因為根(gen)本給不出答案。

　　我們乃至歷史，也許都是“AI”

　　雖然本書用大量篇(pian)幅在講述AI發展的(de)(de)細節，但我更喜歡的(de)(de)，還是書中(zhong)的(de)(de)“跑題”部分(fen)——為強化AI，研(yan)究者深(shen)入研(yan)究了人類自身智能的(de)(de)產生過程，得出的(de)(de)見解振聾(long)發聵：我們每個人可能都是世界訓練(lian)出來的(de)(de)“AI”。

　　人類擁有智能，源頭是趨利避害的本(ben)能，在(zai)多巴(ba)胺的簡單獎勵下(xia)，塑造(zao)出(chu)復(fu)雜行為——并不是做對了，多巴(ba)胺才獎勵快感，而是做新(xin)奇的事時，多巴(ba)胺才會(hui)給獎勵。

　　所以(yi)，人(ren)(ren)類喜歡(huan)刺激、冒(mao)險和挑戰。不斷嘗試，就(jiu)有(you)了更多試錯機會，通過試錯，人(ren)(ren)類智能得以(yi)成長。人(ren)(ren)類生活(huo)的世(shi)界(jie)就(jiu)是“有(you)效的課程”，它像一(yi)個大型游戲(xi)。這就(jiu)可以(yi)理解，為(wei)(wei)什(shen)么電子游戲(xi)讓人(ren)(ren)難(nan)以(yi)自(zi)拔，因為(wei)(wei)它比(bi)現實世(shi)界(jie)的獎勵更直接。

　　在現實世界中，人(ren)在進化，決定成(cheng)敗的核(he)心因素，是(shi)“獎(jiang)勵(li)(li)的稀(xi)疏性”。比如(ru)為了讓人(ren)類學(xue)會(hui)(hui)飛(fei)，讓人(ren)從懸崖(ya)往下(xia)跳，不會(hui)(hui)飛(fei)便摔死(si)——這并非(fei)聰明(ming)的辦(ban)法。在會(hui)(hui)飛(fei)與(yu)不會(hui)(hui)飛(fei)之間，有無數環(huan)節，如(ru)在每個環(huan)節都設置獎(jiang)勵(li)(li)，人(ren)類最(zui)終就能學(xue)會(hui)(hui)飛(fei)；如(ru)獎(jiang)勵(li)(li)太稀(xi)疏，從不會(hui)(hui)飛(fei)直接跨越(yue)到飛(fei)，必然失敗。正(zheng)如(ru)眼(yan)睛，是(shi)經四五(wu)十次進化才(cai)完成(cheng)的。在書中，一位學(xue)者開玩笑說，要(yao)么讓自己的孩子學(xue)會(hui)(hui)中文，要(yao)么就不給飯吃，孩子的母(mu)親明(ming)智地拒絕(jue)了這個建議。

　　作(zuo)者本(ben)想說明研究者通(tong)過改變(bian)稀疏性，提高AI能力，卻(que)給(gei)讀者一(yi)(yi)個(ge)全新的(de)(de)看世界的(de)(de)視角：人類文明的(de)(de)本(ben)質就是一(yi)(yi)個(ge)獎勵結構的(de)(de)故事。沿著(zhu)(zhu)這一(yi)(yi)思路，我們會推演出一(yi)(yi)個(ge)完全不(bu)同于以往“思想——行動(dong)——改變(bian)”的(de)(de)歷史解(jie)釋的(de)(de)結論，推動(dong)進步的(de)(de)力量是多元的(de)(de)，不(bu)論個(ge)體(ti)，還(huan)是群體(ti)，都沿著(zhu)(zhu)稀疏性向(xiang)密集的(de)(de)方向(xiang)發(fa)展，決定歷史的(de)(de)關鍵因是稀疏性，而非想法、技術、制度或(huo)人物(wu)。

　　由此帶來新的認(ren)知危(wei)機：如果人是(shi)受造物，那么(me)自(zi)由是(shi)什么(me)？

　　在(zai)書中，著名思想(xiang)史學者斯金納指出，在(zai)稀疏性面前，人與(yu)老(lao)鼠相(xiang)同。當記者問他：“自由意志還(huan)有位(wei)置(zhi)嗎？”斯金納回答：“它(ta)還(huan)有虛(xu)構(gou)的位(wei)置(zhi)。”哪怕只為(wei)與(yu)這句話相(xiang)遇，《人機對齊》就值(zhi)得一(yi)讀。