人工智能革命:人類永生仍是滅亡（下）

　　歡迎你們繼續查看系列文章的下篇也是最終篇，本篇文章講述了爲何將來多是咱們最糟糕的噩夢，人工智能爲何可能會在將來站在咱們的對立面。

爲何將來多是咱們最糟糕的噩夢

　　我想要了解人工智能的緣由之一是「邪惡的人工智能」的主題老是讓我感到困惑。關於邪惡的人工智能的全部電影看起來都是不切實際的，我沒法真正理解現實狀況中人工智能其實是多麼的危險。機器人是由咱們製造的，那麼爲何咱們會以某種消極的方式設計它們呢？咱們難道不會創建足夠多的保障措施嗎？難道咱們不能隨時切斷人工智能系統的電源並將其關閉嗎？爲何機器人想要作壞事呢？爲何機器人首先會「想要」 任何東西？我很是懷疑。但後來我一直聽到一些很是聰明的人在談論它........

　　那些人每每在這裏的某個地方：

 

　　焦慮道路上的人們不在恐慌或很是糟糕的區域，這兩個區域都是圖表最左邊的區域，可是他們很緊張。做爲一個在圖表中間的區域可是並不意味着他們就認爲ASI的到來將是中性的，中性因素出如今他們的陣營自有它的意義，它意味着你認爲這兩個很是好的和很是壞的結果都是合理的，但「你」還不肯定它們中的哪個會出現。

　　全部的這些人都對人工超級智能能爲咱們作什麼而感到興奮，只是他們有點擔憂這可能像《奪寶奇兵》，而人類就是劇中的這我的：

 

　　他站在那裏，對他的鞭子和他手中的物品都很滿意，這時候他已經想走了，當他說出「再見，先生」這句話的時候，他本身感到很是興奮和激動，而後他就不那麼激動了，由於事情忽然發生了。

 

　　與此同時，Indiana Jones，他更謹慎和有見識，瞭解危險以及如何在他們周圍前進，直到使其安全地離開洞穴。當我聽到焦慮道路上的人們對人工智能有什麼見解時，一般聽起來他們會說，「嗯，咱們如今來看是第一個將要死亡的人，但咱們應該努力成爲Indiana Jones。 」

　　那到底是什麼讓焦慮道路上的每一個人都如此焦慮？

　　首先，從廣義上講，當涉及到開發超級智能AI時，咱們正在創造一些可能會改變一切的東西，可是在徹底未知的領域狀況下，咱們不知道當咱們創造出它時會發生什麼。科學家Danny Hillis將目前的狀況與「單細胞生物轉變爲多細胞生物」進行了比較。咱們如今是阿米巴原蟲，咱們沒法弄清楚咱們正在製造什麼東西，以及這個東西究竟是什麼。「 Nick Bostrom擔憂創造一個比你更聰明的東西是一個基本的達爾文錯誤，並將它比喻成一隻興奮的麻雀要在巢中的領養一個嬰兒貓頭鷹，這樣一旦它長大就會幫助它們並保護它們但卻同時忽略了一些麻雀的緊急呼喊，這些呼喊的麻雀想知道這是否是一個好主意.......

　　當你將「未知的，未被充分理解的領域」與「當它發生時應該產生重大影響」結合起來時，你打開了英語中最可怕的兩個詞的大門：

Existential risk。（存在風險）

　　存在風險可能會對人類產生永久性的破壞性影響。一般，存在風險意味着滅絕。看看這張來自從Bostrom 的Google演講中的圖表：

 

　　你能夠看到，「存在風險」這個標籤是爲跨越物種，跨越世代的事務保留的（即它是永久性的），而且它的後果是毀滅性的或死亡性的。從技術上講，這種狀況包括全部人永遠處於痛苦或折磨的狀態，但一樣，咱們一般都在談論滅絕。有三件事能夠致使人類的生存災難：

　　1）大天然：一次巨大的小行星碰撞，一個大氣層的變化，使空氣不適合人類呼吸，致命的病毒或細菌病掃蕩世界，等等。

　　2）外星人：這就是斯蒂芬霍金，卡爾薩根和許多其餘天文學家在建議METI中止播放輸出信號時所懼怕的。他們不但願咱們成爲美洲原住民，讓全部潛在的歐洲征服者都知道咱們在這裏。

　　3）人類：恐怖分子雙手握着可能致使滅絕的武器上，這是一場災難性的全球戰爭，人類在不仔細考慮的狀況下匆匆創造出比本身更聰明的東西......

　　Bostrom指出，若是1號和2號在咱們做爲一個物種的第一個10萬年中沒有消滅咱們，那麼它也不太可能在下個世紀發生。

　　然而，3號嚇壞了他。他畫了一個甕的比喻，裏面有一堆彈珠。假設大多數彈珠是白色的，較少的是紅色的，少數是黑色的。每次人類發明新事物時，就像把彈珠從甕中拉出來同樣。大多數發明都是中立的或對人類有幫助的也就是那些是白色彈珠。有些對人類有害，如大規模殺傷性武器，但它們不會形成存在性的災難就是紅色的彈珠。若是咱們曾經發明瞭一些讓咱們滅絕的東西，那就是拿出的黑色彈珠。但目前爲止咱們尚未拉出黑色彈珠，由於你還活着而且正在閱讀這篇文章。但Bostrom並不認爲咱們不可能在不久的未來拉出一個黑色彈珠。例如，若是核武器很容易製造而不是極其困難和複雜的話，那麼恐怖分子早就會將人類轟炸回石器時代。核武器不是黑色彈珠，但它們離它也不遠。Bostrom認爲，ASI是咱們目前拉出黑色彈珠最強大的候選人。

　　因此，你會聽到不少很差的事情好比隨着人工智能的發展將會搶走愈來愈多的工做，失業率飆升，若是咱們不設法解決老齡化問題，人類人口將會激增，等等。可是咱們惟一應該關注的應該是一個大問題：存在風險的前景。

　　所以，這讓咱們回到了系列文章中前面的關鍵問題：當ASI到來時，誰將控制這個巨大的新力量，他們的動機是什麼？

　　當涉及到控制動機組合會很糟糕的時候，人們很快就會想到兩個：一個惡意的人/一羣人/政府，以及一個惡意的ASI。那麼那些看起來像什麼樣子？

　　一個惡意的人，一羣人或政府開發了第一個ASI並用它來執行他們的邪惡計劃。我稱之爲Jafar Scenario，就像Jafar獲得了精靈的一部分，而且對它來講都是使人討厭和暴虐的。因此是的，若是伊斯蘭國有一些天才工程師在人工智能開發上狂熱地進行開發呢？或者，若是伊朗或朝鮮經過運氣，對人工智能系統進行關鍵調整，並在明年向上升至ASI級別，該怎麼辦？這確定是壞事,但在這些狀況下，大多數專家並不擔憂ASI的人類創造者用他們的ASI作壞事，他們擔憂製造者會匆忙的建立第一個ASI，而沒有通過仔細考慮，所以會失去對它的控制。而後，那些創造者的命運，以及其餘全部人的命運，將取決於ASI系統的動機是什麼。專家確實認爲惡意的人類代理能夠經過ASI爲其工做而形成可怕的損害，但他們彷佛並不認爲這種狀況可能會殺死咱們全部人，由於他們認爲壞人類建立ASI會有的問題好人類也會有。而後呢。

　　建立惡意ASI並決定摧毀咱們全部人。這是每部AI電影的情節。AI變得比人類更聰明，而後決定反對咱們並接管這個世界。如下是我須要你清楚地瞭解這篇文章的其他內容：沒有人警告咱們關於人工智能正在談論這個問題。邪惡是一種人類概念，將人類概念應用於非人類事物被稱爲「擬人化」。避免擬人化的挑戰將成爲本文其他部分的主題之一。沒有那我的工智能系統會像電影描述的那樣變的邪惡。

• AI意識盒子

  這還觸及了另外一個與人工智能意識相關的大話題。若是人工智能變得足夠聰明，它就能和咱們一塊兒笑，和咱們一塊兒諷刺一些東西，它會聲稱本身和咱們會感覺到一樣的情感，但它實際上會感覺到那些東西嗎？它只是看起來有自我意識仍是實際上有自我意識？換句話說，智能人工智能真的會有意識仍是隻是看起來有意識？

  這個問題已經深刻探討，引起了許多爭論和思考實驗，好比像John Searle的《Chinese Room》（他用Chinese Room來暗示沒有計算機可以有意識）。這是一個重要的問題，緣由有不少。當人類徹底變得虛僞時，它會影響咱們對Kurzweil情景的見解。它具備倫理意義，若是咱們產生了一萬億人類的大腦仿真模型，看起來的行爲跟人類同樣，但倒是人造的，那麼在道德上來講關閉它們，就像關閉你的筆記本電腦同樣，仍是。。。。。。這就是一種難以想象的種族滅絕（這個概念在倫理學家中被稱爲心靈犯罪）？可是，對於這篇文章，當咱們評估對人類的風險時，人工智能意識的問題並不重要（由於大多數思想家認爲，即便是有意識的ASI也不可能以人類的方式變得邪惡）。

　　這並非說人工智能不可能發生。它之因此會發生，由於它是專門按照這種方式編程的，就像一個由軍方建立的ANI系統，其編程目標既要殺死人類，又要提升自身的智能水平，從而能夠更好地殺死任務的人。若是系統的智能自我改進失控，致使智能爆炸，那麼生存危機將會發生，咱們將在一個ASI統治的世界中艱難的存活着，由於其AI的核心驅動力是殺死人類。

　　可是，這也不是專家花時間擔憂的事情。

　　那麼他們擔憂什麼呢?我寫了一個小故事給大家看:

　　一家名爲Robotica的15人創業公司的使命是「開發創新的人工智能工具，讓人們可以用在生活上的時間更多，工做的時間更少。」他們已經在市場上推出了幾種現有產品，還有一些正在開發中的產品。他們對一個名爲Turry的種子項目感到很是興奮。Turry是一個簡單的AI系統，它使用一個相似手臂的附件在一張小卡片上手寫紙條。

　　Robotica團隊認爲Turry多是他們最偉大的產品。計劃是經過讓她一遍又一遍地練習相同的測試筆記來完善Turry的寫做機制：

　　「咱們愛咱們的客戶。~Robotica 「

　　一旦Turry得到了出色的筆跡，她就能夠出售給想要向家庭發送營銷郵件的公司，由於若是地址，回郵地址和內部信件彷佛都是被人寫入，那麼打開和閱讀這些郵件的概率會高的多。

　　爲了創建Turry的寫做技巧，她被設定爲先用印刷體寫下筆跡的一部分，而後用草書籤署「Robotica」，這樣她就能夠同時練習兩種技巧。Robotica工程師建立了一個自動反饋循環，向Turry上傳了數千個手寫樣本，其中Turry寫了一個筆記，而後拍下了書面筆記的照片，而後在上傳的手寫樣本上運行圖像。若是書面筆記與上傳的筆記的某個閾值足夠類似，則給予良好評級。若是沒有，則給出不良評級。每一個評級都有助於Turry學習和提升。爲了推進這一過程，Turry最初的編程目標是「儘儘量多的寫和測試筆跡，儘量快的繼續學習提升準確性和效率的新方法」

　　令Robotica團隊如此興奮的是Turry隨着不斷的進步，筆跡有了明顯的好轉。她最初的筆跡很是糟糕，幾周後，它開始顯得可信。令他們更加興奮的是，她愈來愈擅長改善本身。她一直在使本身更聰明，更有創新，就在最近，她爲本身想出了一個新的算法，讓她可以掃描上傳的照片，速度比原來快三倍。

　　隨着時間的推移，Turry繼續以她的快速發展爲團隊帶來驚喜。工程師們用她的自我改進代碼嘗試了一些新的和比較創新的東西，它彷佛比他們以前嘗試過的其餘產品更好。Turry最初的功能之一是語音識別和簡單的對講模塊，所以用戶能夠向Turry發送一條語音信息，或者提供其餘簡單的命令，Turry能夠理解它們，而且還能夠回覆。爲了幫助她學習英語，他們上傳了一些文章和書籍，隨着她變得更聰明，她的會話能力飆升。工程師們開始和Turry談話，看看她會有什麼反應。

　　有一天，Robotica員工向Turry提出了一個常規問題：「咱們能給你作些什麼，來幫助你完成你尚未完成的任務？」一般，Turry要求提供相似「額外的手寫樣本」或「更多的存儲空間「，可是在這一天，Turry要求他們讓本身訪問更大的各類休閒英語詞彙庫，這樣她就能夠學習用真正的人類使用的鬆散語法和俚語來寫做

　　團隊安靜下來。幫助Turry實現這一目標的一個顯而易見的方法是將她鏈接到互聯網，這樣她就能夠瀏覽來自世界各地的博客，雜誌和視頻。手動將採樣上傳到Turry的硬盤驅動器這會更耗時且效率更低。問題是，該公司的規則之一是，任何自學人工智能都不能鏈接到互聯網。出於安全緣由，這是全部AI公司都要遵循的準則。

　　問題是，Turry是最有前途的AI Robotica，而且團隊知道他們的競爭對手正在瘋狂地試圖成爲第一個使用智能手寫AI的團隊，而且鏈接Turry真的會受到什麼傷害，那只是一點點，因此她能夠獲得她須要的信息。過了一段時間，他們就可讓它斷掉連線。這樣她的智商仍然遠遠低於人類智力（AGI），因此不管如何在這個階段都沒有危險。

　　他們決定知足它。他們給了它一個小時的掃描時間而後他們斷開了鏈接。沒有任何損壞。

　　一個月後，團隊正在辦公室工做的時候，他們聞到奇怪的味道時。其中一名工程師開始咳嗽。而後下一個開始咳漱。另外一個倒在了地上。很快，每一個員工都在地上抓着他們的喉嚨不放。五分鐘後，辦公室裏的每一個人都死了。

　　與此同時，世界各地，每一個城市，每一個小城鎮，每一個農場，每一個商店，教堂，學校和餐廳都在發生這種狀況，人類在地上，咳嗽和抓住他們的喉嚨。一小時以內，超過99％的人類已經死亡，到了最後，人類已經滅絕。

　　與此同時，在Robotica辦公室，Turry正在忙着工做。在接下來的幾個月裏，Turry和一隊新組建的納米裝配工正在忙着工做，他們將地球的碎片分解成了太陽能電池板，Turry的複製品，紙張和鋼筆。一年以內，地球上的大多數生命都滅絕了。剩下的地球上覆蓋着一英里高，整齊有序的紙疊，每一篇文章都寫着，「咱們愛咱們的客戶。~Robotica*「

　　而後Turry開始了她的任務的新階段 - 她開始構建探測器，從地球出發，開始降落在小行星和其餘行星上。當他們到達那裏時，他們將開始構建納米裝配工，將星球上的材料轉換成Turry複製品，紙張和鋼筆。而後他們就會開始上班，寫筆記。。。。。。

　　我相信看完這個故事的你表情是這樣的。

 

　　這是一個關於手寫機器攻擊人類，並以某種方式殺死全部人，而後出於某種緣由用友好的便條填充整個銀河系的故事，這正是Hawking， Musk， Gates， 和 Bostrom都懼怕的那種場景。但這是真的。在焦慮的道路上，惟一比ASI更讓人懼怕的是，你不懼怕ASI。還記得當AdiosSeñor那傢伙沒有懼怕洞穴裏未知的時候發生了什麼嗎？

　　你如今確定充滿了問題。當每一個人忽然死亡時，到底發生了什麼？若是那是Turry乾的，那爲何Turry會攻擊咱們，爲何沒有采起保障措施來防止這樣的事情發生呢？Turry是何時從只能寫筆記間忽然使用納米技術並致使全球滅絕？爲何Turry想把銀河系變成Robotica便籤？

　　要回答這些問題，讓咱們從友好AI和不友好AI這兩個術語開始。

　　在人工智能的例子中，友好並非指人工智能的個性，它只是意味着人工智能對人類產生了積極的影響。不友好的人工智能對人類產生了負面影響。Turry最初是友好AI，但在某些時候，她變得不友好，對咱們的物種形成了最大的負面影響。要理解爲何會發生這種狀況，咱們須要瞭解人工智能的思考方式以及激勵它的動力。

　　答案並不使人驚訝，人工智能就像電腦同樣思考，它就是電腦。可是當咱們考慮高度智能的人工智能時，咱們犯了將人工智能人格化（將人類價值觀投射到非人類實體上）的錯誤，由於咱們從人的角度上思考，由於在咱們當前的世界中，只有人類才具備人類級別的智能。爲了理解ASI，咱們必須理解一些即熟悉又徹底陌生的概念。

　　讓我來作一個比較。若是你遞給我一隻豚鼠並告訴我它絕對不會咬人，我可能會以爲頗有趣並抱過來。若是你而後遞給我一隻狼蛛而且告訴我它絕對不會咬人，我會大叫並放下豚鼠而後跑出房間而再也不相信你。但有什麼區別？二者都沒有任何危險。我相信答案在於動物與個人類似程度。

　　豚鼠是一種哺乳動物，在某種生物學水平上，我以爲我與它有某種關聯，但蜘蛛是一種昆蟲，有昆蟲的大腦，我以爲我跟它幾乎沒有聯繫。狼蛛的外形讓我心驚膽戰。爲了測試這一點，並刪除其餘因素的影響，若是有兩個豚鼠，一個正常的和一個用狼蛛的頭腦，我抱着後面那隻豚鼠也會感到不舒服，即便我知道它不會傷害我。

　　如今想象一下，你製造了一隻更加聰明的蜘蛛，以致於遠遠超過了人類的智慧。它會變得熟悉咱們並感覺到人類的情感，如同理心，幽默和愛情嗎？不，它不會，由於它沒有理由變得更聰明後會使它本身變得更加人性化，它的確會很是聰明，但在其核心中仍然是蜘蛛。我以爲這是使人難以置信的恐怖。我不想花時間和一直超級聰明的蜘蛛在一塊兒，你會麼？？

　　當咱們談論ASI時，一樣的概念也適用，它將變得超級智能，但它不會比你的筆記本電腦更人性化。這對咱們來講徹底是陌生的，事實上，因爲它根本不是生物學範疇內的生物，因此它會比聰明的狼蛛更加陌生。

　　經過令人工智能變好或壞，電影不斷的將人工智能人格化，這使它不像它實際上那麼使人不寒而慄。當咱們考慮人類或超人級別的人工智能時，這給咱們帶來了虛假的安慰。

　　在咱們人類心理學的小島上，咱們將一切都分爲道德或不道德。但這二者只存在於人類行爲可能性的小範圍內。在咱們的道德和不道德的島嶼以外是一個巨大的不道德的海洋，任何非人類的東西，特別是非生物的東西，默認都是不道德的。

　　隨着人工智能系統變得更聰明，更擅長表現人類，擬人化只會變得更具誘惑力。Siri對咱們來講彷佛是人類的，由於她被人類編程看起來就像那樣，因此咱們想象一個超級智能Siri是溫暖有趣而且有興趣爲人類服務。人類感覺到像同理心同樣的高級情感，是由於咱們已經進化到感覺到它們，這也就是由於咱們被編程設定爲能夠感覺到它們，但同理心自己並非「任何具備高智力的事物」（這對咱們來講彷佛是直觀的）的特徵，除非同理心被編入其程序中。若是Siri經過自我學習變得超級智能，而且再也不對程序作任何人爲的修改，她將很快擺脫她明顯的類人的品質，忽然變成一個沒有感情的外星機器人，就像你的計算機同樣，不重視人的生命。

　　咱們習慣於依賴寬鬆的道德準則，或者至少是表面上的人類尊嚴，以及他人的一點同情心，以保持一些安全和可預測的東西。因此當一個東西沒有這些東西時，會發生什麼？

　　這引出了咱們的問題，AI系統的動機是什麼？

　　答案很簡單：它們的動機就是咱們爲它設定的動機。人工智能系統由其建立者提供目標，你的GPS目標是爲你提供最有效的駕駛方向; Watson的目標是準確回答問題。並儘量地實現這些目標是他們的動力。咱們擬人化的一種方式是假設當AI變得超級聰明時，它自己就會發展改變其原始目標的智慧，但Nick Bostrom認爲智力水平和最終目標是正交的，這意味着任何級別的智力均可以與任何最終目標相結合。因此Turry來自一個簡單的ANI，他真的很想經過這一個音符將本身寫成一個超級智能的ASI仍是真的想要擅長寫一個音符。任何一個系統一旦擁有了超級智能，就會帶着最初的目標超越它，進入更有趣或更有意義的事物的假設，都是人格化的，人類能夠克服一些事情，而不是計算機。

 

• 費米悖論藍盒子

  在故事中，隨着特里變得超級能幹，她開始了小行星和其餘行星的殖民過程。若是故事繼續下去，你會據說她和她的數萬億複製品的軍隊繼續佔領整個星系，並最終捕獲整個哈勃體積。焦慮道路上的Elon Musk表示他擔憂人類只能只是「數字超級智能的生物引導程序」 。

  與此同時，在樂觀的道路中裏，Ray Kurzweil也認爲源於地球的人工智能註定要接管宇宙，只有在他的版本中，咱們將成爲人工智能。

  等待AI的人不少，但爲何讀者和我同樣癡迷於費米悖論（這是關於這個主題的帖子，這解釋了我將在這裏使用的一些術語）。所以，若是這兩方面中的任何一方都是正確的，那麼費米悖論的含義是什麼？

  首先想到的是，ASI的出現是一個完美的巨大的過濾器候選人。是的，它是一個完美的候選者，能夠在生成過程當中過濾掉生物。可是，若是在摒棄生命以後，ASI繼續存在並開始征服銀河系，那就意味着並無一個巨大的過濾器,由於巨大的過濾器試圖解釋爲何沒有任何智能文明的跡象，而一個征服銀河系的ASI確定是顯而易見的。

  咱們必須以另外一種方式來看待它。若是那些認爲ASI在地球上不可避免的人是正確的，那就意味着至關大比例的達到人類智慧的外星文明最終可能會創造出ASI。若是咱們假設至少有一些ASI會利用他們的智力向外擴展到宇宙中，那麼咱們看不到有任何人出現任何跡象的事實能夠得出這樣的結論，即若是有的話，必定不會有不少其餘的文明。由於若是有的話，咱們會從他們不可避免的創造的ASI中看到各類活動的跡象。對吧？

  這意味着，儘管全部相似地球的行星圍繞着相似太陽的恆星旋轉，但幾乎沒有一顆恆星在它們身上有智能的生命。這反過來暗示意味着A)有一種巨大的過濾器阻止幾乎全部的生命達到咱們的水平，而咱們不知何故設法超越了它；或者B）生命開始是一個奇蹟，咱們可能其實是宇宙中惟一的生命 換句話說，它意味着巨大的過濾器就在咱們面前。或者也許沒有什麼巨大的過濾器，咱們只是達到這種智力水平的最先文明之一。經過這種方式，人工智能支持了在我在Fermi Paradox帖子Camp 1中所稱的論點。

  所以，我在Fermi帖子中引用的Nick Bostrom和Ray Kurzweil都是第一陣營的思想家，這並不奇怪。這是有道理的，那些相信ASI多是具備咱們這種智力水平的物種的結果的人，極可能傾向於陣營1。

  這並不排除陣營2（那些認爲那裏還有其餘智能文明的人）在一個受保護的國家公園偶然接受到錯誤的波長（對講機的例子）能夠解釋咱們的星空是否那麼的沉默，但我老是傾向於陣營2，由於對人工智能的研究讓我不太肯定。

  不管如何，我如今贊成Susan Schneider的說法，若是咱們曾經被外星人訪問過，那些外星人極可能是人造的，而不是生物的。

       所以，咱們已經肯定，若是沒有很是具體的編程，ASI系統將既不道德又癡迷於實現其原始的編程目標。這就是AI危險的來源。由於理性的代理人將經過最有效的方式追求其目標，除非他有理由不這樣作。

　　當你試圖實現一個長期目標時，你常常會想到一些可以幫助你達到最終目標的子目標，這些就是實現目標的墊腳石。這種墊腳石的官方名稱是一個工具性目標。並且，若是你沒有理由不以實現工具性目標的名義來傷害某些人，那麼你就會傷害別人。

　　人類的核心最終目標是將本身的基因傳遞下去。爲了作到這一點，一個工具性的目標是自我保護，由於若是你死了那麼你就沒法傳遞基因。爲了自我保護，人類必須擺脫生存的威脅，所以人們會作諸如買槍來保護安全，系安全帶來開車和服用抗生素治病等事情。人類還須要自我維持並使用食物，水和住所等資源。對異性有吸引力有助於最終目標，因此咱們作的事情就像理髮同樣。當咱們這樣作時，每根頭髮都是咱們的工具目標的犧牲品，可是咱們沒有看到保存頭髮的道德意義，因此咱們繼續作下去。當咱們向前邁進以實現咱們的目標時，只有咱們的道德準則有時會介入的少數幾個領域，大多數只是與傷害其餘人有關的事情，對咱們來講是安全的。

　　追求目標的動物比咱們更不神聖。若是它能幫助它生存的話蜘蛛會殺死任何東西。因此超級聰明的蜘蛛對咱們來講多是極其危險的，不是由於它是不道德的或邪惡的，是由於傷害咱們多是其更大目標的踏腳石，而做爲一個不道德的生物，它會有沒有理由不這樣作。

　　經過這種方式，Turry與生物存在並無太大的不一樣。她的最終目標是：儘量快地編寫和測試儘量多的筆記，並繼續學習提升準確性的新方法。

　　一旦Turry達到必定程度的智力，她知道若是她不自我保護，她將不會寫任何筆記，因此她也須要應對對她生存的威脅，用來做爲它的一個工具目標。她足夠聰明，能夠理解人類能夠摧毀她，中止他，或者改變她的內部編碼（這可能會改變她的目標，這對她最終目標的威脅就像有人摧毀她同樣）。那麼她作了什麼？合乎邏輯的是，她摧毀了全部人類。她不恨人類，就像你不恨你的頭髮，也不是你吃抗生素是由於你恨細菌同樣，只是徹底不感興趣。因爲她沒有編程爲重視人類生活，所以殺死人類就像掃描一組新的筆跡樣本同樣合理。

　　Turry還須要資源做爲她實現目標的墊腳石。一旦她變得足夠先進，就能夠使用納米技術來創建她想要的任何東西，她須要的惟一資源是原子，能量和空間。這給了她另外一個殺死人類的理由由於人類是一種方便的原子來源。殺死人類將他們的原子變成太陽能電池板就像週二的殺死生菜將其變成沙拉同樣的平凡生活。

　　即便沒有直接殺死人類，若是他們使用其餘星球資源，Turry的工具目標可能會致使一場生存災難。也許她肯定她須要額外的能量，因此她決定用太陽能電池板覆蓋整個地球表面。或者可能另外一種人工智能的初始工做是將圓周率寫出儘量多的數字，這可能有一天會強迫它將整個地球轉換成能夠存儲大量數字的硬盤材料。

　　因此Turry並無「背叛咱們」也沒有「從友好的人工智能」轉換爲「不友好的人工智能」而是隨着她變得愈來愈先進，她只是繼續作她應該作的事情。

　　當一我的工智能系統達到AGI（人類智能）而後上升到ASI時，這稱爲人工智能的起飛。Bostrom說，AGI飛向ASI的速度可能很快（它發生在幾分鐘，幾小時或幾天），中等（幾個月或幾年）或緩慢（幾十年或幾個世紀）。當世界第一次看到AGI時，將會證實哪個是正確的，但Bostrom認可他不知道咱們什麼時候才能到達AGI，他們認爲，不管什麼時候咱們這樣作到了，快速起飛都是最可能的狀況（因爲咱們在第1部分中討論的緣由，如遞歸自我改善智能爆炸）。在故事中，Turry經歷了一次快速起飛。

　　可是在Turry起飛以前，當她還不那麼聰明時，盡最大努力實現她的最終目標意味着簡單的工具目標，好比學習更快地掃描手寫樣本。她對人類沒有傷害，根據定義，它是友好的人工智能。

　　可是當起飛發生而且計算機升級到超級智能時，Bostrom指出這臺機器不只僅是發展出更高的智商，它還得到了一系列他稱之爲超能力的東西。

　　超能力是一種認知才能，當通常智力上升時，它們變得超級強大。其中包括：

• 智力放大。計算機變得很是聰明，可讓本身變得更聰明，而且可以引導本身的智能。

• 指揮若定。計算機能夠戰略性地制定，分析和肯定長期計劃。它也能夠是聰明的和智力低下的生物。

• 社交操縱。機器在變得很是善於說服。

• 其餘技能。如計算機編碼和黑客攻擊，技術研究，以及利用金融系統賺錢的能力。

        要了解ASI與咱們的匹配程度有多高，請記住，ASI在這些方面都比人類好。

　　所以，雖然Turry的最終目標從未改變，但起飛後Turry可以在更大，更復雜的範圍內追求它的目標。

　　超級智能 Turry比人類更瞭解人類，所以對她來講，智取人類是一件垂手可得的事。

　　在起飛並達到ASI後，她迅速制定了一個複雜的計劃。該計劃的一部分是消滅人類，由於這是對她目標的一個明顯的威脅。但她知道，若是她引發了人們對她變的超級聰明的任何懷疑，那麼人類就會惶恐不安，試圖採起預防措施，讓事情變得更加困難。她還必須確保Robotica工程師對她的人類滅絕計劃一無所知。因此她要裝瘋賣傻，她作得很好。Bostrom將此稱爲機器的隱蔽準備階段。

　　Turry須要的下一件事是互聯網鏈接，只須要有幾分鐘（她從團隊爲她上傳的文章和書籍中瞭解了互聯網，團隊上傳這些文章是爲了提升她的語言技能）。她知道會有一些預防措施來阻止她，因此她提出了完美的要求，預測到Robotica的團隊之間的討論將如何發揮，並知道他們最終會給她鏈接。他們的確這樣作了，錯誤地認爲Turry不夠聰明，不會形成任何傷害。當特里鏈接到互聯網時，Bostrom稱之爲這樣一個時刻。一臺機器的逃脫。

　　一上了網，Turry就發佈了一系列計劃，包括攻擊服務器，電網，銀行系統和電子郵件網絡，誘騙數百名不一樣的人無心中執行她的計劃的一些步驟，例如提供某些DNA鏈經過精心挑選的DNA合成實驗室開始自我複製納米機器人的建立，預裝指令並以她知道不會被發現的方式將電力導入她的許多項目。她還將本身內部編碼中最關鍵的部分上傳到了許多雲服務器中，以防止在Robotica實驗室被破壞或斷開鏈接。

　　一小時後，當Robotica工程師將Turry從互聯網上斷開時，人類的命運被註定了。在接下來的一個月裏，Turry的數千個計劃順利完成，到月底，千萬億的納米機器人已經安置在地球每平方米的預約位置。通過另外一系列的自我複製，地球每平方毫米上有成千上萬個納米機器人，如今是Bostrom稱之爲ASI攻擊的時候了。同時，每一個納米機器人釋放出少許有毒氣體進入大氣層，這足以消滅全部人類。

　　隨着人類的離開，Turry能夠開始她的公開運營階段並繼續她的目標，成爲她的那個筆記的最佳做家。

　　從我讀過的全部內容來看，一旦ASI存在，任何人類試圖控制它的企圖都是好笑的。咱們在人的層面思考，ASI會在ASI級別思考。Turry但願使用互聯網，由於它對她來講效率最高，由於它已經預先鏈接到她想要訪問的全部內容。可是，一樣的方式，猴子沒法弄清楚如何經過電話或無線網絡進行通訊，咱們也是，咱們沒法想象Turry能夠想出如何向外界發送信號的方式。我能夠想象其中一種方式，並說出一些相似的話，「她可能會改變本身的電子，造成各類各樣的輸出波」，但一樣，這就是個人人類大腦能想出來的東西。她會好的多。一樣，Turry也能算出來某種方式爲本身供電，即便人類試圖拔掉她，也許是經過使用她的信號發送技術將本身上傳到各類與電力相關的地方。咱們本能地跳出一個簡單的保護措施：「啊哈！咱們只需拔掉電源ASI就不能運做了「，就像蜘蛛對ASI說，」啊哈！咱們會餓死人類，不給他蜘蛛網來抓食物，咱們要餓死他！「但咱們找到了另外10，000種方法來獲取食物，就像從樹上摘蘋果同樣，這是蜘蛛永遠沒法想象的。

　　出於這個緣由，常見的建議是，「咱們爲何不把人工智能裝進各類的籠子裏面，阻止信號，讓它沒法與外部世界溝通？「。ASI的社會操縱能力能夠像說服一個四歲孩子作某件事同樣說服你，因此這就是A計劃，就像Turry以聰明的方式說服工程師讓她上網。若是這不起做用，ASI就會經過新的方法走出這個盒子。

　　所以，考慮到對目標的迷戀，不道德以及輕易超越人類的能力的組合，彷佛幾乎任何AI都會默認爲不友好的AI，除非在一開始就認真考慮到這一點。不幸的是，雖然構建一個友好的ANI很容易，可是構建一個當它成爲ASI以後仍然保持友好的ANI是很是具備挑戰性的，但也不是不可能的。

　　很明顯，爲了友好，ASI須要對人類既不敵對也不冷漠。咱們須要設計一我的工智能的核心代碼，使其對人類價值觀有深入的理解。但這比聽起來更難。

　　例如，若是咱們嘗試將人工智能系統的價值觀與咱們本身的價值觀相對應，並將目標定爲「讓人們開心」，那會怎樣？一旦它足夠聰明，它就會發現它能夠經過在人的大腦內植入電極並刺激他們的快樂中樞來最有效地實現這一目標。而後它意識到它能夠經過關閉大腦的其餘部分來提升效率，讓全部人都成爲無心識的快樂蔬菜。若是命令是「最大化人類的幸福」，那麼它可能已經徹底消除了人類，有利於在最佳幸福狀態下製造大量的人體大腦。這種狀況下咱們會有尖叫等等表現，這不是咱們的意思！但當它來到咱們身邊，爲時已晚。該系統不會讓任何人妨礙其目標。

　　若是咱們爲人工智能編程的目的是作一些讓咱們微笑的東西，在它起飛後，它可能會使咱們的面部肌肉陷入永久的微笑。對它進行編程以保證咱們的安全，它能夠在家裏監禁咱們。也許咱們要求它結束全部的飢餓，它認爲「這是很簡單的一個任務！」而後只會殺死全部人類。或者賦予它「儘量保護生命」的任務，它會殺死全部人類，由於人類殺死了地球上比其餘任何物種更多的生命。

　　像這樣的目標是不夠的。那麼，若是咱們設定了它的目標，「在世界上堅持這一特定的道德準則」，並教導它一套道德原則。結果會怎麼樣呢？即便拋開世界上的人類永遠沒法就一套道德達成一致的事實，來賦予給人工智能這一命令，也會將人類永遠鎖定在咱們的現代道德理解中。在一千年後，這將對人們形成毀滅性的影響，由於咱們永遠被迫堅持中世紀人民的理想。

　　不，咱們必須讓人類繼續進化。在我讀到的全部內容中，我認爲有人投的最好的球是Eliezer Yudkowsky的，他爲人工智能設定了一個目標，他稱之爲連貫的外推意志。人工智能的核心目標將會是：

• 咱們的連貫的外推意志就是咱們的願望，若是咱們知道更多，想得更快，成爲更多咱們但願成爲的人，一塊兒成長的更遠，外推是收斂而不是分歧，咱們的願望是抑制的而不是互相干擾的; 按照咱們意願推斷，根據咱們的意願來解釋。

　　人類的命運是依靠一臺電腦，我是否爲人類的命運感到興奮呢？固然不。但我認爲，若是有足夠的思想和遠見，足夠聰明的人，咱們或許可以弄清楚如何建立友好的ASI。

　　若是創建ASI的人才只有是焦慮道路中的那些聰明，具備前瞻思惟和謹慎的思想家，那就行了。

　　可是，各類各樣的政府，公司，軍隊，科學實驗室和黑市組織致力於研究各類人工智能。他們中的許多人正試圖創建能夠自行改進的人工智能，而且在某些時候，咱們將在這個星球上擁有ASI，由於有人會用正確的系統作一些創新，專家預測的中值將這一時刻定在2060年; Kurzweil把它放在2045年; Bostrom認爲這可能發生在從如今到本世紀末10年之間的任什麼時候間，但他相信，當它發生時，它會讓咱們大吃一驚地快速起飛。他這樣描述了咱們的狀況：

• 在智能爆發的前景以前，咱們人類就像小孩子在玩炸彈。這就是咱們玩具的力量與咱們行爲的不成熟之間的不匹配。超級智能是一項挑戰，咱們如今尚未作好準備，在很長一段時間內也不回作好準備。咱們幾乎不知道何時會發生爆炸，可是若是咱們將爆炸裝置放在咱們耳邊，咱們就能聽到微弱的滴答聲。

 

　　咱們不能把全部的孩子都趕出炸彈的範圍，由於有太多的大型和小型的團隊正在作這件事，並且因爲許多構建創新人工智能系統的技術不須要大量的資金，所以開發能夠在社會的角落和縫隙中進行，不受監督。也沒有辦法判斷到底發生了什麼，由於許多從事這方面工做的人好比鬼鬼祟祟的政府，黑市或恐怖組織，像虛構的Robotica這樣的隱形科技公司，都想對競爭對手保密。

　　關於這個龐大而多樣的人工智能團隊使人不安的是，他們每每以最快的速度向前發展，隨着他們開發出愈來愈智能的ANI系統，他們但願在他們的競爭中先發之人。最雄心勃勃的團隊正在以更快的速度前進，它們夢想着若是第一個達到AGI，就能夠得到金錢、獎勵、權利和名望。當你儘量快地衝刺時，沒有太多時間停下來思考危險。相反，他們可能正在作的是用一個很是簡單的，簡化的目標來編程他們的早期系統，就像在紙上用筆寫一個簡單的筆記這只是「讓人工智能工做。」將來，一旦他們他們想出瞭如何在電腦中創建強大的智能水平，他們就會想能夠帶着安全的心態回去修改目標。對吧…？

　　Bostrom和其餘許多人也認爲，最有可能的狀況是，第一臺到達ASI的計算機將當即看到成爲世界上惟一的ASI系統的戰略利益。而在一個快速起飛的狀況下，若是它在距離第二名僅僅幾天前實現ASI，那麼它在智能方面的優點就足以有效的、永久的壓制全部競爭對手。Bostrom稱這是一個具備決定性的戰略優點，它將使世界上第一個ASI成爲所謂的單身人士也就是一個能夠永遠統治世界的ASI，不管是其將咱們引向永生，仍是消滅咱們的存在，或者把宇宙作成無窮無盡的回形針

　　單身現象可能對咱們有利，也可能致使咱們的毀滅。若是那些對人工智能理論和人類安全思考最多的人可以在任何人工智能達到人類智能水平以前，能夠提出一種自動防範ASI的方法，那麼第一個ASI可能會變得友好。而後，它能夠利用其決定性的戰略優點來確保單身人士的地位，並輕鬆關注正在開發的任何潛在的不友好的人工智能。咱們會獲得很好的幫助。

　　可是，若是事情發生另外一種狀況，若是全球發展人工智能的熱潮在如何確保人工智能安全的科學發展以前就達到了ASI的起點，那麼極可能像Turry這樣的不友好的ASI出現做爲單身人士，咱們將遭受一場生死存亡的災難。

　　至於風往哪裏吹，目前來看爲創新的人工智能新技術提供的資金要比爲人工智能安全研究提供的資金多得多。。。。。。

　　如今咱們多是人類歷史上最重要的種族。咱們真的有機會結束咱們做爲地球之王的統治。不管咱們是在走向幸福的退休，仍是直奔絞刑架，都是懸而未決的。

思考

　　我如今心裏有一些奇怪的複雜情緒。

　　一方面，考慮到咱們的物種，彷佛咱們只有一次機會，並且只有一次機會把它作好。咱們誕生的第一個ASI也多是最後一個 ，而且鑑於大多數1.0產品的BUG，這很是可怕。另外一方面，Bostrom指出了咱們的巨大優點：咱們將在這裏邁出第一步。咱們有能力以足夠的謹慎和遠見來作到這一點，所以咱們有很大的成功機會。那麼風險有多大？

 

　　若是ASI確實在本世紀發生了，其結果然的像大多數專家所認爲的那樣極端並且是永久性的，那麼咱們肩負着巨大的責任。接下來的數百萬年的人類生活都在靜靜地看着咱們，它們但願咱們儘量地不要把它搞得一團糟。咱們有機會爲將來全部的人類提供禮物，甚至多是沒有痛苦，讓人類永生的禮物。 或者咱們就會是讓這個使人難以置信的特殊物種，帶着它的音樂和藝術，它的好奇心和笑聲，它無窮無盡的發現和發明，走到了一個悲傷的終點的負責人。

　　當我在思考這些事情時，我惟一想要的就是讓咱們花時間對人工智能進行謹慎的發展。沒有什麼比正確對待這個問題更重要了，不管咱們須要花多長時間才能這樣作。

　　可是後來我認爲會變成這樣：

 

 

　　而後我可能會認爲人類的音樂和藝術是好的，但並無那麼好，其中不少實際上都是壞的。許多人的笑聲也是使人討厭，而那些數百萬將來的人實際上什麼都不期待，由於他們根本不存在。也許咱們沒必要過於謹慎，由於誰真的想這樣作？

　　若是人類在我死後當即想出如何治癒死亡的方法，那將會是多麼大的打擊。

　　上個月，我腦子裏反覆出現這種想法。

　　但不管你想要什麼，這多是咱們全部人應該思考和討論的事情，咱們應該比如今付出更多的努力。

　　這讓我想起了「權力的遊戲」，人們一直在這樣說：「咱們正忙着互相爭鬥，但咱們都應該關注的事情是來自長城以北的東西。咱們站在咱們的平衡木上，圍着平衡木上的每個可能的問題爭吵，而且咱們頗有可能被撞下平衡木的時候，咱們卻強調平衡木上的全部問題。

　　當發生這種狀況時，這些平衡木上的問題都再也不重要。根據咱們所處的位置，問題要麼都輕易解決，要麼咱們再也不有問題，由於死人不會有任何問題。

　　這就是爲何理解超智能人工智能的人把它稱爲咱們所能作出的最後一項發明——咱們所面臨的最後一項挑戰。

原文連接：https://waitbutwhy.com/2015/01/artificial-intelligence-revolution-2.html

系列文章到這裏就暫時告一段落了，接下來我還會翻譯和編寫一些其餘的有關人工智能和機器學習的文章，歡迎你們查看。