機器習得天然選擇之力後

AI 近期關於人工智能之討論的總結貼 涉及霍金，《超驗駭客》等等。 喪心病狂的機器？殺傷性人工智能？當咱們探討自我完善軟件帶來的益處時，咱們應該認真一下考慮這些概念。

 

 

節選自詹姆斯·巴拉的《咱們最後的發明》

「…咱們將會開始依賴於電腦的幫助來發展出新型電腦，以生產出更爲複雜的產品。然而，咱們並不十分了解中間的進程，由於電腦將會領先於咱們。目前，咱們運用程序使電腦運行速度加快，以此使進程加快。而這正是如此使人疑惑的地方——技術在自我反饋，再也不須要咱們人爲參與了。如今，咱們就像是單細胞生物正在轉換爲多細胞生物。咱們是阿米巴蟲（單細胞生物-譯註），咱們搞不懂咱們創造出來的東西究竟是什麼。」——思惟機器有限股份公司創始人

丹尼·希利斯。

你和我都生活在人類歷史上一個有趣且脆弱的時代。大約到2030年左右，不到30年的時間，咱們有可能要面臨這樣的挑戰：與超智能機器共享地球，並千方百計地生存下去。人工智能理論家老是一再想到某些主題，可是惟有這個主題最迫在眉睫：咱們須要一項技術以理解超智能機器。

幸運的是，有人已經爲咱們奠基了基礎：

          製造一個下棋機器人確定不會帶來危害的，是嗎？…           除非仔細認真地設計這個機器人，否則它確定會異常           危險。沒有特殊的防禦措施，這個機器人會拒絕關               機，會試圖破譯其餘機器，並製做它本身的複製品，           還會不顧他人安危，設法獲取資源。這並不是因爲一開           始在電腦中編制了電腦程序，這些潛在危險行爲纔會           發生，而是目標驅動系統（goal driven systems）的             內在天性使然。

這段話的做者是史蒂夫·奧莫亨德羅。

他身材高大，身體健康，而且做爲一個深刻研究無底洞似的智能爆炸的人來講，他很是活潑開朗，他步履輕快，握手時孔武有力，眼睛露出友好的光芒。咱們在帕洛阿爾託的一個飯店見面，這個城市臨近斯坦福大學。他做爲美國大學優秀生全國性榮譽組織成員畢業於斯坦福大學。以後繼續在加州大學伯克利分校深造，並得到了物理學博士學位。在《物理學幾何微擾理論（Geometric Perturbation Theory in Physics）》一書中，奧莫亨德羅就微分幾何的發展闡明瞭本身的論點。對奧莫亨德羅而言，將事情化難爲易這一事業纔剛剛開始。

他被奉爲人工智能專家，和一位多產的科技做家，而且在脣讀及圖片識別這樣的人工智能里程碑方面被尊爲先驅。他與別人共同設計了電腦語言StarLisp和Sather，以用來爲人工智能編程。他是創造沃爾夫勒姆研究公司的Mathematica（一種強大的計算系統，深受世界各地的科學家、工程師及數學家的喜好）的七位工程師之一。

奧莫亨德羅很是具備樂觀主義，對毀滅性，湮滅這樣的詞語不屑一顧。然而他對人工智能風險的分析所得出的結論倒是我所聽過的最使人不寒而慄的。儘管許多理論家相信有可能的高級人工智能數量無限，並認爲其中一些是安全的，可是他不相信。相反，他總結道，若是不當心謹慎地編程，全部異常聰明的人工智能都將會是致命的。

       「個人分析結果代表，咱們應該當心考慮輸入的數值，          不然咱們獲得的將不止是一個精神錯亂，自私自利，以        自我爲導向的物體。」

「若是一個系統具備自我意識，並能創造出更好版本的本身，這很是不錯，」奧莫亨德羅告訴我，「較之人類程序設計員，電腦自己創造的升級版則更勝一籌。一方面，通過屢次迭代，它會變成什麼呢？我認爲大多數人工智能研究員都認爲創造一個下棋機器人不會有任何危害。但個人分析結果代表，咱們應該當心考慮輸入的數值，不然咱們獲得的將不止是一個精神錯亂，自私自利，以自我爲導向的物體。」

這裏的關鍵問題是，首先，人工智能研究員們本身甚至都不清楚，這些看似大有裨益的系統會危機四伏；其次，研究員們也不知道，這些擁有自我意識、會自我完善的系統可能會精神錯亂。

精神錯亂？

對話開始時，奧莫亨德羅講了一些糟糕編程。程序錯誤使得發射的昂貴火箭向着地球曲折而落；使得癌症患者因超劑量輻射而被活活燒死；還致使數百萬民衆沒法用電。他表示，若是全部的工程技術都如衆多電腦程序同樣漏洞百出，那乘坐飛機或開車過橋將會十分危險。

國家標準技術局發現，每一年的糟糕編程使美國經濟收入損耗超過600億美金。換句話說，咱們美國每一年在錯誤代碼上損耗的錢，比大多數國家的國內生產總值還要多。「諷刺的是，計算機科學理應是全部科學中最爲精確的，」奧莫亨德羅說，「本質上，計算機就是精確的引擎，應按預見性路徑準確運行。而軟件更像是精神錯亂的工程，盡是漏洞和安全問題。」

那麼對於充滿缺陷的火箭和盡是漏洞的代碼，有什麼解決辦法嗎？

奧莫亨德羅表述道，對於能夠自我維護的程序，「爲得到人工智能，我公司採起的獨有方式是，創建可理解自身行爲的系統，並使它們在工做和解決問題時自我監控。當運行不順暢時，它們會注意到，並進行自我改善提升。」

自我完善軟件不只是奧莫亨德羅的公司追求，而是對於全部軟件而言，都是合乎邏輯、甚至是不可避免的下一步行動。可是奧莫亨德羅說起的自我完善軟件，即有自我意識並能構建更好自身版本的軟件還沒有面世。然而，它的堂兄弟——可自我修改的軟件，則隨處可見，並已面世了很長時間。在人工智能用語中，一些可自我修改的軟件技術來自於一個廣義的類別——「機器學習（machine learning）」。

那麼，一個機器要學習什麼呢？「學習」這一律念更像」智能「，由於」學習「的定義不少，並且大多數都是正確的。簡單地說，當機器中發生了改變，能使機器在第二次運行時更好地執行任務，那麼這個機器就學習了。機器學習使網絡搜索，語音識別及手寫識別成爲可能，並在許多應用程序中提高了用戶體驗。

電子商務巨頭亞馬遜上的「推薦」就使用了一項機器學習技術——關聯分析。這種策略可促使你購買類似物品（交叉銷售），或更爲昂貴的物品（向上銷售），或者向你推銷。它的工做原理很簡單。將你所搜索的物品稱爲A物品，那麼其餘購買A物品的顧客傾向購買的物品B,物品C和物品D就顯示出來了。當你搜索物品A時，就觸發了關聯分析算法。它會開始進行大量的交易數據分析，繼而顯示出相關聯產品。所以，關聯分析經過不斷增長的數據庫來提高自身性能。

經過這一軟件的自我完善，誰會從中受益呢？固然是亞馬遜了，不過，你也受益不淺。關聯分析就像是買家的購物助理，可讓你每次購物時都從大數據中獲益。並且亞馬遜也會時時記得創建購買簡報，這樣它給你推薦的商品就會愈來愈好，愈來癒合適。

若是從會學習的軟件更進一步，若發展出能夠自我進化，以解決困難問題的軟件，甚至發展出可編寫新程序的軟件，狀況會怎麼樣呢？那麼它就再也不是擁有自我意識、且可自我完善的軟件了，而是在前進路上更進了一步——可編寫軟件的軟件。

遺傳程序（genetic programming）是一種機器學習技術，它運用天然選擇之力來尋找問題的答案，而這些問題，人類可能要耗費很長時間，甚至數以年計的時間才能解決。遺傳程序也可用來編寫創新性的，高性能的軟件。在不少重要方面，它與不少常見的程序設計技術（我稱之爲普通程序設計）都大有不一樣。在普通程序設計中，程序設計員把每一行代碼都寫下，而從輸入到輸出的進程，理論上來講，檢閱起來則盡收眼底。

相比之下，使用遺傳程序的程序設計員只需將亟待解決的問題描述出來，其餘的由天然選擇來完成便可。而結果會很是使人震驚。

遺傳程序會創造出少許代碼，以此表明一個育種世代。最爲擬合的爲雜交品種——即部分代碼被替換——可創造出新一代。程序的擬合性取決於其解決程序設計員設置的問題的能力如何。不適者被淘汰，而適者可繼續繁殖。在此過程當中，程序將指令或變量中的改變（即變種）隨機去除。一旦設置開始後，遺傳程序就自行運行，再也不須要人爲輸入。

做爲1986年遺傳程序的先驅者，斯坦福大學的約翰·科扎使用遺傳算法爲NASA(美國國家航空和宇宙航行局)發明了一種天線，並創造了鑑別蛋白質的電腦程序，並且還發明瞭通用電氣控制器。僅將目標設置爲已完成裝置的工程規範，即「適應度」標準，科扎的遺傳算法就獨立發明了23種電子元件，且已註冊了專利權。舉例而言，在同種規格中，較之人類發明的電路，科扎的算法發明出來的電壓-電流轉換電路（一種用於檢測電子設備的裝置）能更爲準確地工做。然而，難以想象的是，無人能夠解釋它何以工做得更爲出色——表面上看，它包含了一些冗餘的，甚至沒必要要的部件。

可是，這就是遺傳程序（和同屬於一個程序家族的「進化編程」）使人好奇的地方。代碼是高深莫測的。程序「進化」出來的那些解決辦法，計算機科學家們沒法輕易再造。並且，他們沒法理解遺傳程序是經過何種過程得到最終解決方案的。人們能夠理解其輸入與輸出，卻不明白其過程，這樣的一個計算工具被稱爲「黑匣子」系統。它們的不可知性對全部使用進化組件的系統來講都是個很大的不利因素。每向不可預知性接近一步，就遠離可說明性一步，或者說越無但願創建人類友好型編程。

這並不意味着科學家們又一次失去了對黑匣子系統的控制。可是若是認知架構使用黑匣子來得到通常人造智能——十有八九會作到的——那麼，若干層不可知性則會成爲系統核心。

不可知性也許是擁有自我意識、可自我完善軟件所沒法避免的結果。

 

 

《咱們最後的發明：人工智能及人類時代的終結》（詹姆士·巴拉）

 

 

「這與咱們所熟悉的系統很是不一樣，」奧莫亨德羅表示，「當你擁有了一個可進行自我改變，並可爲本身編程的系統時，你可能會搞清楚它的首個版本。可是它可能會自我改變，變成你再也不明白的東西。因此，這些系統更加不可預測。他們強大異常，同時又暗藏危險。因此咱們的不少工做要作的就是趨利避害。」

回到奧莫亨德羅前文說起的下棋機器人，它怎麼會危害人間呢？固然了，他談論的並不是安裝在你電腦上的下棋軟件，而是一個假想的下棋機器人，它經過認知架構運行，並且該認知架構很是複雜精密，因此該機器人能夠重寫自身代碼，以得到更好的棋藝。它擁有自我意識和自我完善能力。那麼，若是你命令該機器人下一盤棋，而後關機，狀況會如何呢？

奧莫亨德羅解釋道，「好，咱們假設它已經儘量完美地下了一盤棋，遊戲結束了。如今，它該關機了。從它的角度而言，這件事很是嚴肅，由於它將沒法自行開機。因此它想確認萬事確實如它所‘想’的那樣。尤爲它會想，我剛剛真的下棋了嗎？萬一是有人戲弄我呢？萬一剛纔我並沒有下棋呢？萬一我如今處於模擬中呢？」

「萬一我如今處於模擬中？」這個下棋機器人真是「精神」失常了。可是因爲它具備自我意識，那麼它必然會自我保護，還會有一點點妄想症。

奧莫亨德雷繼續道，「在將本身關機這一關鍵步驟以前，也許它認爲它應該使用些資源來搞清楚那些關於現實本質的問題。在關掉那些與它意見相左的指令以後，它可能會認爲值得使用大量資源來決定關機的時機是否正確。」

「多少纔算大量資源呢？」我問道。

澳毛亨德羅臉上陰雲密佈，不過陰雲轉瞬即逝了。

「它可能認爲用上全部人類資源也是值得的。」

【該文章節選自《咱們最後的發明：人工智能及人類時代的終結（Our Final Invention: Artificial Intelligence and the End of the Human Era）》（詹姆士·巴拉）】