編程漫談（十一）： 編程概要

定位

本文適合於有基本的教育經歷、對編程世界瞭解不多、但願從事編程開發工做或者須要與技術GGJJDDMM們進行溝通的筒鞋。

讀完本文，你只須要一點作人的基礎：

1. 具有軟件使用經歷；
2. 數學四則運算能力；
3. 觸類旁通的悟性；
4. 耐心。

本文不是論述編程知識或技能或技術的專著，而是會提綱挈領、點到爲止地談及編程的基本知識和主要思想，—— 因此說要求有觸類旁通的悟性嘛！O(∩_∩)O 。此外，文章比較長，特別須要耐心噢！

概述

嘗數思編程及編程活動之根本，不得其解。通過仔細思考，結合學習與工做中的編程開發實踐，我逐漸意識到，編程的根本和精髓在於結構編程。這裏的結構編程並非指常見的三種結構(順序、條件、循環)以及過程化編程，也不是指狹義的數據結構與算法編程，而是指針對任何具備結構的可計算對象的編程。正如萬物皆由不可勝數的原子經過多樣的結構和方式奇蹟般地創造，計算世界則是由不可勝數的0和1經過多樣的結構和方式奇妙地構建。咱們將從0和1出發，在結構之神的指引下，通過且行且停的旅程，直至欣賞到瑰麗華美的現代互聯網大廈。

合抱之木，生於毫末；九層之臺，起於累土； 千里之行，始於足下。

出發

Are you ready ? Go !

0與1

在可預見的很長一段時間，計算世界仍然是由 0 和 1 組成的。 不管是字母、數字、圖表、網頁、動畫、超酷炫的特效等，在計算底層看來，都是流暢的一系列01數字串，就像硬件只會看到一團極其壯麗的電子流同樣。咱們的旅程從這裏出發。

原子數據

計算世界的原子數據一般包括字符、整數、字符串、布爾量、浮點數。 打開某種編程語言的入門書籍，第二章一般都會是變量，以及變量的若干基本類型。

字符

最早映入眼簾的，大概就是字母表。大小寫的 ABCDEFG, HIJKLMN,OPQRST,UVWXYZ。 咋看上去，彷佛沒有什麼結構，都是單個的字母。實際上，在計算機內部，任何字母都是一個字節8位的01串編碼而成的，經過ASCII 碼錶來進行映射。好比A，ASCII碼值是65，對應的01串是 01000001。 單個數字以及其餘控制字符，也是經過 ASCII 碼錶來標識的。能夠百度或谷歌 ASCII 瞭解詳情。由此認識到： 字符是 8 位01串。後面會知道，這裏的「串」能夠理解爲一種「數組」。

整數

接着爲人所熟知的，即是整數。 同字符相似，整數也是01串。不過因爲整數比較大，一個字節8位可能存不下，所以須要多個字節。Java編程語言裏，整數是4個字節32位01串，能夠表示的數值是 -2^31 ~ 2^31-1. 還有長整數 8 個字節 64 位 01 串，能夠表示的數值是 -2^63 ~ 2^63-1 . 拿整數 10000 來講，能夠表示爲 00000000 00000000 00100111 00010000 , 能夠使用 python 的 bin(10000) 方法來獲取10000的二進制表示，也能夠使用python 的 int('00000000000000000010011100010000', 2) 來獲取二進制表示的整數。關於二進制如何表示整數，有一套模2取餘的算法；而如何表示負整數，則要涉及到反碼和補碼計算。詳情可百度或谷歌。由此認識到，整數，實際上也是若干位01串。

字符串

字符串大概是計算世界裏處理得最最多的原子數據了。任何文本都是字符串。字符串實際上是由字符組成的序列，好比 「ABC」 就是 ["A", "B", "C"]。所以字符串編碼爲01串，就是把字符串中的每一個字符都編碼爲01串，而後串聯起來：010000010100001001000011.

布爾

布爾類型就是 True 和 False ， 真與假。 用於各類條件判斷中。

十六進制

寫成01串實在太痛苦啦，也不直觀。所以先輩們發明了十六進制。實際上，二進制，十進制，十六進制，都是表示計數的一種方法。 N 進制，就是用 0~N-1的數字(N<=10)或0-9, N-10個字母(N>10)來表示全部的整數。十進制，就是用 0-9 來表示整數； 十六進制，就是用 0-9, A-F 來表示整數。 N 表示進位數，逢N進一。十進制轉十六進制，採用模N取餘的方法來肯定各個位的數字。好比 24， 能夠表示 2*10 + 4； 也能夠表示成 1*16 + 8, 即0x18 , 0x 表示使用十六進制計數法。使用python的hex(24)便可得到24的十六進制表示。 有了十六進制，表示大量的01串，媽媽不再用爲我擔憂啦！

變量

前面講了原子數據字符、整數、字符串、布爾，那麼在程序裏怎麼使用這些原子數據呢？變量是用於存儲這些值並引用的。 好比 x = "i am java programmer" , x 就是個變量。 給變量指定某個值的動做叫「賦值」。變量在程序的不一樣地方能夠從新賦值，好比 x = "now i am mixed coder. haha!"

常量

常量也是能夠指定和存儲原子數據值的地方，不過常量在初始化完成後就不能改變了。好比光速在真空中的速度、圓周率PI 、天然常數、默認參數配置等。

初始化

變量與常量都是數據引用。初始化是指爲一個數據引用第一次賦值的過程。int x; 這只是聲明瞭一個整數變量 x，而沒有初始化這個變量； 而 int x = 1 就爲 x 完成了初始化工做，賦予初始值 1 。初始化也稱爲「聲明並定義了」。

地址

「賦值」是個邏輯意義的操做，好比 x = "i am java programmer", 是將字符串賦值給變量 x , 這是從天然語言的角度理解； 從計算機存儲和運行的角度來理解，必然要爲這個字符串分配一個內存來存放，這就存在變量的內存地址 d = 0xb708a410。使用python的id(x)能夠打印x的地址。如今咱們知道變量有雙重身份啦： 一個是變量指代的值 v ，一個是存儲變量值使用的內存地址 d。

指針

上面講了地址的概念。指針就是用來存放地址 d 的數據引用 p， 能夠經過指針來操做變量的值。 好比說，x = "i am java programmer" , x 的地址是 d = 0xb708a410 ，那麼 p = 0xb708a410 ； 若是想將 x 的值變成 "i am mixed now." ， 那麼能夠使用 x = "i am mixed now."; 也能夠使用指針 (*p) = "i am mixed now.". *p 的含義就是取出變量 p 所存放的變量地址所指代的變量的值。是否是有點拐彎抹角？ 別擔憂，不少中高級程序yuan 都在指針上栽了不少次的跟頭 ~~

原子控制

指令

指令由操做碼和操做數組成。操做數就是前面所說的各類原子數據；操做碼是預先定義好的01串。好比在8位系統上，定義： 10000000 表示加法， 11000000 表示減法。最高2位表示操做碼，其餘位表示操做數。 那麼， 10000000 00000001 00000010 就表示 1+2 ， 11000000 00000010 00000001 表示 2-1。實際指令能夠比這更復雜，但原理是同樣的。指令由CPU來執行完成。

彙編

程序yuan，或者碼農就是靠編寫指令爲生的。不過要編寫這麼多01串，恐怕吃飯都要吐出來的。因而，程序猿中的先驅們發明了彙編。 彙編對指令並無實質性的改變，僅僅是對指令作了個助記符或者說是命名，不過這個命名產生的意義倒是非凡的！好比 10000000 簡記爲 ADD，11000000 簡記爲 SUB， 那麼上面的指令就能夠寫成， ADD 0x01 0x02 , SUB 0x02 0x01 ，是否是更直觀了？

拷貝與位運算

別看計算機能勝任超級普遍的任務，其實它只會兩件事：拷貝與位運算。拷貝，就是將一個值從一個地方挪到另外一個地方：我只是大天然的搬運工，哈哈！位運算，就是將指定的操做數的各個位進行運算(與或非)獲得新的值。要問計算機爲何能勝任各類各樣的事情，其實都是能夠拆解爲拷貝與位運算。好比咱們使用手機聊天，其實就是把數據信息從一個手機拷貝到另外一個手機上而已。固然，爲了安全的考慮，須要對數據信息進行加密。而加密則無非是一大串的數學計算。任何數學計算均可以經過位運算來完成。就這麼簡單！ 是否是很神奇？

編譯器與編程語言

使用匯編寫程序，仍然是很困難的，稍微大點的程序就讓人頭髮掉光光。若是 ADD 0x01 0x02 可以直接寫成 1 + 2 豈不是更好？ 因而，編譯器和編程語言發明出來了。 編程語言，就是用天然人容易懂的語言來編寫程序，而編譯器則負責將其翻譯成機器能懂的二進制指令；這樣，只要我能編寫出編譯器認得的程序，同樣可以在計算機上運行， 而要讓編譯器認得寫出的程序，就要符合編程語言指定的語法規則。這其實跟天然語言很相似，只是編程語言更精確嚴謹些，比天然語言的容錯能力更低一些。爲何猿媛們這麼愛細節呢？是由於計算機太太認真啦！

有了編譯器和編程語言，如今咱們終於能用人話來談論編程了！

數據與控制

處理什麼數據？ 怎樣處理數據？如何組織大量指令來完成指定目標？ 這三個問題構成了編程的中心問題。

• 處理什麼數據，是編程需求所決定的， 也是由觀察世界的角度來產生的；
• 怎麼處理數據，包括如何採集、容納、傳輸、存儲、組織、加工、展現數據； 這一步產生出許多技術手段；
• 怎麼組織指令，涉及到指令的組織結構，控制指令的執行路徑；

所以，編程的中心問題，轉化爲「數據結構」與「控制結構」的問題。值得說起的一點是，數據的含義，也包括數據之間的關聯。

編碼

將字符、整數、字符串、指令轉換成01串，實際上就是編碼了。編碼是指將現實中的萬事萬物編碼成01串的操做。神乎其技兮！

如今，讓咱們來一次「對象編程」。假設咱們要對對象編碼（這是要逆天麼）。對象有不少特徵，身高、體重、愛好等等，不過咱們很難所有覆蓋。那麼就針對身高、體重和最愛的菜吧。這就是抽象。抽象就是從現實事物的諸多特徵中萃取出真正要研究的那些特徵。

肯定要編碼身高、體重和最愛的菜以後，就能夠思考如何表示了。能夠使用變量 height 表示身高，使用變量 weight 表示體重， 使用變量 favorite 表示最愛。假設身高是 168cm, 體重是 100 kg, 最愛的是番茄炒雞蛋。 那麼，身高和體重， 能夠使用整數， 最愛能夠使用字符串。好比 int height = 168 , weight = 100 , String favorite = "番茄炒雞蛋"。 int 是Java語言中表示整數的類型， String 是 Java 語言中表示字符串的類型。使用十六進制表示 height = 0xa8 ; weight = 0x64；favorite=0x795aae88c84e78292e9b8a1e89b8b。十進制轉十六進制，使用 python 的 hex 函數。計算機在運行的時候，一定要爲這三個變量分配內存空間，好比 d_height = 0x08cce04c, d_weight = 0x08ccdbc4 , d_favorite=0xb708fd90。

各類原子數據的編碼：

恭喜你！一會兒掌握了編程的兩個最精髓的概念： 抽象與編碼。

小結

在這一站裏，咱們瞭解了程序裏的原子數據和原子控制。這些是咱們理解程序如何運行的基礎。事實上， 不管多麼複雜的程序或軟件，數據都將被編碼成01串，代碼都將被編譯器翻譯成01串，從而被計算機識別和執行。固然，要編寫和理解大型程序，僅僅有這些基本知識和思想是不夠的。可是，咱們已經很勇敢地邁出了第一步，就像人類探索浩瀚宇宙的登月之旅。

稍稍休息，接着，咱們將正式踏上旅途。

第一站-初識結構

基本數據結構

原子類型的變量就像非正規的散兵，雖然有初步的戰鬥力，但是這戰鬥力是很弱的。假設你有十個蘋果要發給某人，很難說一個一個蘋果發過去，多半是把十個蘋果打包成一箱後一塊兒發過去。這個「箱」就是結構。結構是任何能夠容納多個事物的事物。被容納的事物，稱爲元素， 既能夠是原子類型的值，也能夠是結構自己。嗯，這裏面就包含了遞歸的思想。

數組

數組是最基本的數據結構。往連續的固定空間連續存儲一系列相同類型的值，就構成了數組。好比 [1,2,3], ['A','B', 'C'] 或者 ["I", "have", "a", "dream"] 。 數組的操做也很簡單直接：設置或取出指定位置的值，指定位置使用下標來表示。好比 [1,2,3]，取出下標爲 0 的值是1。若是設置下標爲2的值爲10，那麼數組就變成[1,2,10]。最大的下標是2，也就是數組長度減去一。注意，下標是從0開始算起的，第一個這麼設計的程序員必定是天才，思惟與常人如此不一樣！這個傳統被沿襲下來，今後全部程序yuan都與普通人的思惟有所不一樣~~~

鏈表

假設有若干人站成一列玩遊戲，每一個人用雙手搭在前面人的肩膀上，就造成了鏈表。當咱們要找到某我的時，能夠從最後那個手搭着別人肩的人開始，根據手到肩的指向數過來，直到找到那我的爲止。

相同類型的值使用指針相互鏈接起來，就組成了鏈表。好比 1 -> 2 -> 3 -> 4 。 鏈表不能像數組那樣指定位置來設置或取值，而是要經過指針遍歷一個個數過去。但鏈表是容易高效擴展的，好比要把 5 插入到 3 與 4 之間， 只要把3指向5,5指向4，就OK 了： 1->2->3->5->4 。

鏈表是元素經過指針指向來造成關聯的結構。

棧

假設咱們要把東西一件件放置在冰箱裏。這個冰箱每次僅容放置或取出一件物品，每次放置物品都要放置在最裏層，要取出最裏層的東西，必須先取出最外層的東西，那麼，冰箱的這種結構就構成了「棧」。棧是先存後取型的結構。

隊列

隊列應該是中國人最熟悉的結構了。你能夠不懂數組、鏈表、棧，但你必定知道隊列，—— 「萬惡」的排隊。若干我的站成一隊等待着， 先到者先得之。

隊列是先進先出型的結構。

聯合

聯合，其實就是「大雜燴」的意思。爲了方便計算，數組、鏈表、棧、隊列一般都是存放相同類型的值，俗稱「清一色」。聯合則比較多樣化，什麼均可以往裏塞。好比說小書架，既能夠放幾本書，也能夠放小飾品，遙控器等。 聯合是對象的雛形。

元組

元組，也是一種「大雜燴」。不一樣之處在於，元組存儲的數據經過彼此的邏輯關聯共同表達一種概念。好比三維空間裏點的直角座標 (x,y,z) ，一件事情的起始結束時間 (start_time, end_time)。元組的值初始化後就不能改變。

位圖

位圖，就是一串01。前面講到原子類型的值時已經提到。如今你明白了，在計算世界裏，真正的原子只有0與1，其餘的都是位串，都是結構。數組、鏈表等是位串的結構。位圖操做就是置位(指定位置爲1)、清零(指定位置零)與測試位(判斷指定位是0仍是1)。位圖用於任何事物的編碼結果，亦能夠用於任意稠密的不重複整數數組的排序。

列表

列表與數組極爲類似，不一樣之處在於，數組是固定長度的，而列表是長度可變的。實際上，Java 的列表是以數組爲基礎來實現的(固然並非全部列表都是以數組來實現的，譬如Scala, Lisp的列表是以鏈表來實現的)。初始化列表時，會爲列表分配一個指定長度的數組，當原來的容量不夠存放時，就會申請更大的數組，並將原來數組的元素拷貝到新的數組。如此而已。

集合

集合，是若干個不重複值的可變長結構。集合與列表很是類似，不一樣之處在於，集合裏不存在重複的值，而列表中可能存在重複的值；集合是無序的，而列表是有序的。集合，比方天氣的幾種類型，有 Set(晴，雨，雪，陰，霧，霾) ， 那麼一週的天氣就能構成列表： [晴，晴，霾，雨，雪，陰，霧]

映射

映射，就是鍵與值的一對一或多對一的關係。好比一我的的身高體重， map = { 'height': 168, 'weight': '100' }。這裏 height, weight 是鍵， 而 168, 100 分別是鍵 height, weight 對應的值。能夠根據鍵快速獲取和設置對應的值，是映射的主要操做。映射在計算機中使用哈希表來實現，可實現快速查找、中斷處理等。

變體

變體是在現有結構基礎上做出某種改動從而可以適應特殊須要的結構。好比優先級隊列，就是在普通隊列的基礎上添加了優先級的概念，容許高優先級的元素「插隊」。隊列還有三種變體： 雙端隊列、循環隊列、多重隊列。 雙端隊列，容許在一端進行插入和刪除，一端只容許插入，從而具備棧和隊列的用途；循環隊列將隊列首尾相連，可高效使用存儲空間；多重隊列可建立多個同時進行的隊列，一般用於多任務所須要的進程掛起/就緒等待隊列。棧也有「雙棧」的變體，容許從兩端進行插入和刪除，適合於須要兩個棧的場景。

變體是基本結構的微創新。

嵌套

基本數據結構的真正威力在於能夠任意的嵌套。嵌套 是指結構中能夠包含任意的子結構，子結構又能夠包含子結構，一直這樣包含下去(可以無窮無盡地包含下去麼？)。好比一個公司的職工的信息， persons = [ { 'name': 'qin', 'address': { 'prov': 'zhejiang', 'city': 'hangzhou' } , 'hobby' : ['writing', 'walking', 'riding']，'features': '01001001' } , { 'name': 'ni', ... } ]

圖示

小結

如今咱們已經瞭解了數組、鏈表、棧、隊列、聯合、元組、位圖、列表、集合、映射這些基本數據結構，也知道能夠經過嵌套的方法創造任意複雜的新結構。使用基本數據結構，就能批量存放更多的數據，批量操做更多的數據，組建正規化軍隊，造成更強的戰鬥力。這些基本數據結構是構建中大型程序的結構基礎。其中，列表和映射是最最經常使用的兩種結構。在Java裏稱爲容器，容納東東的器物，是否是很形象？

基本控制結構

存放更多的數據有了基本數據結構及其嵌套結構，那麼，如何組織超級多的指令呢？ 根據現實中的邏輯需求以及數學家、科學家的不懈思考，結合工程師的實踐經驗，就造成了「順序、分支、循環」三種最基本的控制結構； 而且能夠證實，任意代碼結構均可以使用這三種控制結構來表示。嗯，數學家就是這個用處：將萬事萬物統一爲簡潔而基本的模型。

代碼塊

單木不成林，單掌不成鳴。單條指令無法作什麼事情，只有組合多條指令才能完成具體的功能。就好比乘法運算，也須要拷貝操做數、對操做數移位和相加、拷貝新獲得結果。代碼塊就是將多條指令順序組織起來進行執行從而實現具體的功能。代碼塊通常用大括號括起來， 指令之間用分號隔開。

/* 早上的例程 */
{
      聽到鬧鐘響關掉鬧鐘； 繼續躺牀上20-30分鐘； 
      看到快8點時起牀； 洗漱； 收拾全身； 出門；
}

分支

分支就是當條件A發生時作某事，當條件B發生時作某事。好比周末若是天晴就出去逛，下雨就宅家裏，或者若是心情好的話，去看場電影，或者去找我的一塊兒玩。就是這樣了。

/* How to waste a weekend */
if (天晴) { 出去逛； } 
else { 
    if (心情好) {
            看電影 or 找人玩；
    }
    else { 宅家裏; }  
}

選擇

選擇是在多個相同類型的選項中選擇匹配的一項並執行相應的操做。

# /* Talk with an intelligent workmate */
switch fruit:
    case 'apple': suggest 'a apple a day keeps the doctor away' 
    case 'banana': suggest 'a banana a day keeps your skin delicious'
    case 'tomato': suggest 'oh, my favorite '
    default: suggest 'i dont recognize it '

循環

循環就是把一件事重複作屢次。過程必有終結之時。此之結束，彼之開端。

/* The life */
while (人生還在繼續 && 沒有意外發生 ) {
     晨起洗漱；  
     每日三餐維持生命；
     編程； 寫做；
     感覺美好；
     睡覺；
}

跳轉

當一條路走不下去，或者發現要及時掉頭時，就會使用跳轉語句。break 是終止整個循環；continue 是跳事後面的操做進入下次循環。GOTO是萬能跳轉語句，曾經盛行一時，但當今高級語言只做爲保留關鍵字，再也不推薦使用它了。從底層看來，分支、選擇、循環、跳轉應該是採用GOTO來實現的。

/* The life */
   for (;;) {
       工做；娛樂；養家；生活；
       if (badHealth || bedying) {
           print 'go to hospital.' 
           break;
       }
       if (tired) {
           print 'go to rest for some days'
           rest(somedays)
           continue;
       }
       
   }

函數

函數，就是把一系列指令組織起來實現一個具體通用的功能，並對其命名的過程。 好比前面早上的例程就能夠寫成函數。

def doInMorning(delay=20，time=7:45):
      聽到鬧鐘響關掉鬧鐘； 繼續躺牀上 delay 指定的分鐘； 
      看到快到 time 指定的時間就起牀； 洗漱； 收拾全身； 出門；

相比代碼塊，函數能夠帶有參數，好比上面的 delay, time , 根據參數來調節實際的動做。就像電飯煲能夠調節溫度、時間、鬧鐘能夠設置鈴聲同樣。參數可能帶有默認值。之後就能夠根據不一樣的參數執行 doInMorning 行爲了。

此外，函數比代碼塊多了命名。別看只是多了命名，其意義猶如編碼同樣非凡！ 今後，編程邁入了「堆積木」時代。只要你花時間編寫了一個可靠的函數，成千上萬的人就能夠在數秒內數千萬次甚至上億次地反覆使用這個函數，—— 你能找到第二個行業作到這一點嗎？ 這就是軟件行業可以一日千里、突飛猛進、每天刷屏的根本緣由。

九層之臺，起於累土。正如咱們能夠從四則運算開始，通過代數、方程式、函數、數列、複數、平面幾何、解析幾何， 直到微積分、卷積、級數等很是高階的數學運算，也能夠從實現1+1=2的簡單函數開始，一層層地累加，直到構建起超大規模互聯網軟件系統。

若是你要程序員造一座巴比倫城市，那麼，程序員會寫一個函數去創造一個城市，而後傳入參數名爲巴比倫。

小結

到如今爲止，真值得爲本身慶祝一下： 咱們已經走過一段路了。 熟悉了基本數據結構和基本控制結構，已經能夠編寫小型程序了。不過， 若是要以爬山做比方的話，那麼，咱們如今正處於山腳下，望着巍峨高山，是否有一種登高望遠的衝動呢？O(∩_∩)O

請多休息一會，補充充沛的體力和精力。接下來， 咱們將開始真正的爬山之旅。

第二站-中級結構

中級結構一般是一種或多種基本結構經過某種組合形式而實現的更復雜一點的結構，亦稱爲「複合結構」。組合蘊藏的威力是很是強大的。現實中的事物幾乎都是由基本元素和基本事物組合而造成的。嵌套是組合的一種形式。

中級數據結構

多維數組

多維數組是一維數組在多維空間的擴展，是數組(...的數組)。比較經常使用的是二維數組。好比 [[1,2,3], [4,5,6], [7,8,9]] 是二維數組； [ [ [1,2,3], [4,5,6], [7,8,9]], [ [11,22,33], [44,55,66], [77,88,99] ] ] 是三維數組。 訪問 N 維數組的元素須要 N個對應的下標，能夠根據指定位置隨機存取。 好比訪問二維數組須要 [row][col] 下標， 訪問三維數組須要 [N][row][col]。 二維數組可用於點陣圖表示、曲線模擬、矩陣表示；三維數組可用於立體圖形的模擬。

二叉樹

從一個起點出發，每次選擇向左或向右進行探索；若是不想在一個方向走下去了，那麼回退到上一個地方向另外一個方向進行探索，如此反覆，最終造成的結構就是二叉樹。二叉樹實際上能夠當作是多個鏈表的組合。字典查找就使用到了二叉樹。處理二叉樹一般會用到遞歸的方法。

二叉樹是編程中第一個不太容易掌握的數據結構，其緣由是，人們更習慣於以線性的方式思考問題，而後二叉樹告訴咱們：要分叉，要多向探索，世界有更多可能。

模板

模板是含有固定不變內容和待填充內容（稱爲佔位符）的混合體。當實際運行時，將具體的內容替換佔位符，便可獲得動態內容。經常使用於生成動態頁面，自動生成代碼等。

好比 I have a dream that ${dream}. 就是個模板， ${dream} 是佔位符。當使用具體內容「someday i will teach kids programming」替換時，就生成了最終內容： I have a dream that someday i will teach kids programming.

緩存

咱們來作個遊戲：有一個教官和一隊順序編號的十名學員。教官與學員相距 10 米。如今，教官要點到名的學員來到跟前敬禮而後回去。教官的記性和視力不太好，容易點到重複的名字，且若是有不超過5名學員都站在離教官5米遠的距離，教官是分辨不出來的。學員怎麼走才能更少距離到達教官呢？

固然，全部學員能夠來到教官面前，而後敬禮歸隊，這樣每位點到名的學員都得往返 20米。但有些淘氣的學員故意離得近一點，站在離教官5米的距離，這樣教官點到名的時候，就只要往返 10 米。固然，若是點到名的學員站在10米遠的地方，就不得不往返20米了。如今的問題是，學員得找到教官點名的規律，並及時讓相應的學員站到5米遠的地方，從而使得所有點名後，全部學員的往返距離最小？

這5個離教官5米遠的位置，就是緩存。緩存是計算世界中僅次於編碼的極爲重要的編程思想之一。計算世界的緩存幾乎無處不在：CPU與內存之間有緩存，磁盤、網絡與操做系統之間有緩存，應用程序與數據庫之間訪問有緩存。你與我之間也有緩存。緩存可以讓獲取數據更快，從而運算更快，效率更高，但緩存也更貴。緩存的兩大指標是：緩存容量和命中率。若是相同成本下的緩存容量更大，就能使用緩存來替代原來的存儲，而後製造更近的緩存；若是緩存容量難以提升，就要琢磨數據存取的規律，儘量讓每次的命中率更大。緩存容量就是有多少個離教官5米遠的位置；命中率就是有總共的點名次數中多大的比率教官點到了離教官5米遠位置的學員。

中級控制結構

迭代

迭代是使用固定的計算規則集合不斷用新值取代舊值趨向真實值的控制結構。好比牛頓迭代法求N的平方根 X(k+1) = (X(k) + N/X(k))/2 (k>=0) 就是一個迭代過程。能夠指定初始值和終結迭代過程的迭代次數。迭代的重要指標是收斂性和收斂速度。

遍歷

遍歷是從結構中的某個初始節點出發，使用某種控制算法直至訪問結構中的全部節點。遍歷有深度遍歷和廣度遍歷。深度遍歷是一直往一個方向走，直到無路可走，而後回退到上一個可選擇路徑的節點，選擇另外一個沒有遍歷的路徑。依次直至全部節點都訪問完畢。深度遍歷上述的數結構，獲得的節點順序依次是 { 9,6,3,8,7,12,15,18,13} ； 廣度遍歷是首先訪問初始節點的全部鄰接節點，而後訪問這些鄰接節點的鄰接節點，這樣一層層地輻射般的鋪開，獲得的節點順序依次是 { 9,6,12,3,8,15,7,13,18 } 。

常見的遍歷操做有列表遍歷、對象遍歷和合並操做。列表遍歷主要有映射、過濾和查找(匹配)。 映射便是對列表的全部元素依次應用一個函數獲得另外一個列表，好比 [1,2,3,4,5] 應用 f(x) = x*2 獲得 [2,4,6,8,10]; 過濾便是對列表的全部元素依次應用一個函數獲得另外一個列表，這個函數根據某種條件返回 true or false , 好比 [1,2,3,4,5] 應用 f(x) = { return x > 2; } 返回 [3,4,5]； 查找操做是在列表中找到指定元素的第一次出現位置或全部出現位置；實際中的列表遍歷每每二者兼之，在遍歷列表的時候判斷是否知足某種條件，若是知足，對列表元素作必定處理，而後添加到結果列表中。Traverse(list) = list.filter(condition).map(listElemHandler)

對象遍歷是遍歷對象的全部狀態以及遞歸遍歷對象引用的對象，由此造成了對象遍歷圖。

合併是經過遍歷將兩個數據結構的對應元素經過某種方式合併成一個列表的過程。好比摺疊操做 zip([1,2,3,4], [6,7,8,9]) = [(1, 6), (2, 7), (3, 8), (4, 9)]； 好比 Map 合併 merge ({'name':'qin', 'address': 'hubei'}, { 'hobby': ['writing', 'programming, 'walking'] } ) = {'name':'qin', 'address': 'hubei', 'hobby': ['writing', 'programming, 'walking']}.

對於嵌套的數據結構的遍歷，須要使用遞歸的方法來完成。

遞歸

數據有嵌套的結構，控制也有嵌套的結構。遞歸就是在函數F以不一樣的參數調用它自身。好比計算 1+2+3 , 既能夠順序循環地計算，也能夠遞歸地計算： 1+(2+(3)) ， 1-3 的和，就是 1 與 (2-3) 的和，而 2-3 的和，是 2 與 (3) 的和，(3)的和就是它自己。這裏有三個要素： 1. 一個能夠以不一樣參數重複調用自身的過程，這些不一樣參數一般是要處理的總結構以某種方式依次去掉一些元素的子結構； 2. 一個原子的操做，好比這裏兩個數的和； 3. 終止條件： 在某一次調用時傳入參數的子結構只有一個值的狀況。

遞歸是計算世界中與緩存思想同等重要的編程思想。

中斷

當你正投入工做狀態的時候，領導發話了：開會開會！ 因而你不得不放下手頭心愛的事情，跑去聽一段@#￥@#%@￥%@%#￥%#的講話，講話回來後再以莫名的心緒從新干活。固然，人是有記憶的，當你去開會前，實際上已經記憶了當時作的事情的一些重要細節和進程，這樣在回來時就能從這些細節和進程逐漸恢復到當時狀態繼續幹活，就像講話彷佛發生過同樣。這就是中斷：作某件事，更高優先級事情插入，保存現場，完成更高優先級的事情，恢復現場，繼續作原來的事情。

中斷是計算世界中與遞歸思想同等重要的編程思想。

回調

回調是常規邏輯的一種變體。一般代碼會順序地執行A -> B -> C ->D 等，但在某些狀況下，咱們但願在 B 處作不一樣的處理，好比 A 生成一個列表 [1,2,3] , 而在 B 處既可能去對列表元素作乘法運算，也可能作加法運算。這時候，能夠在B 處提供一個回調 callback(list)，容許傳入不一樣的函數 add(list) 或 multi(list) 對列表作不一樣的處理。再好比前端發送一個ajax異步請求，當成功的時候顯示錶格數據，當失敗的時候打印友好的錯誤信息，就須要提供兩個回調： success(response) 和 fail(response) ，分別處理成功和錯誤時的狀況。回調一般用於模板設計模式中。

回滾

當咱們在編輯器裏編輯錯誤時，就會使用 Ctrl+z 快捷鍵回退到上一個編輯狀態，即「撤銷」操做。回退到某個指定狀態的操做叫作回滾。好比發佈代碼到線上後，發現有重要BUG，就須要回滾發佈代碼到上一個可靠的狀態。在軟件中，回滾有兩個應用領域：一個是事務管理，一個是GUI編程。事務管理中，好比處理入帳匯款的功能，當你向家人匯款一筆錢時，一般須要在你的帳戶里扣減這筆錢且同時在家人的帳戶裏增長一筆錢，二者必須同時成功才構成一次正確的匯款操做。若是在你帳戶里扣減款項以後，設備出故障了，那麼就必須回滾到未扣減的初始狀態，以確保你的財產不受損失。在GUI編程中，經常存放用戶的編輯操做序列，以便於在用戶操做出錯時能夠撤銷，從某個狀態從新開始編輯。

流計算

假設有個列表 [1,2,3,4,5] , 你想先對列表中全部元素依次乘以10，再依次加上4，再依次除以2，最後依次過濾掉結果少於20的元素。那麼有兩種方式。一種方式是按照指定計算順序地進行，每次都遍歷列表對全部元素計算，先獲得 [10,20,30,40,50]，而後獲得[14,24,34,44,54], 而後獲得 [7,12,17,22,27]，最後過濾後的元素是 [22,27] ; 很簡單，不過要對列表遍歷4次。若是指定運算更多一些，就要遍歷更屢次。另一種計算方式是，先收集相關信息，好比全部的計算要求及順序，而後進行聚合，對於上述計算而言，實際上就是把列表中的每一個元素乘以5再加上2，而後保留大於或等於20的元素。即將 5x+2 >=20 應用於列表中的每一個元素獲得新的列表 。這樣就只須要對列表進行一次遍歷。這就是流計算。流計算不一樣於普通計算之處，在於它把待處理數據當作流，將要作的運算聚合成一次運算，而後在真正須要結果的時候才進行計算。

一次流計算的基本組成元素有列表遍歷和列表聚合操做。列表遍歷見遍歷部分，列表聚合主要指求和、求平均、最大最小值等。流計算能夠是串行的，也能夠是並行的。詳見 Java8 Stream API.

閉包

閉包是一個從學院流傳到工程界的思想，從來衆說紛紜，莫衷一是。既然如此，不妨從其溯源、本質和形式來理解。

爲何有閉包呢？這是變量爲了突破函數的限制而產生的。假設函數F裏定義了一個局部變量 x，那麼當函數執行完成退出後，x 就會自動被銷燬。這就像寄生於宿主中的寄生者同樣，宿主滅亡就會致使寄生者滅亡；又像古代陪葬，作奴的要隨主子的入葬而陪葬。閉包，就是爲了建立可以突破這一限制的變量。當在函數F中定義了閉包 C 來訪問變量 x, 那麼在函數F退出後 x 並不會被銷燬，而是以當前狀態存留並長眠，等待函數F的下一次執行的時候復甦過來。嗯，是否是像在看科幻小說？這就是閉包的溯源。

閉包就是爲了建立函數中的自由變量。在不一樣編程語言中的實現形式有所不一樣。C語言中，在函數中的變量使用 static 修飾，就能夠成爲不隨函數退出而滅亡的自由之身，不過這並不算是閉包；Python 語言中，閉包使用在函數內被定義的嵌套函數來實現；Groovy 語言中，是一段自由出現的用括號括起來的代碼塊，能夠賦值給變量和傳遞給函數；Java語言中，是含有參數和函數體但沒有函數聲明的代碼塊。

Curry

在學習數學時，經常會遇到這樣的函數，f(n, x) = 1^x + 2^x + ... + n^x ， 其中 n^x 是 n 的x 次方。當 x 取不一樣值時， f(n,x) 就退變爲一元函數，好比 x=1 時， f(n,1) = 1+2+...+n, 是求n個數的和；x=2 時，f(n,2) = 1^2 + 2^2+ ... + n^2 是求n個數的平方和等。將 f(n,x) Curry 化，就獲得了 f(n)(x) = 1^x + 2^x + ... + n^x； 那麼 f(n)(1) 就是 n 個數的和， f(n)(2) 就是 n個數的平方和，依然是函數。這對計算世界裏的傳統函數是一個創新：傳統函數獲得的結果老是具體的值。運用 Curry 化，編程語言就有表達數學公式的抽象能力而不只僅只是計算值了。功力又見長了！

Curry 將多元函數逐層拆解，能夠批量生產出大量的低元函數，簡直就是個「函數工廠」！運用Curry很容易作出可擴展的微框架，組合基礎函數來完成大量數據處理的功能。Scala 語言提供了 Curry 的支持。

小結

在這一站裏，咱們學到了新的數據結構（二叉樹、模板、緩存）以及新的控制結構（迭代、遍歷、遞歸、中斷、回調、回滾、流計算、閉包、Curry）。熟悉這些結構會略有點難度，由於其特徵與人類的順序、線性的平常思惟不太適配。

迭代在科學計算與軟件工程中普遍使用，體現了「逐步求精」的思想；遍歷是開發中最經常使用的控制結構，不少代碼都須要對一個列表或映射進行遍歷和操做；遞歸須要思惟隨着結構逐層遞進深刻，甚至超越思惟可以承受的範圍（當結構可能嵌套任意有限的任意結構時）；中斷相對容易接受，與平常場景比較類似；回調則相似在代碼路徑中作了個多路分叉，在不一樣狀況下能夠選擇不一樣的算法來處理；回滾則可回退到歷史存在的某個狀態從新操做，提供了出錯處理的機制；流計算體現了對源數據流的聚合與延遲的計算特性；閉包建立了函數裏的自由變量，從而擴展了函數的能力；Curry 將多元函數拆解爲多個低元函數的層層調用，批量生產大量函數，可以以最大靈活性組合代碼邏輯，有時甚至以簡短的幾行代碼就能作出一個簡易微框架。

學習這些結構，須要思惟可以更加靈活，突破順序、線性思惟的侷限性，甚至須要深刻思考和練習；學會這些結構，基本能夠應對軟件開發中的普通難度的業務編程了。

如今咱們已經站在山腰了，能夠看到一點點壯觀的風景了！那麼，繼續向上，仍是返航？ 由你決定。

第三站-高級結構

高級數據結構

圖

圖是多個事物相互關聯造成的複合結構。國家鐵路交通網，公司全部成員的社交關係網，都是圖的例子。圖是數據結構中最難掌握的BOSS級結構。圖編程的難點在於事物之間的多向關聯，讓線性思惟的人們無所適從。事物的關聯蘊藏着驚人的價值。Google是利用網頁之間的關聯權重發跡的，Facebook則更直接利用人們的社交關係來成就的。大部分程序yuan寫不出像樣的處理圖的基本程序，工做一年後絕大部分程序yuan幾乎不會表示圖了。圖是數據結構領域的金字塔頂。能夠說，掌握了圖結構編程，就意味着數據結構最終通關成功，編程領域裏幾乎沒有能夠難倒你的數據結構了。

圖能夠使用二維數組來表示， 也能夠使用數組和鄰接鏈表組合起來表示。這充分說明：最基本數據結構的組合，就能夠建立最複雜的BOSS級數據結構。

正則表達式

正則表達式是一種非典型數據結構，用於描述數據文本的特徵。好比 0571-8888888, 027-6666666 都是電話號碼，是由連字符 - 分隔的兩數字串，能夠使用正則表達式來描述這樣的文本: [0-9]{3,4}-[0-9]{7}。[0-9]表示匹配0-9的任意某個數字，{m,n}表示位數爲[m,n]之間，{m}表示位數就是m。[0-9]一般也簡寫爲\d. 正則表達式普遍用於文本匹配和替換工做。

對象

到如今爲止，數據與控制都是分開發展的。分久必合。在對象這裏，數據與控制合爲一體。對象是具備狀態和行爲的統一體。正如人具備身體結構、精力、體力等狀態，並可以運用這些結構和狀態來完成實際行動同樣。數據經過複雜結構構成實體，實體具有影響數據變化的能力；數據與控制成爲相互影響密不可分的總體。對象是程序yuan對現實世界的事物的抽象。

高級控制結構

設計模式

設計模式是對象編程的技藝。要完成一件事情，一般要不少人一塊兒來配合協做，充分發揮每一個人的專長。那麼職責任務分配就很是重要了。設計模式即解決對象的職責以及對象之間怎麼協做的問題。好比程序yuanA代碼寫得特別溜，就是不喜歡跟人交流，那麼就須要一個和TA合得來的yuanB來傳達yuanA思想。這個合得來的yuanB就是yuanA對於外界的適配器。適配器模式並不完成新的事情，只是將一件事轉換一種形式來完成。設計模式可以讓軟件的柔性更強。

Class A {
      public void writeNBCode(HardTalking hardTalking) {
             // HardTalking 是很是難以使用的參數 
             //  balabalabalabala
      }  
 }
 
Class B {
      public void goodSpeaking(GoodTalking goodTalking) {
           //  GoodTalking 是很是容易使用的參數
           hardTalking = transfer(goodTalking)
           A.writeNBCode(hardTalking);
      }
}

B.goodSpeaking(talking);   // 人要使用到A的牛逼能力，只須要與 B 溝通就行； 這裏 goodSpeaking 就是個適配器接口。

親愛的猿媛們，你但願別人由於本身不善言談而把本身晾在一邊，讓別人來取代你的發言權麼？

異步

在順序的模型下，當你執行計算時，須要等待計算完成後得到結果。若是執行計算的時間會比較長，那麼顯然不能幹等着吧。這時候，就須要採用異步模型。異步與在餐館點菜很類似。當你付款後，因爲菜餚要準備一段時間不能當即得到，這時候，你會獲得一個相似令牌的東西，表明你的一次請求和要獲取的菜餚。在菜餚準備期間，你能夠去作任何事情，除了不能掛掉。當菜餚準備好後，就會通知你使用令牌來獲取相應的菜餚。這也有兩種方式，要麼服務員直接把飯菜端上你的桌（推），要麼你拿着令牌去取（拉）。異步普遍用於請求不能當即完成和得到結果的場合。

token = 點菜(菜單列表)；

// 當即返回，不阻塞在服務檯那裏，體現異步流程
作其餘的事情，好比看看手機聊聊天；

吃飯流程: 
while (飯菜沒吃完) {
     token.getResult(菜已上桌) {
          吃飯，聊天，...  ;
     }
     token.getResult(菜沒法供應) {
          if (飯菜不夠吃) {
               token = 從新點菜(菜單列表)；
               goto 吃飯；
          }
          else {
               放棄點的這盤菜；
          }
     }
}

token.pay()

併發

一邊燒開水，一邊看報紙。這大概是併發的最經典比方了。不過對於現代人來講，看報紙大概要換成「追劇」了。不錯，併發就是同時作兩件事了。這個「同時」能夠有兩種理解：(1) 兩我的在同一個時刻各作了兩件事； (2) 一我的在一段時間內同時作了兩件事。（1）是嚴格的併發，也稱爲「並行」。一邊燒開水，一邊看報紙，其實是壺在燒水，人在看報紙。能夠說壺與人是並行工做的；(2) 稱爲「分時切換」，是廣義的併發，好比單CPU在IO操做時執行其餘的計算，此時稱CPU也是併發的，其實是由於CPU與IO設備同時在工做，可是以CPU爲中心而言的緣故。 併發操做的緣由，是由於一個事物由多個部分組成，而每一個部分都能獨立地作一件事。好比千手觀音，假如人真的有千手，那麼真的能夠同時吃飯、看報紙、寫字等（量子化的世界，是否可能實現一個事物在一個時刻點同時作多件事？）。

別看併發理解起來比較容易，在軟件開發中，併發是最本質的難題。併發會致使多個事情的執行順序和結果的不肯定，致使數據訪問死鎖，加上大規模數據流，大規模的邏輯併發，基本超過了人類理解力可以承受的極限。併發是致使極難排查的BUG的根本緣由（很難復現，但它又會不請自來，像軟件中的幽靈）。現有的大多數應用，還僅僅只是使用多臺服務器並行提供服務，使用多線程或多進程來運行相互獨立的子任務，併發在應用中只是局部使用，也就是順序爲主、併發爲輔的。

併發的實現方式主要有： 多線程(Java)、多進程(C)、多協程(GO)、Actor(Scala).

通訊協議

到目前爲止，咱們討論的範圍還僅限於單機範圍。但是絕大多數人是沒法忍受孤獨的，人亦非孤島般存在。讓計算機可以彼此通訊，讓人們可以跨時空互聯深刻交流，纔是互聯網的最大夢想。通訊協議就是解決計算機中間如何可靠通訊的問題，而爲了可靠通訊，就必須制定好協議。好比一次5我的的聚會吧，首先你們確定要事先約定何時什麼地點碰頭，好各自安排行程；這是靜態協議； 不過計劃總趕不上變化。當實際去赴會時，會發現由於某位明星的到來致使路上特堵，結果2我的不能如約到達；這時候，就必須從新調整計劃另約時間和地點，甚至還可能改變原來的遊玩計劃；或者在原計劃中留下充分的緩衝餘地。這就是協議要作的事情：約定與標準（碰頭時間地點）、緩衝餘地（容錯）、動態調整（靈活性）。實際的通訊協議可能更復雜，依據不一樣的應用而設定，不過原理是相同的。

通訊協議是互聯網誕生和發展的基礎軟件設施。最爲人所熟知的莫過於 HTTP， TCP 和 IP 協議了。

小結

頗有勇氣！你已經抵達山上大約 2/3 的地方，能夠看到更加壯美的風景！高級數據結構和高級控制結構，理解起來比較容易，大規模實踐起來，倒是件頗有難度的事情，須要紮實的功底、多年的經驗、出色的悟性和直覺， 就像習武同樣，起初的進步是飛快的，隨着功力的提高，以及事情固有的難度（或許是由於咱們尚未真正理解事情，沒有找到有效的方法），會遇到一個瓶頸。在這一層中，大量的努力和實踐可能只帶來少許的收穫，但仍然要不懈攀登。當可以掌握這些高級結構時，就編程功底而言，已經沒有什麼編程難題是沒法跨越的了。

接下來的事情，就是最後的衝刺，真正的實戰與挑戰。

第四站-應用

應用中的數據結構和控制結構在編程領域不必定是最困難的，但因爲要承載現實世界中的大規模流量，以及多人協做維護的大型工程，所以更多的是工程領域的難點和挑戰。大流量、併發用戶訪問、不可避免的髒數據和無規則數據、非法訪問代碼等，都是應用數據結構和控制結構須要應對的問題。

應用數據結構

JSON

JSON是基本數據結構的嵌套而成的結構， 是普遍應用於子系統之間的標準數據交換結構。好比服務端返回給前端的數據結構就是 JSON，服務A 調用服務 B 的 API 接口獲取的返回數據結構也是 JSON。 JSON 定義可參考網站：JSON.org

XML

XML是一種標記語言，經過 <標記含義> 標記內容 來表達語義內容。超文本標記語言HTML是一種結構相對鬆散容錯性較高的XML。好比一我的的信息，能夠使用 {'name':'qin', 'hobby': ['programming','riding']} , 也能夠使用如下格式來表示。XML也是系統之間一種標準數據交換結構，同時也經常使用於配置文件。與JSON相比，在數據交換結構方面，XML更重量級，可能不如JSON那麼靈活，可是用途更普遍一些。

<person>
<name>qin</name>
<hobby>
   <list>
        <value>programming</value><value>riding</value>   
   </list>  
</hobby>
</preson>

記錄文本

記錄文本是每行以固定規律呈現的結構化文本。好比csv文件是每行以逗號分隔的文本，properties配置每行是以key=value形式的文本。記錄文本格式簡單，容易解析，經常使用於Shell任務處理和應用配置文件。

關係型數據庫

關係型數據庫是幾乎全部互聯網應用必不可少的數據結構組件。

關係型數據庫的基礎是二維表，就是一行一行的記錄，每行記錄都是由多條數據項組成的。爲了支持大容量記錄以及方便地按照各類條件進行檢索，二維表採用了B+樹實現，並實現了一套數據庫管理系統，包括數據庫服務器、數據庫語言SQL、以及數據庫客戶端。數據庫服務器用於確保全部記錄可以按照條件進行訪問（查詢、插入、更新、刪除，俗稱 CRUD），包括服務器的正常運轉；數據庫語言SQL提供了要查詢什麼數據的表達方式；客戶端提供了編寫、執行SQL和查看結果的操做界面。

關係數據庫適合存儲和檢索結構化的有規則的數據集，一個業務功能的詳細設計一般都會從數據庫設計着手。好比學生選課，能夠設計四張表：學生表，每一行都是格式相同的記錄，數據項爲（學號，姓名，學生的其餘信息字段等）； 課程表，每一行都是格式相同的記錄，數據項爲(課程編號，課程名稱，課程的其餘信息字段等)；教師表，每一行都是格式相同的記錄，(教師編號，教師姓名，教師的其餘信息字段等)； 選課表，每一行都是格式相同的記錄，數據項爲（學號，課程編號，教師編號），這裏學號會關聯學生表的學號來獲取對應學生的信息，課程號會關聯課程表的課程編號字段來獲取對應課程的信息，教師編號會關聯教師表的教師編號來獲取對應教師的信息，這種關聯稱爲Join操做，在數學上稱做「笛卡爾乘積」。數據庫表的設計是有一套範式可遵循的，儘量保證數據的一致性、完整性和最小冗餘度。

key-value型數據庫

關係數據庫適合存儲和檢索結構化的有規則的數據集，但對於移動互聯網時代的應用所要承載的大規模數據流量來講，就頗有點吃力了。隨着表記錄的大幅增多，數據庫的查詢響應時間會逐漸下降，數據庫也面臨着巨大的併發訪問壓力，所以出現了 key-value型數據庫，能夠做爲數據庫的輔助。 key-value 數據庫適合存儲非規則型的容量級別更大的數據，能夠有效地做爲應用與數據庫訪問之間的緩存，從而大幅減小直接訪問數據庫產生的壓力。

應用控制結構

API

API的實質就是函數。API是被封裝的可複用的函數在軟件工程語境中的正式稱謂，經常使用於表示一個子系統、子模塊對外所能提供的服務，以及子系統、子模塊之間的交互關係。封裝和複用，是軟件工程領域中最重要的思想。

API能夠是操做系統提供的，好比文件讀寫接口；能夠是某種編程語言庫提供的，好比JDK； 能夠是第三方平臺提供的，好比用於獲取商家用戶及交易數據的淘寶API，用於獲取位置信息的谷歌地圖API等。

應用框架

當咱們登陸訪問互聯網網站時，須要填入用戶名或掃碼，提交請求後，請求就會發送到服務器後臺，後臺會對請求進行格式化、合法性校驗、權限校驗、日誌記錄等，而後交給特定的服務程序處理，處理後的結果再通過格式化後返回頁面展現給用戶。這個過程當中，「瀏覽器發送請求給服務後臺，服務後臺作請求格式化、合法性校驗、權限校驗、日誌記錄、提交特定程序處理、結果格式化等」其實都是通用的控制流程，跟網站業務只有一毛錢關係，因而，程序yuan就將這些通用流程抽離出來，造成應用框架。這樣，之後不管是搭小學生網站，仍是搭大學生網站，均可以使用這個應用框架快速搭建起應用。除了網站應用框架，還有不少其餘用途的成熟的應用框架。一位熟練的工程師徹底可能在一週內獨立搭建起一個可演示的系統。

應用框架使得搭建應用能夠從 40% 起步，甚至從 70% 起步。一個正式運營的互聯網應用軟件，使用的應用框架、複用的程序庫代碼，佔比可能達到90%，真正由應用程序yuan寫的代碼，可能只有10%左右。也就是1000行代碼中，大約100行是應用相關代碼。

組件

組件是用於特定用途的可複用的符合該組件類型約定標準的成品，能夠在不一樣的應用系統中靈活地組裝使用。相似於標準化的汽車零部件。好比消息中間件，能夠可靠地在極短期內接收和推送數億條消息； 日誌組件能夠根據應用指定的配置打印格式多樣化的不一樣級別的信息到指定的輸出流中；工做流組件能夠將業務流程(好比審批)抽象成一個個順序或分支節點來執行和完成。應用框架也是一種組件。組件使得初始應用系統能夠從更大粒度進行組裝完成，在後續開發和維護中也能夠靈活地進行去舊換新。

若是想了解更多組件類型，可參考網站： Java開源組件 。Java 語言中，組件採用 Jar 包的形式，使用開源組件 Maven 自動化管理。

控件

控件是指那些可以容納數據和展現數據的客戶端界面。好比文本框、表格、圖片、圖表等。控件由數據模型、數據管理器和界面組成。數據模型是控件能夠容納的數據結構的形式，好比字符串、記錄列表、二維數組等，界面就是用於展現數據模型容納的數據的可視化的視覺子組件；而數據管理器則是能夠用於搜索、過濾、排序、下載等操做的子組件。數據模型是控件的數據部分，界面是控件的視圖部分，數據管理器是控件的控制部分，一般稱爲「MVC」設計模式。

分佈式

分佈式是利用部署在不一樣服務器上的大量子系統或子服務相互協做共同完成請求的。好比網站 W 給消費者提供行業諮詢服務，可能要使用到雲服務商 B 提供的大規模雲服務器 E、負載均衡服務 L、關係數據庫服務 R、開放存儲服務 S、大數據離線計算服務 D，使用到 T 公司平臺提供的第三方API接口，使用到 C 公司的 CDN ， 使用到 D 公司的域名解析服務， 使用到 E 網站提供的廣告推廣連接，而服務商 B 提供的服務器集羣須要許多管理、監控、運維等內部系統 M 來維護，這些內部系統 M 可能使用 F 網站提供的連接和 G 網站提供的開源組件，使用到自身的雲服務集羣，而 F,G 網站也可能使用到 B 提供的雲服務集羣等。

再好比IAAS服務商 A ，爲了提供可靠友好的雲服務器服務接口 S ，須要前端控制檯應用 F 調用 OpenApi 接口應用 O, O 又調用後臺Dubbo服務應用 D, D 解析請求中的信息轉發給對應地域的網關代理接口 P , P 將請求轉發給控制系統 C , C 進行計算調度後發送虛擬機相關指令(好比重啓)到指定的物理機 H 上執行相應的虛擬化、存儲、網絡底層模塊接口 M 。這些物理機 H 須要定時上報心跳給控制系統 C ，須要在底層模塊處理成功或失敗的時候推送消息給消息中間件 N ， N 須要推送消息給控制系統 C 來更新其數據庫服務器 R 上的虛擬機狀態。 全部這些應用 F,O,D P, C, R 都是部署多臺服務器來避免單點故障的， 而 H 則更是分佈在不一樣地域不一樣機房的數萬臺物理機中的某一臺。

簡單地理解，一個跨地域、經過多人並協做完成目標的組織機構，就是分佈式的。分佈式系統能夠組合廉價服務器來獲取高可靠高可用，能夠經過多箇中小型應用併發、協做地完成高難度的計算目標（好比基因測序)，其潛能很是巨大。不過度布式系統具備併發所帶來的難題，同時又增長了不一樣機器之間的時序同步、數據不一致性等疑難問題，具備至關高的複雜度。

互聯網

恭喜一直不懈前行的本身，即將登上山頂！

分佈式的互聯網，或許是人類構建的最爲恢弘壯麗而錯綜複雜的系統了，一個全新的虛擬世界，遠超過埃菲爾鐵塔和萬里長城，雖而後者也是使人震撼的傑做。數億的在線訪問用戶、部署在數千萬的服務器上的不可勝數的應用服務、相互依賴的子服務協做良好地穩定而不知疲倦地運行着，併發的不肯定性、機器時序分佈式同步等帶來的困擾，彷佛並無影響互聯網正常秩序的運轉。若是說這是人類智慧的結晶，也間接證實了上帝奇蹟般的設計，—— 由於只要一個無規則的微小擾動，這些可能就根本不存在。

在山頂靜靜駐留一刻，或者在水的包圍中靜靜駐留一刻，將是生命中可貴的記憶之一。

小結

在這一站中，咱們領略了人們爲了應對和攻克現實世界和實際工程中的難題所發明創造的具備實用性的可複用的數據結構和控制結構，感覺到編程所創造的超級世界 —— 互聯網。或許，這就是《終結者》中天網的雛形，一個還不具有足夠智能和思考能力的處於胚胎期的生命體。將來將會怎樣呢？ 沒法得知，惟有珍惜此刻。

軟件之道的思考

性能與效率

程序yuan永恆地追求着性能與效率。低性能幾乎老是由沒必要要的重複操做形成的。好比在多重循環中重複地取出相同的值，在循環中重複建立開銷很大的相同對象，在循環中一次次調用相同的網絡服務接口（重複的網絡傳輸開銷），重複調用相同的接口獲取相同的數據等。要達到高性能和高效率，就要聚焦熱點區域，設計優良的結構，精打細算，去除那些沒必要要的重複操做，儘量減小沒必要要的網絡操做。

健壯性

健壯性一般是對現實複雜性估計不足，沒有考慮到：

1. 各類可能的非法輸入：髒數據、不規則數據、格式合法但內容非法的數據、含惡意代碼的數據等；
2. 運行環境的低機率的不穩定，好比偶爾的網絡波動，讀取不到資源的URL等；
3. 難以覆蓋到全部場景的組合狀況。

對於第一點，儘量對輸入數據嚴苛地檢查並拒絕；對於第二點，及時捕獲異常打印日誌並返回友好的提示信息；對於第三點，則要思慮周全，須要不斷積累功底和經驗才能作得更好(但永遠沒法作到完美)。

可擴展性

可擴展性涉及到對控制結構的設計。簡單地使用順序、分支、循環語句來編寫代碼實現需求老是能夠的，畢竟這是數學家已經證實的事情； 不過，埋下的坑總有一天要讓人跌進去的，雖然不用上醫院，也要讓人灰了頭。

要達到良好的可擴展性，就要對控制結構進行仔細的設計。可以通用化的控制流程要設法抽離出來進行復用；儘可能作到「模型與業務」分離。建立穩定可擴展的模型（好比主從模型、訂閱-推送模型），將易變動的業務點抽離出來提供回調，容許根據實際狀況進行適當的變動調節。

存儲設計與請求構造

從多源頭解析和獲取數據、對數據進行變換處理、聚合數據【可選】、構造和發送請求 或 存儲數據、從多源頭解析和得到數據、對數據進行變換處理、聚合數據【可選】、構造和發送請求 或 存儲數據、。。。， 大部分互聯網應用在不知疲倦無休無止地重複作着這些事情。數據的存儲設計，即存取和組織數據的結構設計，與請求流的構造， 是完成具體業務功能的兩大要素。

配置式的軟件通用框架

當仔細觀察和推敲軟件的構成和運行時會發現，軟件一直在作的事情就是：構造請求、發送請求、獲取數據、聚合數據、存儲數據。或許咱們能夠作成一個可配置式的軟件通用框架：可配置的請求參數列表、可配置的服務名稱、可配置的數據獲取器、可配置的可靈活組合的數據聚合器、標準化的數據存儲設計，即服務模板的可配置化和服務調用的可配置化。這些都與具體的業務無關。就像規則引擎作的那樣，將業務邏輯以規則的形式進行動態配置，經過將對象匹配規則和觸發規則來完成實際功能。一旦服務能夠實現可配置化，那麼，就像5分鐘搭建一個WordPress博客同樣，或許咱們也能在5分鐘內搭建起一個能夠運行的實際系統，須要填充的只是具體的參數和流程配置。

編程之道

建立和使用結構來組織和容納數據，建立和使用相應的控制結構來遍歷結構處理數據，建立結構來聚合重組數據做爲最終展現，這就是編程之道。編程是結構的藝術。

數據-結構-控制-流

從0和1出發到如今，彷佛已經走過很長的一段路程。咱們已經登上山頂。山頂上風光無限，山下的房屋像螞蟻同樣密密麻麻地排列着，河流蜿蜒地流淌在羣山之間。如今，讓咱們閉上眼，感覺下軟件的生命靈動：大流量的數據在控制流的指引下，像水流同樣穿梭流動於形態萬千的結構中，猶如車輛在道路的指引下川流不息。若是結構設計得不夠好，數據就會像水流撞在暗礁上那樣濺起水花，出現錯誤或不一致的數據；若是控制設計得不夠好，那麼數據就會在結構中堵塞滯留，致使系統出現各類問題甚至崩潰。數據-結構-控制-流，這就是運行中的軟件，亦即運行中的世界。

路線圖

結語

《旅行到宇宙邊緣》，是一部令我很是震撼而喜好的紀錄片。在這部不亞於科幻大做的記錄片中，從咱們的家園地球出發，遍訪太陽系九大行星以及太陽之神， 遍訪銀河系、河外星系、星系與星空、想象力延伸至宇宙之初。。。，在博大深邃而一望無際的宇宙中，由於深明生命的脆弱和無情的星空，個人心顫慄着。當回到家園時，才明白地球是多麼美好而溫暖的港灣，藍天、白雲、大海、森林、岩石、土地、花木、生命，彷彿是通過數億年修煉而成的神佛般的存在。

我願此次編程之旅，也如探險般精彩。很幸運咱們走過了這麼多路，即便彼此語言並不通暢，依然一步步構建起恢弘壯麗的互聯網天塔，通往與上帝對話的天堂。或許有一天發現再也沒法回到出發點，那就繼續向前吧，旅程中永遠充滿着未知的新鮮感。將來猶如昨天，此刻亦即將來。

注： 本文所述的編程知識和思想並不是原創，不過經過結構編程爲中心來梳理和串聯編程基本知識和主要思想的寫做是原創的，轉載時請註明出處噢！ :)