所謂定位就是回答幾個問題,我出於什麼目的要寫一個框架,個人這個框架是幹什麼的,有什麼特性適用於什麼場景,個人這個框架的用戶對象是誰,他們會怎麼使用,框架由誰維護未來怎麼發展等等前端
咱們來爲本文模擬一個場景,假設咱們以爲現有的Spring MVC等框架開發起來效率有點低,打算重複造輪子,對於新框架的定位是一個給Java程序員使用的輕量級的、零配置的、易用的、易擴展的Web MVC框架。程序員
調研正則表達式
雖然到這裏你已經決定去寫一個框架了,可是在着手寫以前仍是至少建議評估一下市面上的相似(成熟)框架。須要作的是通讀這些框架的文檔以及閱讀一些源碼,這麼作有幾個目的:數據庫
新 開發一個框架的好處是沒有兼容歷史版本的包袱,可是責任也一樣重大,由於若是對於一開始的定位或設計工做沒有作好的話,未來若是要對格局進行改變就會有巨 大的向前兼容的包袱(除非你的框架沒有在任何正式項目中使用),兼容意味着框架可能會愈來愈重,可能會愈來愈難看,閱讀至少一到兩個開源實現,作好充分的 調研工做能夠使你避免犯大錯。編程
假設咱們評估了一些主流框架後已經很明確,咱們的MVC框架是一個Java平臺的、基於Servlet的輕量級的Web MVC框架,主要的理念是約定優於配置,高內聚大於低耦合,提供主流Web MVC框架的大部分功能,而且易用方面有所創新,新特性體包括:json
提供一套通用的控件模版,使得,而且支持多種模版引擎,好比Jsp、Velocity、Freemarker、Mustache等等。後端
嗯,看上去挺誘人的,這是一個不錯的開端,若是你要寫的框架本身都不以爲想用的話,那麼別人就更不會有興趣來嘗試使用你的框架了。設計模式
解決難點緩存
之 因此把解決難點放在開搞以前是由於,若是實現這個框架的某些特性,甚至說實現這個框架的主流程有一些核心問題難以解決,那麼就要考慮對框架的特性進行調 整,甚至取消框架的開發計劃了。有的時候咱們在用A平臺的時候發現一個很好用的框架,但願把這個框架移植到B平臺,這個想法是好的,但之因此在這之前這麼 多年沒有人這麼幹過是由於這個平臺的限制壓根不可能實現這樣的東西。好比咱們要實現一個MVC框架,勢必須要依賴平臺提供的反射特性,若是你的語言平臺壓 根就沒有運行時反射這個功能,那麼這就是一個很是難以解決的難點。又好比咱們在某個平臺實現一個相似於.NET平臺Linq2Sql的數據訪問框架,但如 果這個目標平臺的開發語言並不像C#那樣提供了類型推斷、匿名類型、Lambda表達式、擴展方法的話那麼因爲語法的限制你寫出來的框架在使用的時候是無 法像.NET平臺Linq2Sql那樣優雅的,這就違背了實現框架的主要目的,實現新的框架也就變得意義不大了。安全
對於咱們要實現的MVC框 架貌似不存在什麼根本性的沒法解決的問題,畢竟在Java平臺已經有不少能夠參考的例子了。若是框架的實現整體上沒什麼問題的話,就須要逐一評估框架的這 些新特性是否能夠解決。建議對於每個難點特性作一個原型項目來證實可行,以避免在框架實現到一半的時候發現有沒法解決的問題就比較尷尬了。
分析一下,貌似咱們要實現的這8大特性只有第1點要研究一下,看看如何免配置經過讓代碼方式讓咱們的Web MVC框架能夠和Servlet進行整合,若是沒法實現的話,咱們可能就須要把第1點特性從零配置改成一分鐘快速配置了。
開搞
首先須要給本身框架取一個名字,取名要考慮到易讀、易寫、易記,也須要儘可能避免和市面上其它產品的名字重複,還有就是最好不要起一個侮辱其它同類框架的名字以避免引發公憤。
若是未來打算把項目搞大的話,能夠提早註冊一下項目的相關域名,畢竟如今域名也便宜,避免到時候項目名和域名差距很大,或項目的.com或.org域名對應了一個什麼不太和諧的網站這就尷尬了。
而後就是找一個地方來託管本身的代碼,若是一開始不但願公開代碼的話,最好除了本地源代碼倉庫還有一個異地的倉庫以避免磁盤損壞致使抱憾終身,固然若是不怕出醜的話也能夠在起步的時候就使用Github等網站來託管本身的代碼。
整體設計
對 於整體設計個人建議是一開始不必定須要寫什麼設計文檔畫什麼類圖,由於可能一開始的時候沒法造成這麼具體的概念,咱們能夠直接從代碼開始作第一步。框架的 使用者通常而言仍是開發人員,拋開框架的內在的實現不說,框架的API設計的好壞取決於兩個方面。對於普通開發人員而言就是使用層面的API是否易於使 用,拿咱們的MVC框架舉例來講:
最基本的,搭建一個HelloWorld項目,聲明一個Controller和Action,配置一個路由規則讓Get方法的請求能夠解析到這個Action,能夠輸出HelloWorld文字,怎麼實現?
若是要實現從Cookie以及表單中獲取相關數據綁定到Action的參數裏面,怎麼實現?
若是要配置一個Action在調用前須要判斷權限,在調用後須要記錄日誌,怎麼實現?
咱們這裏說的API,它不必定全都是方法調用的API,廣義上來講咱們認爲框架提供的接入層的使用均可以認爲是API,因此上面的一些功能均可以認爲是MVC框架的API。
框架除了提供基本的功能,還要提供必定程度的擴展功能,使得一些複雜的項目可以在某些方面對框架進行加強以適應各類需求,好比:
一 般而言若是要實現這樣的功能就須要本身實現框架公開的一些類或接口,而後把本身的實現"註冊"到框架中,讓框架能夠在某個時候去使用這些新的實現。這就需 要框架的設計者來考慮應該以怎麼樣的友好形式公開出去哪些內容,使得之後的擴展實如今自由度以及最少實現上的平衡,同時要兼顧外來的實現不破壞框架已有的 結構。
要想清楚這些不是一件容易的事情,因此在框架的設計階段徹底能夠使用從上到下的方式進行設計。也就是不去考慮框架怎麼實現,而是以一 個使用者的身份來寫一個框架的示例網站,API怎麼簡單怎麼舒服就怎麼設計,只從使用者的角度來考慮問題。對於相關用到的類,直接寫一個空的類(能用接口 的儘可能用接口,你的目的只是經過編譯而不是能運行起來),讓程序能夠經過編譯就能夠了。你能夠從框架的普通使用開始寫這樣一個示例網站,而後再寫各類擴展 應用,在此期間你可能會用到框架內部的20個類,這些類就是框架的接入類,在你的示例網站經過編譯的那剎那,其實你已經實現了框架的接入層的設計。
這裏值得一說的是API的設計蘊含了很是多的學問以及經驗,要在目標平臺設計一套合理易用的API首先須要對目標平臺足夠了解,每個平臺都有一些約定俗成的規範,若是設計的API能符合這些規範那麼開發人員會更容易接受這個框架,此外還有一些建議:
下一步工做就是把項目中那些空的類按照功能進行劃分。目的很簡單,就是讓你的框架 的100個類或接口可以按照功能進行拆分和歸類,這樣別人一打開你的框架就能夠立刻知道你的框架分爲哪幾個主要部分,而不是在100個類中暈眩;還有由於 一旦在你的框架有使用者後你再要爲API相關的那些類調整包就比困難了,即便你在建立框架的時候以爲個人框架就那麼十幾個類無需進行過多的分類,可是在將 來框架變大又發現當初設計的不合理,沒法進行結構調整就會變得很痛苦。所以這個工做仍是至關重要的,對於大多數框架來講,能夠有幾種切蛋糕的方式:
若是是一個RPC框架,大概是這樣的結構:
對於咱們的Web MVC框架,舉例以下:
這裏咱們以IXXX來描述一個抽象,能夠是接口也能夠是抽象類,在具體實現的時候根據需求再來肯定。
這 種結構的劃分方式徹底吻合上面說的切蛋糕方式,能夠看到除了橫切部分和分層部分,做爲一個Web MVC框架,它核心的組件就是routing、model、view、controller、action(固然,對於有些MVC框架它沒有route部 分,route部分是交由Web框架實現的)。
若是咱們在這個時候還沒法肯定框架的模塊劃分的話,問題也不大,咱們能夠在後續的搭建龍骨的步驟中隨着更多的類的創建,繼續理清和肯定模塊的劃分。
通過了設計的步驟,咱們應該內心對下面的問題有一個初步的規劃了:
搭建龍骨
在 通過了初步的設計以後,咱們能夠考慮爲框架搭建一套龍骨,一套抽象的層次關係。也就是用抽象類、接口或空的類實現框架,能夠經過編譯,讓框架撐起來,就像 造房子搭建房子的鋼筋混凝土結構(添磚加瓦是後面的事情,咱們先要有一個結構)。對於開發應用程序來講,其實沒有什麼撐起來一說,由於應用程序中不少模塊 都是並行的,它可能並無一個主結構,主流程,而對於框架來講,它每每是一個高度面向對象的,高度抽象的一套程序,搭建龍骨也就是搭建一套抽象層。這麼說 可能有點抽象,咱們仍是來想一下若是要作一個Web MVC框架,須要怎麼爲上面說的幾個核心模塊進行抽象(咱們也來體會一下框架中一些類的命名,這裏咱們爲了更清晰,爲全部接口都命名爲IXXX,這點不太 符合Java的命名規範):
接下去就再也不詳細闡述model、plugin等模塊的內容了。
看到這裏,咱們來總結一下,咱們的MVC框架在組織結構上有着高度的統一:
同 時咱們框架的相關類的命名也是很是統一的,能夠一眼看出這是實現、仍是抽象類仍是接口;是提供程序,是執行結果仍是上下文。固然,在未來的代碼實現過程當中 極可能會把不少接口變爲抽象類提供一些默認的實現,這並不會影響項目的主結構。咱們會在模式篇對框架經常使用的一些高層設計模式作更多的介紹。
到了這裏,咱們的項目裏已經有幾十個空的(抽象)類、接口了,其中也定義了各類方法能夠把各個模塊串起來(各類find()方法和execute()方法),能夠說整個項目的龍骨已經創建起來了,這種感受很好,由於咱們內心頗有底,咱們只須要在接下去的工做中作兩個事情:
走通主線流程
所謂走通主線流程,就是讓這個框架能夠以一個HelloWorld形式跑起來,這就須要把幾個核心類的核心方法使用最簡單的方式進行實現,仍是拿咱們的MVC框架來舉例子:
在這一步,咱們並不必定要去觸碰filter和model這部分的內容,咱們的主線流程只是解析路由,得到控制器,執行方法,找到視圖而後渲染視圖。過濾器和視圖模型的綁定屬於加強型的功能,屬於支線流程,不屬於主線流程。
雖 然在這裏咱們說了一些MVC的實現,但本文的目的不在於教你實現一個MVC框架,因此不用深究每個類的實現細節,這裏想說的是,在前面的龍骨搭建完後, 你會發現按照這個龍骨爲它加一點肉上去實現主要的流程是瓜熟蒂落的事情,毫無痛苦。在整個實現的過程當中,你能夠不斷完善common下的一些 context,把方法的調用參數封裝到上下文對象中去,不但看起來清楚且符合開閉原則。到這裏,咱們應該能夠跑起來在設計階段作的那個示例網站的 HelloWorld功能了。
在這裏還想說一點,有些人在實現框架的時候並無搭建龍骨的一步驟,直接以非OOP的方式實現了主線流程,這種方式有如下幾個缺點:
不容易作到SRP單一指責原則,你很容易把各類邏輯都集中寫在一塊兒,好比大量的邏輯直接寫到了DispatcherServlet中,輔助一些Service或Helper,整個框架就肥瘦不勻,有些類特別龐大有些類特別小。
不容易作到OCP開閉原則,擴展起來不方便須要修改老的代碼,咱們指望的擴展是實現新的類而後讓框架感知,而不是直接修改框架的某些代碼來加強功能。
很難實現DIP依賴倒置原則,即便你依賴的確實是IService但其實就沒意義,由於它只有一個實現,只是把他看成幫助類來用罷了。
實現各類支線流程
咱們想一下,對於這個MVC框架有哪些沒有實現的支線流程?其實無需多思考,由於咱們在搭建龍骨階段的設計已經給了咱們明確的方向了,咱們只須要把除了主線以外的那些龍骨上也填充一些實體便可,好比:
實現了這一步後,你會發現整個框架飽滿起來了,每個包中再也不是僅有的那些接口和默認實現,並且會有一種OOP的爽快感,爽快感來源於幾個方面:
咱們再來總結一下以前說的那些內容,實現一個框架的第一大步就是:
經 過這樣的一些步驟後能夠發現這個框架是很穩固的,很平衡的,很易於擴展的。其實到這裏不少人以爲框架已經完成了,有血有肉,其實我的以爲只能說開發工做實 現了差很少30%,後文會繼續說,畢竟直接把這樣一個血肉之軀拿出去對外有點嚇人,咱們須要爲它進行不少包裝和完善。
單元測試
在這以前咱們寫的框架只能說是一個在最基本的狀況下能夠使用的框架,做爲一個框架咱們沒法預測開發人員未來會怎麼使用它,因此咱們須要作大量的工做來確保框架不但各類功能都是正確的,並且仍是健壯的。寫應用系統的代碼,大多數項目是不會去寫單元測試的,緣由不少:
對於框架,偏偏相反,沒有配套的單元測試的框架(也就是僅僅使用人工的方式進行測試,好比在main中調用一些方法觀察日誌或輸出,或者運行一下示例項目查看各類功能是否正常,是很是可怕的)緣由以下:
若是框架的時間需求不是特別緊的話,單元測試的引入能夠是走通主線流程的階段就引入,越早引入框架的成熟度可能就會越高,之後重構返工的機會會越小,框架的可靠性也確定會大幅提升。以前我有寫過一個類庫項目,並無寫單元測試,在項目中使用了這個類庫一段時間也沒有出現任何問題,後來花了一點時間爲類庫寫了單元測試,出乎我意料以外的是,個人類庫提供的全部API中有超過一半是沒法經過單元測試的(原覺得這是一個成熟的類庫,其實包含了數十個BUG),甚至其中有一個API是在個人項目中使用的。你可能會問,爲何在使用這個API的時候沒有發生問題而在單元測試的時候發生問題了呢?緣由以前提到過,我是框架的設計者,我在使用類庫提供的API的時候是知道使用的最佳實踐的,所以我在使用的時候爲類庫進行了一個特別的設置,這個問題若是不是經過單元測試暴露的話,那麼其它人在使用這個類庫的時候基本都會遇到一個潛在的BUG。
示範項目
寫一個示例項目不只僅是爲了給別人參考,並且還可以幫助本身去完善框架,對於示例項目,最好兼顧下面幾點:
完善日誌和異常
一個好的框架不但須要設計精良,日誌和異常的處理是否到位也是很是重要的標準,這裏有一些反例:
其實我的以爲,一個框架的主邏輯代碼並不必定是最難的,最難的是對一些細節的處理,讓框架保持一套規範的統一的日誌和異常的使用反而對框架開發者來講是一個難點,下面是針對記錄日誌的一些建議:
一、首先要對框架使用的日誌級別有一個規範,好比定義:
二、按照上面的級別規範,在須要記錄日誌的地方記錄日誌,除了DEBUG級別的日誌其它日誌不能記錄過多,若是框架老是在運行的時候輸出幾十個WARNNING也容易讓使用者忽略真正的問題。
三、日誌記錄的消息須要是明確的,最好包含一些上下文信息,好比"沒法在xxx下找到配置文件xxx.config,框架將採用默認的配置",而不是"加載配置失敗!"
下面是一些針對使用異常的建議:
完善配置
配置的部分能夠留到框架寫的差很少了再去寫,由於這個時候已經能夠想清楚哪些配置是:
通常來講配置有幾種方式:
不少框架提供了多種配置方式,好比Spring MVC同時支持上面三種方式的配置,我的以爲對配置,咱們仍是應該區別對待,而不是無腦把全部的配置項都同時以上面三種方式提供配置,咱們要考慮高內聚和低耦合原則,對於Web框架來講,高內聚須要考慮的比低耦合更多,個人建議是對不一樣的配置項提供不一樣的配置方式:
提供狀態服務
所謂狀態服務就是反映框架內部運做狀態的服務,不少開源服務或系統(Nginx、Mongodb等)都提供了相似的模塊和功能,做爲框架的話我以爲也有必要提供一些內部信息(主要是配置、數據統計以及內部資源狀態)出來,這樣使用你框架的人能夠在開發的時候或線上運做的時候瞭解框架的運做狀態,咱們舉兩個例子,對於一個咱們以前提到的Web MVC框架來講,能夠提供這些信息:
對於一個Socket框架來講,有一些不一樣,Socket框架是有狀態的,其狀態服務提供的信息除了當前生效的配置信息以外,更多的是反映當前框架內部一些資源的狀態以及統計數據:
狀態服務能夠如下面幾種形式來提供:
檢查線程安全
框架對多線程環境支持的是否好,是框架質量的一個重要的評估標準,每每能夠看到甚至有一些成熟的框架也會有多線程問題。這裏涉及幾個方面:
1,你沒法預料框架的使用者會怎麼樣去實例化和保存你的API的入口類,若是你的入口類被用成爲了一個單例,在併發調用的狀況下會不會有單線程問題?
這是一個老話題,以前已經說過不少次,你在設計框架的時候內心若是把一個類定位成了單例的類但卻沒有提供單例模式,你是沒法要求使用者來幫你實現單例的。這其中涉及的不只僅是多線程問題,可能還有性能問題。好比見過某分佈式緩存的客戶端的CacheClient在文檔中要求使用者針對一個緩存集羣保持一個CacheClient的單例(由於其中有了鏈接池),可是用的人仍是每一次都實例化了一個CacheClient出來,幾小時後就會產生幾萬個半死的Socket致使網絡奔潰。又見過某類庫的入口工廠的代碼註釋中寫了要求使用的人把XXXFactory做爲單例來使用(由於其中緩存了大量數據),可是用的人就沒有注意到這個註釋,每一次都實例化了一個XXXFactory,形成GC的崩潰。因此我以爲做爲框架的設計者開發人員,最好仍是把框架的最佳實踐直接作到API中,使得使用者不可能出錯(以前說過一句話,再重複一次,好的框架不會讓使用的人犯錯)。你可能會說對於CacheClient的例子,不可能作成單例的,由於個人程序可能須要用到多個緩存的集羣,換個思路,咱們徹底能夠在封裝一層,經過一個CacheClientCreator之類的類來管理多個單例的CacheClient。即便在某些極端的狀況下,你不能只提供一條路給使用者去走,也須要在框架內作一些檢測機制,及時提醒使用者 "咱們發現您這樣使用了框架,這可能會產生問題,你本意是否打算那樣作呢?"
2,若是你的入口類原本就是單例的,那麼你是類中是否持有共享資源,你的API在併發的狀況下被調用是否能夠確保這些資源的線程安全?在解決多線程問題的時候每每有幾個難點:
百密難有一疏,你很難想到這段代碼會有人這樣去併發調用。好比某init()方法,某config()方法,你老是假設使用者會調用而且僅調用一次,但事實不必定這樣,有的時候調用者本身也不清楚個人容器會調用我這段代碼多少次。
好吧,解決多線程問題各類煩躁,那就對各類涉及到共享資源的方法所有加鎖。對方法進行粗獷(粒度)的鎖可能會致使性能急劇降低甚至是死鎖問題。
自覺得使用了優雅的無鎖代碼或併發容器但卻達不到目的。咱們每每在大量使用了併發集合心中暗自竊喜解決了多線程問題的同時又達到了極佳的性能,但你覺得這樣是解決了線程安全問題但其實根本就沒有,咱們不能假設A和B都方法是線程安全的,但對A和B方法調用的整個代碼段是線程安全的。
對於多線程問題,我沒有好的解決辦法,不過下面的幾條我以爲能夠嘗試:
須要很是仔細的過一遍代碼,把涉及到共享資源的地方,以及相關的方法和類列出來,不要去假設什麼,只要API暴露出去了則假設它可能被併發調用。共享資源不必定是靜態資源,哪怕資源是非靜態的,在併發環境下對相同對象的資源進行操做也可能產生問題。
通常而言對於公開的API,做爲框架的設計者咱們須要確保全部的靜態方法(或但單例類的實例方法)是線程安全的,對於實例方法咱們能夠不這麼作(由於性能緣由),可是須要在註釋中明確提示使用者方法的非線程安全,若是須要併發調用請自行處理線程安全問題。
能夠看看是否有可能讓這些資源(字段)變爲方法內的局部變量,有的時候咱們並非真正的須要類持有一個字段,只是由於多個方法要使用相同的東西,隨手一寫罷了。
對於使用頻率低的一些方法相關的一些資源沒有必要使用併發容器,直接採用粗狂的方式進行資源加鎖甚至是方法級別加鎖,先確保沒有線程安全,若是之後作壓測出現性能問題再來解決。
對於使用頻率高的一些方法相關的一些資源能夠使用併發容器,但須要仔細思考一下代碼是否會存在線程安全問題,必要的話爲代碼設計一些多線程環境的單元測試去驗證。
性能測試和優化
以前也提到過,你不會預測到你的項目會在怎麼樣的訪問量下使用,咱們不但願框架和同類的框架相比有明顯的性能差距(若是你作的是一個ORM框架或RPC框架,這個工做就是必不可少的),因此在框架基本完成後咱們須要作Benchmark:
封裝和擴展
我的以爲一個框架若是隻是能用那是第一個層次,能很方便的進行擴展或二次開發那是另一個層次,若是咱們龍骨階段的工做作的足夠好,框架是一個立體飽滿的框架,那麼這部分的工做量就會小不少,不然咱們須要對框架進行很多的重構以即可以達到這個層次。
重構仍是重構
光是重構這個事情其實就能夠說一本書了,其實我有一點代碼的潔癖,這裏列一些我本身寫代碼的時候注重的地方:
除了上面說的一些問題,我以爲對於重構,最重要的一句話就是:不要讓同一段代碼出現兩遍,主要圍繞這個原則進行重構每每就會解決不少設計問題,要實現這個目標可能須要:
其實也不必定是在重構的時候再去處理上面全部的問題,若是在寫代碼的時候都帶着這些意識來寫的話那麼重構的負擔就會小一點(不過寫代碼思想的負擔比較大,須要同時考慮封裝問題、優雅問題、日誌異常問題、多線程問題等等,因此寫一套能用的代碼和寫一套好的代碼其實不是一回事情)。
項目文檔
若是要別人來使用你的框架,除了示例項目來講提供和維護一份項目文檔是頗有必要的,我建議文檔分爲這幾個部分:
開源
開源的好處是有不少人能夠看到你的代碼幫助你改進,你的框架也可能會在更多的複雜環境下使用,框架的發展會較快框架的代碼質量也會有很大的提高。
要把框架進行開源,除了上面的各類工做以外可能還有一些額外的工做須要作:
看到這裏你可能相信我一開始的話了吧,框架能夠使用到完善能夠商用差距仍是很大的,並且還要確保在迭代的過程當中框架不能偏離開始的初衷不能有很大的性能問題出現,任重道遠。