內容來源:2018 年 5 月 19 日,閱文集團高級開發工程師梁晨在「PHPCon China 2018 技術峯會」進行《TARS-PHP:PHP構建高性能RPC框架》演講分享。IT 大咖說(微信id:itdakashuo)做爲獨家視頻合做方,經主辦方和講者審閱受權發佈。node
閱讀字數:3570 | 9分鐘閱讀json
獲取嘉賓演講視頻及PPT: http://suo.im/4CYv7H
後端
本次分享將介紹高性能RPC框架TARS的基本設計思想,以及在PHP語言和框架層面的TARS解決方案的設計與實現。以閱文集團的實踐爲例,介紹使用TARS-PHP進行服務治理以及SWOOLE2.0+PHP7+TARS架構所帶來的開發、運維、性能的全面提高。數組
TARS是包含運營、平臺、通訊框架、公共組件、統一協議的整套解決方案。上圖是TARS的最新界面,分爲服務管理和運維管理兩部分,服務管理可以輕易的管理各類不一樣的服務,運維管理能夠進行部署服務、擴展以及新建模板管理。這些都是TARS的運營和平臺的能力,除此以外它還內置了不少公共組件,以服務的方式提供,包含常見的配置中心、日誌中心、通知中心、特性上報以及主控等等。緩存
TARS使用了一套二進制的協議,與語言無關有本身的獨立語法。上面是協議的基本樣式,其中自定了兩個結構體LoginInfo和ProfileInfo,結構體內部能夠隨意的組合多個基礎類型。下方的interface聲明的是真正要調用的接口,它會用到上方定義的結構,參數列表中的out關鍵字標明瞭輸出Info。這樣咱們就有了一份約定的接口文件,以後能夠經過工具將它轉化爲實際使用的代碼,從而方便開發。服務器
除了二進制協議以外,咱們還設計了一套通訊的協議,包含協議版本、請求ID、服務器路由信息、接口信息、二進制數據包。微信
總的來講TARS是一整套微服務解決方案。微服務方面包括服務自動發現、智能調度、容災容錯、柔性熔斷、路由與灰度。協議上即支持私有二進制協議,也能夠經過啓動HTTP服務來支持json的協議。目前TARS對多語言已經有了很好的支持,同時也兼容一些很是利於使用的運維體系。swoole
要設計一套TARS PHP方案首先要知足幾點要求。第一必需要功能完善,可以對標現有C++、Java、NodeJS體系功能;第二要保持整個方案的靈活使用,讓更多的人可以利用它;第三要是輕量級的設計,作到點到爲止,即插即用;最後是能帶來高效的性能。架構
上圖爲總體方案的構成,主要分爲4塊。第一塊是TARS client,由於咱們最初的需求是用PHP接入到現有C++、Java的TARS服務。第二塊是TARS Server,這裏咱們但願可以儘可能的知足你們的需求,讓一些常見的Server可以三合一,同時保持靈活和輕量。第三塊是爲了可以提高性能作的TARS EXT擴展,主要負責底層二進制的解包打包工做。第四塊是開發效率,TARS體系中基本上針對每種語言都會有相應的不論是客戶端還服務端的自動生成工具。併發
TARS client如今具有了以上的這些功能。自動尋址讓你無需關係服務地址,只需知道服務的名字,咱們每一個服務都有App name和Server name以及主控,經過主控就可以知道服務的具體位置。主調上報是指全部的服務運行狀況都由client上報,這樣在Server界面中就能一覽服務的全部狀況。咱們也提供了遠程日誌的能力,並且是隻發不收的形式。接着是3種不一樣的發送服務的能力,分別是socket的接入方式,swoole同步,以及swoole協程 。
以上是TARS client的總體結構圖。中間爲client的Server,它依賴於PHP擴展,左邊是三種訪問方式,右邊是各類服務。每次請求的時候會先調用一次主控服務將列表緩存起來,通常緩存在swoole table或本地文件中。服務啓動的時候會有定時時間用來決定服務什麼時候過時。獲取到地址以後進行RPC請求,請求完成後作一次主調上報,上報範圍包括耗時、失敗率、超時率等,若是有須要的話也能夠寫些遠程日誌。
PHP擴展的主要是用來保證高性能和穩定。因爲二進制協議的字符串操做涉及到不少的內存的拷貝和分配,因此咱們最初的方案是使用C實現,但後來發現了這種方案有些短板。最終爲了性能的考慮引入了PHP擴展,同時將打包解包與編解碼進行集成,下降PHP調用API的次數。穩定性方面是在每次提交代碼的時候,作多版本構建測試,根據咱們線上使用的經驗,還增長了Valgrind內存測試,目前的代碼測試覆蓋率基本上達到80%。
經過上圖的數據對比,能夠很清楚的看出PHP擴展帶來的優點。
Apache加PHP多是你們較熟悉的傳統PHP Server模式,後來隨着Nginx的火熱出現了Nginx配合PHP-FPM的形式。不過鑑於性能的優點咱們以後轉向了swoole,隨着swoole 2.0的推出又帶來了協程的能力。
咱們的Server中包含TARS-HTTP-Server、TARS-TIMER-Server、TARS-TCP-Server。HTTP Server提供一些基礎的功能,TIMER Server會作一些定時任務,TCP Server是爲了提供一個高性能的RPC服務。
Server啓動的時候會進行初始化,解析平臺下發的配置以及註冊服務,以後會每隔1分鐘向主控進行一次上報告知存活,若是發現有問題主控會從新將服務拉起了。TARS也支持在平臺中創建配置下發到各類服務中,服務會自動向TARS Config拉取配置。
TARS TCP Server能夠用swoole 1.0和2.0中的任意版本,不過PHP版本必需要求是5.6以上。它在配置方面很是靈活,既能夠將swoole的配置經過平臺下發到服務上,也能夠指定服務入口。核心實現是基於註解路由,TARS在收到請求的時候會接收到一個包,包中包含調用的服務和接口信息,Server在知道這些信息以後會將須要用到的參數經過預先生成的方式放在註解中,服務啓動時會解析這些註解轉換成PHP真正調用的數組方式。同時咱們還提供了一個管理端口,須要額外啓動,用來接收平臺的一些其餘管理請求。
對於TARS HTTP Server咱們僅實現了個相對簡單的版本,提供各類基礎功能,包括GET/POST請求、Cookie/Status返回、基本路由、文件上傳以及Service Detect。
上圖是咱們經過壓測得到一些數據。
開發效率一直都是TARS須要關注的問題。從開發模式來看,首先Server會約定一個協議代表本次服務須要提供的接口並生成文件,即圖中的TARS文件。而後TARS2PHP工具會根據該文件生成服務端接口代碼和客戶端調用代碼,以後服務端會根據接口代碼來實現實際業務邏輯,最後兩邊就能夠聯調了。整個過程都是解耦的而且不須要花費過多時間進行client調用。
這裏主要介紹下TARS PHP在閱文的應用。首先是接入層,它使用的是Nginx配合斯巴達(TARS在咱們內部的系統),經過斯巴達系統可以很輕易的實現無縫擴容。爲了實現先後端的解耦咱們還引入了TARS Node HTTP,將全部的模板渲染都沉澱都nodeJS層。Nginx的AJAX請求以後會到達TARS PHP HTTP,這一層的業務併發在實際場景中大概是2千左右。再往下是微服務層,咱們使用PHP、JAVA作了一些TARS的TCP微服務,它與HTTP的交互是基於TCP異步加協程的方案。
從實際數據來看,目前咱們模板拼接的Node HTTP服務大概有十多個,邏輯API層PHP服務與定時服務有40多個,後臺TCP服務有100多個,每一個調用是億級以上。
上圖是目前TARS PHP支持的模塊,這些模塊均可以單獨的使用。Tars server提供了最基本的HTTP、TCP等服務,tars client能夠調用其餘tars服務。tars monitor的監控上報包含主調上報和特性上報。Tars registry模塊可讓開發者經過主控通訊的方式對地址進行緩存。Tars report的引入讓開發者能很方便的將本身的框架引入到平臺上,而不使用咱們提供的框架。