產品嘴裏的一個小項目,從立項到開發上線,隨着時間和需求的不斷激增,會愈來愈複雜,變成一個大項目,若是前期項目架構沒設計的很差,代碼會愈來愈臃腫,難以維護,後期的每次產品迭代上線都會牽一髮而動全身。項目微服務化,鬆耦合模塊間的關係,是一個很好的選擇,隨然增長了維護成本,可是仍是很值得的。 node
微服務化項目除了穩定性我我的還比較關心的幾個問題:redis
一: 服務間數據傳輸的效率和安全性。算法
二: 服務的動態擴充,也就是服務的註冊和發現,服務集羣化。json
三: 微服務功能的可訂製化,由於並非全部的功能都會很符合你的需求,不免須要根據本身的須要二次開發一些功能。緩存
go-micro是go語言下的一個很好的rpc微服務框架,功能很完善,並且我關心的幾個問題也解決的很好:安全
一:服務間傳輸格式爲protobuf,效率上沒的說,很是的快,也很安全。bash
二:go-micro的服務註冊和發現是多種多樣的。我我的比較喜歡etcdv3的服務服務發現和註冊。架構
三:主要的功能都有相應的接口,只要實現相應的接口,就能夠根據本身的須要訂製插件。負載均衡
業餘時間把go-micro的源碼系統地讀了一遍,越讀越感受這個框架寫的好,從中也學到了不少東西。就想整理一系列的帖子,把學習go-micro的心得和你們分享。框架
go-micro的通訊流程大至以下
Server監聽客戶端的調用,和Brocker推送過來的信息進行處理。而且Server端須要向Register註冊本身的存在或消亡,這樣Client才能知道本身的狀態。
Register服務的註冊的發現。
Client端從Register中獲得Server的信息,而後每次調用都根據算法選擇一個的Server進行通訊,固然通訊是要通過編碼/解碼,選擇傳輸協議等一系列過程的。
若是有須要通知全部的Server端可使用Brocker進行信息的推送。
Brocker 信息隊列進行信息的接收和發佈。
go-micro之因此能夠高度訂製和他的框架結構是分不開的,go-micro由8個關鍵的interface組成,每個interface均可以根據本身的需求從新實現,這8個主要的inteface也構成了go-micro的框架結構。
這些接口go-micir都有他本身默認的實現方式,還有一個go-plugins是對這些接口實現的可替換項。你也能夠根據需求實現本身的插件
這篇帖子主要是給你們介紹go-micro的主體結構和這些接口的功能,具體細節之後的文章咱們再慢慢說:
服務之間通訊的接口。也就是服務發送和接收的最終實現方式,是由這些接口定製的。
源碼:
type Socket interface {
Recv(*Message) error
Send(*Message) error
Close() error
}
type Client interface {
Socket
}
type Listener interface {
Addr() string
Close() error
Accept(func(Socket)) error
}
type Transport interface {
Dial(addr string, opts ...DialOption) (Client, error)
Listen(addr string, opts ...ListenOption) (Listener, error)
String() string
}複製代碼
Transport 的Listen方法是通常是Server端進行調用的,他監聽一個端口,等待客戶端調用。
Transport 的Dial就是客戶端進行鏈接服務的方法。他返回一個Client接口,這個接口返回一個Client接口,這個Client嵌入了Socket接口,這個接口的方法就是具體發送和接收通訊的信息。
http傳輸是go-micro默認的同步通訊機制。固然還有不少其餘的插件:grpc,nats,tcp,udp,rabbitmq,nats,都是目前已經實現了的方式。在go-plugins裏你均可以找到。
有了傳輸方式,下面要解決的就是傳輸編碼和解碼問題,go-micro有不少種編碼解碼方式,默認的實現方式是protobuf,固然也有其餘的實現方式,json、protobuf、jsonrpc、mercury等等。
源碼
type Codec interface {
ReadHeader(*Message, MessageType) error
ReadBody(interface{}) error
Write(*Message, interface{}) error
Close() error
String() string
}
type Message struct {
Id uint64
Type MessageType
Target string
Method string
Error string
Header map[string]string
}複製代碼
Codec接口的Write方法就是編碼過程,兩個Read是解碼過程。
服務的註冊和發現,目前實現的consul,mdns, etcd,etcdv3,zookeeper,kubernetes.等等,
type Registry interface {
Register(*Service, ...RegisterOption) error
Deregister(*Service) error
GetService(string) ([]*Service, error)
ListServices() ([]*Service, error)
Watch(...WatchOption) (Watcher, error)
String() string
Options() Options
}複製代碼
簡單來講,就是Service 進行Register,來進行註冊,Client 使用watch方法進行監控,當有服務加入或者刪除時這個方法會被觸發,以提醒客戶端更新Service信息。
默認的是服務註冊和發現是consul,可是我的不推薦使用,由於你不能直接使用consul集羣
我我的比較喜歡etcdv3集羣。你們能夠根據本身的喜愛選擇。
以Registry爲基礎,Selector 是客戶端級別的負載均衡,當有客戶端向服務發送請求時, selector根據不一樣的算法從Registery中的主機列表,獲得可用的Service節點,進行通訊。目前實現的有循環算法和隨機算法,默認的是隨機算法。
源碼:
type Selector interface {
Init(opts ...Option) error
Options() Options
// Select returns a function which should return the next node
Select(service string, opts ...SelectOption) (Next, error)
// Mark sets the success/error against a node
Mark(service string, node *registry.Node, err error)
// Reset returns state back to zero for a service
Reset(service string)
// Close renders the selector unusable
Close() error
// Name of the selector
String() string
}複製代碼
默認的是實現是本地緩存,當前實現的有blacklist,label,named等方式。
Broker是消息發佈和訂閱的接口。很簡單的一個例子,由於服務的節點是不固定的,若是有須要修改全部服務行爲的需求,可使服務訂閱某個主題,當有信息發佈時,全部的監聽服務都會收到信息,根據你的須要作相應的行爲。
源碼
type Broker interface {
Options() Options
Address() string
Connect() error
Disconnect() error
Init(...Option) error
Publish(string, *Message, ...PublishOption) error
Subscribe(string, Handler, ...SubscribeOption) (Subscriber, error)
String() string
}複製代碼
Broker默認的實現方式是http方式,可是這種方式不要在生產環境用。go-plugins裏有不少成熟的消息隊列實現方式,有kafka、nsq、rabbitmq、redis,等等。
Client是請求服務的接口,他封裝Transport和Codec進行rpc調用,也封裝了Brocker進行信息的發佈。
源碼
type Client interface {
Init(...Option) error
Options() Options
NewMessage(topic string, msg interface{}, opts ...MessageOption) Message
NewRequest(service, method string, req interface{}, reqOpts ...RequestOption) Request
Call(ctx context.Context, req Request, rsp interface{}, opts ...CallOption) error
Stream(ctx context.Context, req Request, opts ...CallOption) (Stream, error)
Publish(ctx context.Context, msg Message, opts ...PublishOption) error
String() string
}複製代碼
固然他也支持雙工通訊 Stream 這些具體的實現方式和使用方式,之後會詳細解說。
默認的是rpc實現方式,他還有grpc和http方式,在go-plugins裏能夠找到
Server看名字你們也知道是作什麼的了。監聽等待rpc請求。監聽broker的訂閱信息,等待信息隊列的推送等。
源碼
type Server interface {
Options() Options
Init(...Option) error
Handle(Handler) error
NewHandler(interface{}, ...HandlerOption) Handler
NewSubscriber(string, interface{}, ...SubscriberOption) Subscriber
Subscribe(Subscriber) error
Register() error
Deregister() error
Start() error
Stop() error
String() string
}複製代碼
默認的是rpc實現方式,他還有grpc和http方式,在go-plugins裏能夠找到
Service是Client和Server的封裝,他包含了一系列的方法使用初始值去初始化Service和Client,使咱們能夠很簡單的建立一個rpc服務。
源碼:
type Service interface {
Init(...Option)
Options() Options
Client() client.Client
Server() server.Server
Run() error
String() string
}複製代碼
具體的細節,我之後的帖子會給你們一一展開,但願這篇帖子,能夠幫助你對go-micro的總體框架有個初步瞭解