go語言操做etcd

時間  2019-11-07
標籤 語言 etcd 简体版
原文   原文鏈接

go操做etcd

etcd是近幾年比較火熱的一個開源的、分佈式的鍵值對數據存儲系統，提供共享配置、服務的註冊和發現，本文主要介紹etcd的安裝和使用。git

etcd

etcd介紹

etcd是使用Go語言開發的一個開源的、高可用的分佈式key-value存儲系統，能夠用於配置共享和服務的註冊和發現。github

相似項目有zookeeper和consul。算法

etcd具備如下特色：安全

  • 徹底複製：集羣中的每一個節點均可以使用完整的存檔
  • 高可用性：Etcd可用於避免硬件的單點故障或網絡問題
  • 一致性：每次讀取都會返回跨多主機的最新寫入
  • 簡單：包括一個定義良好、面向用戶的API（gRPC）
  • 安全：實現了帶有可選的客戶端證書身份驗證的自動化TLS
  • 快速：每秒10000次寫入的基準速度
  • 可靠：使用Raft算法實現了強一致、高可用的服務存儲目錄

etcd應用場景

服務發現

服務發現要解決的也是分佈式系統中最多見的問題之一，即在同一個分佈式集羣中的進程或服務，要如何才能找到對方並創建鏈接。本質上來講，服務發現就是想要了解集羣中是否有進程在監聽 udp 或 tcp 端口，而且經過名字就能夠查找和鏈接。bash

undefined

配置中心

將一些配置信息放到 etcd 上進行集中管理。網絡

這類場景的使用方式一般是這樣：應用在啓動的時候主動從 etcd 獲取一次配置信息，同時，在 etcd 節點上註冊一個 Watcher 並等待，之後每次配置有更新的時候，etcd 都會實時通知訂閱者，以此達到獲取最新配置信息的目的。併發

分佈式鎖

由於 etcd 使用 Raft 算法保持了數據的強一致性，某次操做存儲到集羣中的值必然是全局一致的，因此很容易實現分佈式鎖。鎖服務有兩種使用方式，一是保持獨佔，二是控制時序。app

  • 保持獨佔即全部獲取鎖的用戶最終只有一個能夠獲得。etcd 爲此提供了一套實現分佈式鎖原子操做 CAS（CompareAndSwap）的 API。經過設置prevExist值，能夠保證在多個節點同時去建立某個目錄時，只有一個成功。而建立成功的用戶就能夠認爲是得到了鎖。
  • 控制時序，即全部想要得到鎖的用戶都會被安排執行，可是得到鎖的順序也是全局惟一的，同時決定了執行順序。etcd 爲此也提供了一套 API（自動建立有序鍵），對一個目錄建值時指定爲POST動做，這樣 etcd 會自動在目錄下生成一個當前最大的值爲鍵，存儲這個新的值（客戶端編號）。同時還可使用 API 按順序列出全部當前目錄下的鍵值。此時這些鍵的值就是客戶端的時序，而這些鍵中存儲的值能夠是表明客戶端的編號。

undefined

爲何用 etcd 而不用ZooKeeper？

etcd 實現的這些功能，ZooKeeper都能實現。那麼爲何要用 etcd 而非直接使用ZooKeeper呢？運維

爲何不選擇ZooKeeper？

  1. 部署維護複雜，其使用的Paxos強一致性算法複雜難懂。官方只提供了Java和C兩種語言的接口。
  2. 使用Java編寫引入大量的依賴。運維人員維護起來比較麻煩。
  3. 最近幾年發展緩慢，不如etcd和consul等後起之秀。

爲何選擇etcd？

  1. 簡單。使用 Go 語言編寫部署簡單；支持HTTP/JSON API,使用簡單；使用 Raft 算法保證強一致性讓用戶易於理解。
  2. etcd 默認數據一更新就進行持久化。
  3. etcd 支持 SSL 客戶端安全認證。

最後，etcd 做爲一個年輕的項目，正在高速迭代和開發中，這既是一個優勢，也是一個缺點。優勢是它的將來具備無限的可能性，缺點是沒法獲得大項目長時間使用的檢驗。然而，目前 CoreOS、Kubernetes和CloudFoundry等知名項目均在生產環境中使用了etcd，因此總的來講，etcd值得你去嘗試。curl

etcd集羣

etcd 做爲一個高可用鍵值存儲系統，天生就是爲集羣化而設計的。因爲 Raft 算法在作決策時須要多數節點的投票，因此 etcd 通常部署集羣推薦奇數個節點，推薦的數量爲 三、5 或者 7 個節點構成一個集羣。

搭建一個3節點集羣示例：

在每一個etcd節點指定集羣成員，爲了區分不一樣的集羣最好同時配置一個獨一無二的token。

下面是提早定義好的集羣信息，其中n1、n2和n3表示3個不一樣的etcd節點。

TOKEN=token-01
CLUSTER_STATE=new
CLUSTER=n1=http://10.240.0.17:2380,n2=http://10.240.0.18:2380,n3=http://10.240.0.19:2380

在n1這臺機器上執行如下命令來啓動etcd：

etcd --data-dir=data.etcd --name n1 \
    --initial-advertise-peer-urls http://10.240.0.17:2380 --listen-peer-urls http://10.240.0.17:2380 \
    --advertise-client-urls http://10.240.0.17:2379 --listen-client-urls http://10.240.0.17:2379 \
    --initial-cluster ${CLUSTER} \
    --initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

在n2這臺機器上執行如下命令啓動etcd：

etcd --data-dir=data.etcd --name n2 \
    --initial-advertise-peer-urls http://10.240.0.18:2380 --listen-peer-urls http://10.240.0.18:2380 \
    --advertise-client-urls http://10.240.0.18:2379 --listen-client-urls http://10.240.0.18:2379 \
    --initial-cluster ${CLUSTER} \
    --initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

在n3這臺機器上執行如下命令啓動etcd：

etcd --data-dir=data.etcd --name n3 \
    --initial-advertise-peer-urls http://10.240.0.19:2380 --listen-peer-urls http://10.240.0.19:2380 \
    --advertise-client-urls http://10.240.0.19:2379 --listen-client-urls http://10.240.0.19:2379 \
    --initial-cluster ${CLUSTER} \
    --initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

etcd 官網提供了一個能夠公網訪問的 etcd 存儲地址。你能夠經過以下命令獲得 etcd 服務的目錄，並把它做爲-discovery參數使用。

curl https://discovery.etcd.io/new?size=3
https://discovery.etcd.io/a81b5818e67a6ea83e9d4daea5ecbc92

# grab this token
TOKEN=token-01
CLUSTER_STATE=new
DISCOVERY=https://discovery.etcd.io/a81b5818e67a6ea83e9d4daea5ecbc92


etcd --data-dir=data.etcd --name n1 \
    --initial-advertise-peer-urls http://10.240.0.17:2380 --listen-peer-urls http://10.240.0.17:2380 \
    --advertise-client-urls http://10.240.0.17:2379 --listen-client-urls http://10.240.0.17:2379 \
    --discovery ${DISCOVERY} \
    --initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}


etcd --data-dir=data.etcd --name n2 \
    --initial-advertise-peer-urls http://10.240.0.18:2380 --listen-peer-urls http://10.240.0.18:2380 \
    --advertise-client-urls http://10.240.0.18:2379 --listen-client-urls http://10.240.0.18:2379 \
    --discovery ${DISCOVERY} \
    --initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}


etcd --data-dir=data.etcd --name n3 \
    --initial-advertise-peer-urls http://10.240.0.19:2380 --listen-peer-urls http://10.240.0.19:2380 \
    --advertise-client-urls http://10.240.0.19:2379 --listen-client-urls http:/10.240.0.19:2379 \
    --discovery ${DISCOVERY} \
    --initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

到此etcd集羣就搭建起來了，可使用etcdctl來鏈接etcd。

export ETCDCTL_API=3
HOST_1=10.240.0.17
HOST_2=10.240.0.18
HOST_3=10.240.0.19
ENDPOINTS=$HOST_1:2379,$HOST_2:2379,$HOST_3:2379

etcdctl --endpoints=$ENDPOINTS member list

Go語言操做etcd

這裏使用官方的etcd/clientv3包來鏈接etcd並進行相關操做。

安裝

go get go.etcd.io/etcd/clientv3

put和get操做

put命令用來設置鍵值對數據，get命令用來根據key獲取值。

package main

import (
    "context"
    "fmt"
    "time"

    "go.etcd.io/etcd/clientv3"
)

// etcd client put/get demo
// use etcd/clientv3

func main() {
    cli, err := clientv3.New(clientv3.Config{
        Endpoints:   []string{"127.0.0.1:2379"},
        DialTimeout: 5 * time.Second,
    })
    if err != nil {
        // handle error!
        fmt.Printf("connect to etcd failed, err:%v\n", err)
        return
    }
    fmt.Println("connect to etcd success")
    defer cli.Close()
    // put
    ctx, cancel := context.WithTimeout(context.Background(), time.Second)
    _, err = cli.Put(ctx, "q1mi", "dsb")
    cancel()
    if err != nil {
        fmt.Printf("put to etcd failed, err:%v\n", err)
        return
    }
    // get
    ctx, cancel = context.WithTimeout(context.Background(), time.Second)
    resp, err := cli.Get(ctx, "q1mi")
    cancel()
    if err != nil {
        fmt.Printf("get from etcd failed, err:%v\n", err)
        return
    }
    for _, ev := range resp.Kvs {
        fmt.Printf("%s:%s\n", ev.Key, ev.Value)
    }
}

watch操做

watch用來獲取將來更改的通知。

package main

import (
    "context"
    "fmt"
    "time"

    "go.etcd.io/etcd/clientv3"
)

// watch demo

func main() {
    cli, err := clientv3.New(clientv3.Config{
        Endpoints:   []string{"127.0.0.1:2379"},
        DialTimeout: 5 * time.Second,
    })
    if err != nil {
        fmt.Printf("connect to etcd failed, err:%v\n", err)
        return
    }
    fmt.Println("connect to etcd success")
    defer cli.Close()
    // watch key:q1mi change
    rch := cli.Watch(context.Background(), "q1mi") // <-chan WatchResponse
    for wresp := range rch {
        for _, ev := range wresp.Events {
            fmt.Printf("Type: %s Key:%s Value:%s\n", ev.Type, ev.Kv.Key, ev.Kv.Value)
        }
    }
}

將上面的代碼保存編譯執行，此時程序就會等待etcd中q1mi這個key的變化。

例如：咱們打開終端執行如下命令修改、刪除、設置q1mi這個key。

etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 put q1mi "dsb2"
OK

etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 del q1mi
1

etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 put q1mi "dsb3"
OK

上面的程序都能收到以下通知。

watch>watch.exe
connect to etcd success
Type: PUT Key:q1mi Value:dsb2
Type: DELETE Key:q1mi Value:
Type: PUT Key:q1mi Value:dsb3

lease租約

package main

import (
    "fmt"
    "time"
)

// etcd lease

import (
    "context"
    "log"

    "go.etcd.io/etcd/clientv3"
)

func main() {
    cli, err := clientv3.New(clientv3.Config{
        Endpoints:   []string{"127.0.0.1:2379"},
        DialTimeout: time.Second * 5,
    })
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println("connect to etcd success.")
    defer cli.Close()

    // 建立一個5秒的租約
    resp, err := cli.Grant(context.TODO(), 5)
    if err != nil {
        log.Fatal(err)
    }

    // 5秒鐘以後, /nazha/ 這個key就會被移除
    _, err = cli.Put(context.TODO(), "/nazha/", "dsb", clientv3.WithLease(resp.ID))
    if err != nil {
        log.Fatal(err)
    }
}

keepAlive

package main

import (
    "context"
    "fmt"
    "log"
    "time"

    "go.etcd.io/etcd/clientv3"
)

// etcd keepAlive

func main() {
    cli, err := clientv3.New(clientv3.Config{
        Endpoints:   []string{"127.0.0.1:2379"},
        DialTimeout: time.Second * 5,
    })
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println("connect to etcd success.")
    defer cli.Close()

    resp, err := cli.Grant(context.TODO(), 5)
    if err != nil {
        log.Fatal(err)
    }

    _, err = cli.Put(context.TODO(), "/nazha/", "dsb", clientv3.WithLease(resp.ID))
    if err != nil {
        log.Fatal(err)
    }

    // the key 'foo' will be kept forever
    ch, kaerr := cli.KeepAlive(context.TODO(), resp.ID)
    if kaerr != nil {
        log.Fatal(kaerr)
    }
    for {
        ka := <-ch
        fmt.Println("ttl:", ka.TTL)
    }
}

基於etcd實現分佈式鎖

go.etcd.io/etcd/clientv3/concurrency在etcd之上實現併發操做，如分佈式鎖、屏障和選舉。

導入該包：

import "go.etcd.io/etcd/clientv3/concurrency"

基於etcd實現的分佈式鎖示例：

cli, err := clientv3.New(clientv3.Config{Endpoints: endpoints})
if err != nil {
    log.Fatal(err)
}
defer cli.Close()

// 建立兩個單獨的會話用來演示鎖競爭
s1, err := concurrency.NewSession(cli)
if err != nil {
    log.Fatal(err)
}
defer s1.Close()
m1 := concurrency.NewMutex(s1, "/my-lock/")

s2, err := concurrency.NewSession(cli)
if err != nil {
    log.Fatal(err)
}
defer s2.Close()
m2 := concurrency.NewMutex(s2, "/my-lock/")

// 會話s1獲取鎖
if err := m1.Lock(context.TODO()); err != nil {
    log.Fatal(err)
}
fmt.Println("acquired lock for s1")

m2Locked := make(chan struct{})
go func() {
    defer close(m2Locked)
    // 等待直到會話s1釋放了/my-lock/的鎖
    if err := m2.Lock(context.TODO()); err != nil {
        log.Fatal(err)
    }
}()

if err := m1.Unlock(context.TODO()); err != nil {
    log.Fatal(err)
}
fmt.Println("released lock for s1")

<-m2Locked
fmt.Println("acquired lock for s2")

輸出：

acquired lock for s1
released lock for s1
acquired lock for s2

查看文檔瞭解更多

其餘操做

其餘操做請查看etcd/clientv3官方文檔。

參考連接：

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程