Chaosblade: 阿里一個超級牛逼的混沌實驗實施工具

Chaosblade是什麼？

Chaosblade是遵循混沌工程（Chaos Engineering）原理的實驗工具，用於模擬常見的故障場景，幫助提高分佈式系統的可恢復性和對故障的容錯性。

Chaosblade是創建在阿里巴巴近十年故障測試和演練實踐基礎上，結合了集團各業務的最佳創意和實踐。

目前支持的演練場景有操做系統類的 CPU、磁盤、進程、網絡，Java 應用類的 Dubbo、MySQL、Servlet 和自定義類方法延遲或拋異常等以及殺容器、殺 Pod，具體可執行 blade create -h 查看。

好了，上面的介紹是從Chaosblade的github主頁抄的。

github主頁地址：github.com/chaosblade-…

說白了，Chaosblade是一個故障模擬工具，能夠模擬好比服務器CPU滿了、磁盤滿了、網絡慢、Dubbo某個服務響應時間長、jvm中某個方法拋出異常、調用Mysql慢等等。因此這個工具對於大公司來講是很是很是有用的，由於能夠提早模擬出各類各樣的故障，從而保證系統的高可用與穩定。

Chaosblade怎麼用？

用法很是簡單，分爲兩步：

1. 下載壓縮包並解壓：github.com/chaosblade-…
2. 解壓以後的文件中有一個blade的可執行文件，這就是Chaosblade提供的客戶端工具，咱們主要使用這個工具來進行故障模擬。

關於blade的各類參數詳解，你們仍是去github主頁上去看吧，這裏不介紹了，我主要想給你們看一下故障模擬的具體使用以及效果。

接下來會介紹Chaosblade六個使用場景：

• 模擬服務器CPU爆滿
• 模擬服務器磁盤爆滿
• 模擬調用某個Dubbo服務超時
• 模擬JVM中某個方法拋出異常或者修改方法返回值
• 模擬調用Mysql超時或出現異常
• 模擬服務器網絡緩慢

場景一：服務器CPU爆滿

故障演練前系統的cpu狀態，直接使用top -o CPU命令查看：

進行故障演練：

$ ./blade create cpu fullload
{"code":200,"success":true,"result":"a0682a98d0d7d900"}
複製代碼

命令執行後返回成功則證實故障演練成功，再查看top -o CPU命令：

咱們經過結果能夠看出來Chaosblade應該就是讓本身去佔滿cpu從而使服務器的cpu爆滿。

場景二：服務器磁盤爆滿

若是要模擬磁盤爆滿，實際上只須要在某個文件夾中去生成一個很大的文件就好了，因此咱們這裏建立一個/bladedisk文件夾。

進行故障演練前，/bladedisk文件夾的大小爲：

$ du -sh /bladedisk/
  0B	/bladedisk/
複製代碼

進行故障演練，執行一下命令：

./blade create disk fill -d --mount-point /bladedisk --size 1024
複製代碼

正常狀況下會在/bladedisk文件夾下建立一個chaos_filldisk.log.dat文件。此文件的大小爲1024個字節。

我這裏爲何說正常狀況下，由於我用的是Max OX系統，在執行上面的命令時會報錯。具體的錯誤已提交github issues，感興趣的同窗能夠關注一下，issue地址。

小花絮：在提交issue時，我用的中文，可是被chaosblade-bot自動翻譯爲了英文，很厲害。

那麼你們能夠在本身的系統中試試，這個issue解決後，我會對文章進行更新後補充。你們這裏只須要知道Chaosblade能夠模擬這種場景以及對應的原理就好了。

場景三：調用某個Dubbo服務超時

官網的Demo中給咱們提供了：

• dubbo-provider
• dubbo-consumer

你們把上面的服務提供者和服務消費者jar包下載下來以後，進到下載目錄，而後經過下面命令運行起來：

# 啓動 dubbo-provider
nohup java -Djava.net.preferIPv4Stack=true -Dproject.name=dubbo-provider -jar dubbo-provider-1.0-SNAPSHOT.jar > provider.nohup.log 2>&1 &
# 稍等 2 秒，而後啓動 dubbo-consumer
nohup java -Dserver.port=8080 -Djava.net.preferIPv4Stack=true -Dproject.name=dubbo-consumer -jar dubbo-consumer-1.0-SNAPSHOT.jar > consumer.nohup.log 2>&1 &
複製代碼

nohup是linux中的命令，可讓java命令後臺運行。

運行起來後，能夠經過下面的命令來進行服務調用：

http://localhost:8080/hello?msg=world
複製代碼

正常狀況下，該請求會很快的完成並返回：

{
"date": "Wed Jul 03 16:33:10 CST 2019",
"msg": "Dubbo Service: Hello world"
}
複製代碼

進行故障演練：

$ ./blade prepare jvm --process dubbo.consumer
{"code":200,"success":true,"result":"5cdbc31f46a3d621"}
$ ./blade create dubbo delay --time 3000 --service com.alibaba.demo.HelloService --methodname hello --consumer --process dubbo.consumer
{"code":200,"success":true,"result":"3e705e8babe8a86c"}
複製代碼

上面的命令會使consumer在調用com.alibaba.demo.HelloService服務的hello方法時增長3秒的延時。當咱們訪問上面訪問的路徑時會比以前等待的更久一點。

在對dubbo進行故障演練時，其實支持的細分場景不少，由於在dubbo中分爲consumer和provider兩種角色，當consumer在調用provider時，咱們如今想使這個請求增長延時，咱們既能夠在provider端針對指定的服務增長延時，也能夠在consumer調用時針對指定的服務進行延時，因此咱們能夠稍微看下上面的命令，它實際上是在consumer進行控制的，命令也是支持在provider端進行控制的，咱們運行一下如下命令：

blade create dubbo delay --help
複製代碼

將看到幫助中有下面的信息：

Flags:
      --appname string          The consumer or provider application name
      --consumer                To tag consumer role experiment.
      --effect-count string     The count of chaos experiment in effect
      --effect-percent string   The percent of chaos experiment in effect
  -h, --help                    help for delay
      --methodname string       The method name
      --offset string           delay offset for the time
      --process string          Application process name
      --provider                To tag provider experiment
      --service string          The service interface
      --time string             delay time (required)
      --timeout string          set timeout for experiment
      --version string          the service version
複製代碼

其中就有--consumer和--provider，表示的就是命令中能夠控制服務調用的兩端。因此若是咱們想控制provider端，想讓某個接口被調用時超時的話，是徹底能夠進行故障演練的。

那麼關於底層原理的話，須要你們對Dubbo比較瞭解，Dubbo中是有動態配置功能的，因此Chaosblade應該也是利用了dubbo的動態配置功能。

場景四：JVM中某個方法拋出異常或者修改方法返回值

Chaosblade支持直接操做jvm中的方法，使它拋出異常或修改其返回值。

先準備一個MockJvm類：

package com;
import java.util.concurrent.TimeUnit;
public class MockJvm {
    public String test() {
        return "test...";
    }

    public static void main(String[] args) throws InterruptedException {
        MockJvm testJVM = new MockJvm();

        while (true) {
            try {
                System.out.println(testJVM.test());
            } catch (Exception e) {
                System.out.println(e.getMessage());
            }
            TimeUnit.SECONDS.sleep(3);
        }
    }
}
複製代碼

這個類會每隔三秒調用一下test方法，並打印出方法的返回值，而且在捕獲test方法所拋出的異常進行打印，test方法默認返回"test"。咱們運行這個類，讓這個類一直在運行狀態，正常運行時，控制檯會打印以下：

test...
test...
test...
test...
複製代碼

方法拋出異常

$ ./blade prepare jvm --process MockJvm
{"code":200,"success":true,"result":"5ff98509d2334906"}
$ ./blade create jvm throwCustomException --process MockJvm --classname com.MockJvm --methodname test --exception java.lang.Exception
{"code":200,"success":true,"result":"f9052478db2f7ffc"}
複製代碼

上面的命令模擬了MockJvm進程下的com.MockJvm類中的test方法會拋出java.lang.Exception異常。一旦這個命令執行成功，那麼咱們上面一直在運行的代碼控制檯將拋出異常：

test...
test...
test...
chaosblade-mock-exception
chaosblade-mock-exception
複製代碼

使用如下命令能夠撤回剛剛的場景模擬：

./blade destroy f9052478db2f7ffc // f9052478db2f7ffc。
複製代碼

撤回以後，控制檯將恢復正常的打印：

chaosblade-mock-exception
chaosblade-mock-exception
chaosblade-mock-exception
chaosblade-mock-exception
test...
test...
複製代碼

修改方法的返回值

使用如下命令能夠修改方法的返回值：

$ ./blade create jvm return --process MockJvm --classname com.MockJvm --methodname test --value hahaha...
{"code":200,"success":true,"result":"9ffce12b1fdc2580"}
複製代碼

控制檯將打印出：

test...
test...
test...
hahaha...
hahaha...
hahaha...
複製代碼

能夠看到成功修改了test方法的返回值。

場景五：調用Mysql超時或出現異常

Chaosblade目前支持Mysql場景分爲調用Mysql超時或者執行語句時出現異常。可是它是在JDBC這一層進行控制的，並無真正的去控制mysql服務端。

這裏先用JDBC寫一個測試類：

package com;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;
import java.time.LocalDateTime;
import java.util.concurrent.TimeUnit;

public class JDBCConnection {
    public static String url_encrypt="jdbc:mysql://127.0.0.1:3306/test?useSSL=false";
    public static String user="root";
    public static String password="Nice89163";

    public static void main(String[] args) throws Exception {
        Class.forName("com.mysql.jdbc.Driver");
        Connection conn  = DriverManager.getConnection(url_encrypt,user,password);
        Statement stmt= conn.createStatement();

        while (true) {
            try {
                LocalDateTime before = LocalDateTime.now();
                ResultSet rs = stmt.executeQuery("select * from t_test");
                LocalDateTime after = LocalDateTime.now();
                System.out.println("執行時間：" + (after.getSecond() - before.getSecond()));
            } catch (Exception e) {
                System.out.println(e.getMessage());
            }
            TimeUnit.SECONDS.sleep(3);
        }

    }
}
複製代碼

這個JDBCConnection類直接使用JDBC來執行sql，依賴mysql-connector-java對應的jar。這裏我在測試的時候發現，若是使用mysql-connector-java@5.1.47這個版本能夠正常的進行故障模擬，若是使用mysql-connector-java@8.0.15版本則不能進行正常的故障模擬，具體緣由尚未去查。

這個測試的功能是去進行select查詢，而且若是在select的時候若是拋出異常會被捕獲而且進行打印，而且還會計算select語句執行所花費的時間。

首先將上面的類運行起來，控制檯將一直打印以下：

執行時間：0
執行時間：0
執行時間：0
複製代碼

調用Mysql拋出異常

運行下面的命令開始故障模擬：

$ ./blade prepare jvm --process JDBCConnection
{"code":200,"success":true,"result":"f278e66ddb1b4e11"}
$ ./blade create mysql throwCustomException --database test --host 127.0.0.1 --port 3306 --process JDBCConnection --sqltype select --table t_test --exception java.lang.Exception
{"code":200,"success":true,"result":"ddd6799da50f9201"}
複製代碼

命令執行成功後，控制檯將打印出異常：

執行時間：0
執行時間：0
執行時間：0
Unexpected exception encountered during query.
Unexpected exception encountered during query.
複製代碼

使用如下命令能夠撤回剛剛的場景模擬：

./blade destroy ddd6799da50f9201 
複製代碼

撤回以後，控制檯將恢復正常的打印：

Unexpected exception encountered during query.
Unexpected exception encountered during query.
Unexpected exception encountered during query.
執行時間：0
執行時間：0
複製代碼

調用Mysql增長延遲

直接使用如下命令將使得在執行select時增長4秒的延時，注意都是在JDBC層控制的。

$ ./blade create mysql delay --database test --host 127.0.0.1 --port 3306 --process JDBCConnection --sqltype select --table t_test --time 4000
{"code":200,"success":true,"result":"8e5b35e76098caab"}
複製代碼

命令執行完成後，控制檯將打印出：

執行時間：0
執行時間：0
執行時間：4
執行時間：4
執行時間：4
複製代碼

場景六：服務器網絡緩慢

Chaosblade也能夠對網絡進行控制，好比運行下面命令能夠限制通過eth0網卡的網絡都會延遲3秒：

./blade create network delay --interface eth0 --time 3000
複製代碼

不過Mac系統還不支持這個場景，由於它實際是利用的linux系統下的tc(Traffic Control)命令，因此要模擬的話就要使用linux系統，這裏我就不去模擬了。

總結

原本，我是打算寫一篇關於Chaosblade完整使用的文章的，可是目前看來它還不是很完善，因此此次就寫到這裏，我要去github上面提issue去了。

可是，我相信經過這篇文章，你們應該對Chaosblade的做用和功能都有所瞭解了，大家有收穫就是個人目的。

有痛點纔有創新，一個技術確定都是爲了解決某個痛點纔出現的。 請幫忙轉發一下，若是想第一時間學習更多的精彩的內容，請關注微信公衆號：1點25