支持多用戶web終端實現及安全保障（nodejs）

背景

terminal（命令行）做爲本地IDE廣泛擁有的功能，對項目的git操做以及文件操做有着很是強大的支持。對於WebIDE，在沒有web僞終端的狀況下，僅僅提供封裝的命令行接口是徹底不能知足開發者使用，所以爲了更好的用戶體驗，web僞終端的開發也就提上日程。

關於終端（tty）與僞終端（pty）的區別，你們能夠參考What do pty and tty mean?

調研

終端，在咱們認知範圍內略同於命令行工具，通俗點說就是能夠執行shell的進程。每次在命令行中輸入一串命令，敲入回車，終端進程都會fork一個子進程，用來執行輸入的命令，終端進程經過系統調用wait4()監聽子進程退出，同時經過暴露的stdout輸出子進程執行信息。

若是在web端實現一個相似於本地化的終端功能，須要作的可能會更多：網絡時延及可靠性保證、shell用戶體驗儘可能接近本地化、web終端UI寬高與輸出信息適配、安全准入控制與權限管理等。在具體實現web終端以前，須要評估這些功能那些是最核心的，很明確：shell的功能實現及用戶體驗、安全性（web終端是在線上服務器中提供的一個功能，所以安全性是必需要保證的）。只有在保證這兩個功能的前提下，web僞終端才能夠正式上線。

下面首先針對這兩個功能考慮下技術實現（服務端技術採用nodejs）：

• node原生模塊提供了repl模塊，它能夠用來實現交互式輸入並執行輸出，同時提供tab補全功能，自定義輸出樣式等功能，但是它只能執行node相關命令，所以沒法達到咱們想要執行系統shell的目的
• node原生模塊child_porcess，它提供了spawn這種封裝了底層libuv的uv_spawn函數，底層執行系統調用fork和execvp，執行shell命令。可是它未提供僞終端的其它特色，如tab自動補全、方向鍵顯示歷史命令等操做

所以，服務端採用node的原生模塊是沒法實現一個僞終端的，須要繼續探索僞終端的原理和node端的實現方向。

僞終端

僞終端不是真正的終端，而是內核提供的一個「服務」。終端服務一般包括三層：

• 最頂層提供給字符設備的輸入輸出接口
• 中間層的線路規程（line discipline）
• 底層的硬件驅動

其中，最頂層的接口每每經過系統調用函數實現，如（read，write）；而底層的硬件驅動程序則負責僞終端的主從設備通訊，它由內核提供；線路規程看起來則比較抽象，可是實際上從功能上說它負責輸入輸出信息的「加工」，如處理輸入過程當中的中斷字符（ctrl + c）以及一些回退字符（backspace 和 delete）等，同時轉換輸出的換行符n爲rn等。

一個僞終端分爲兩部分：主設備和從設備，他們底層經過實現默認線路規程的雙向管道鏈接（硬件驅動）。僞終端主設備的任何輸入都會反映到從設備上，反之亦然。從設備的輸出信息也經過管道發送給主設備，這樣能夠在僞終端的從設備中執行shell，完成終端的功能。

僞終端的從設備中，能夠真實的模擬終端的tab補全和其餘的shell特殊命令，所以在node原生模塊不能知足需求的前提下，咱們須要把目光放到底層，看看OS提供了什麼功能。目前，glibc庫提供了posix_openpt接口，不過流程有些繁瑣：

1. 使用posix_openpt打開一個僞終端主設備
2. grantpt設置從設備的權限
3. unlockpt解鎖對應的從設備
4. 獲取從設備名稱（相似 /dev/pts/123）
5. 主（從）設備讀寫，執行操做

所以出現了封裝更好的pty庫，僅僅經過一個forkpty函數即可以實現上述全部功能。經過編寫一個node的c++擴展模塊，搭配pty庫實現一個在僞終端從設備執行命令行的terminal。

關於僞終端安全性的問題，咱們在文章的最後在進行討論。

僞終端實現思路

根據僞終端的主從設備的特性，咱們在主設備所在的父進程中管理僞終端的生命週期及其資源，在從設備所在的子進程中執行shell，執行過程當中的信息及結果經過雙向管道傳輸給主設備，由主設備所在的進程向外提供stdout。

在此處借鑑pty.js的實現思路：

pid_t pid = pty_forkpty(&master, name, NULL, &winp);

  switch (pid) {
    case -1:
      return Nan::ThrowError("forkpty(3) failed.");
    case 0:
      if (strlen(cwd)) chdir(cwd);

      if (uid != -1 && gid != -1) {
        if (setgid(gid) == -1) {
          perror("setgid(2) failed.");
          _exit(1);
        }
        if (setuid(uid) == -1) {
          perror("setuid(2) failed.");
          _exit(1);
        }
      }

      pty_execvpe(argv[0], argv, env);

      perror("execvp(3) failed.");
      _exit(1);
    default:
      if (pty_nonblock(master) == -1) {
        return Nan::ThrowError("Could not set master fd to nonblocking.");
      }

      Local<Object> obj = Nan::New<Object>();
      Nan::Set(obj,
        Nan::New<String>("fd").ToLocalChecked(),
        Nan::New<Number>(master));
      Nan::Set(obj,
        Nan::New<String>("pid").ToLocalChecked(),
        Nan::New<Number>(pid));
      Nan::Set(obj,
        Nan::New<String>("pty").ToLocalChecked(),
        Nan::New<String>(name).ToLocalChecked());

      pty_baton *baton = new pty_baton();
      baton->exit_code = 0;
      baton->signal_code = 0;
      baton->cb.Reset(Local<Function>::Cast(info[8]));
      baton->pid = pid;
      baton->async.data = baton;

      uv_async_init(uv_default_loop(), &baton->async, pty_after_waitpid);

      uv_thread_create(&baton->tid, pty_waitpid, static_cast<void*>(baton));

      return info.GetReturnValue().Set(obj);
  }

首先經過pty_forkpty（forkpty的posix實現，兼容 sunOS和 unix等系統）建立主從設備，而後在子進程中設置權限以後（setuid、setgid），執行系統調用pty_execvpe（execvpe的封裝），此後主設備的輸入信息都會在此獲得執行（子進程執行的文件爲sh，會偵聽stdin）；

父進程則向node層暴露相關對象，如主設備的fd（經過該fd能夠建立net.Socket對象進行數據雙向傳輸），同時註冊libuv的消息隊列&baton->async，當子進程退出時觸發&baton->async消息，執行pty_after_waitpid函數；
最後父進程經過調用uv_thread_create建立一個子進程，用於偵聽上一個子進程的退出消息（經過執行系統調用wait4，阻塞偵聽特定pid的進程，退出信息存放在第三個參數中），pty_waitpid函數封裝了wait4函數，同時在函數末尾執行uv_async_send(&baton->async)觸發消息。

在底層實現pty模型後，在node層須要作一些stdio的操做。因爲僞終端主設備是在父進程中執行系統調用的建立的，並且主設備的文件描述符經過fd暴露給node層，那麼僞終端的輸入輸出也就經過讀寫根據fd建立對應的文件類型如PIPE、FILE來完成。其實，在OS層面就是把僞終端主設備看爲一個PIPE，雙向通訊。在node層經過net.Socket(fd)建立一個套接字實現數據流的雙向IO，僞終端的從設備也有着主設備相同的輸入，從而在子進程中執行對應的命令，子進程的輸出也會通PIPE反應在主設備中，進而觸發node層Socket對象的data事件。

此處關於父進程、主設備、子進程、從設備的輸入輸出描述有些讓人迷惑，在此解釋。父進程與主設備的關係是：父進程經過系統調用建立主設備（可看作是一個PIPE），並獲取主設備的fd。父進程經過建立該fd的connect socket實現向子進程（從設備）的輸入輸出。 而子進程經過forkpty 建立後執行login_tty操做，重置了子進程的stdin、stderr和stderr，所有複製爲從設備的fd（PIPE的另外一端）。所以子進程輸入輸出都是與從設備的fd相關聯的，子進程輸出數據走的是PIPE，並從PIPE中讀入父進程的命令。詳情請看參考文獻之forkpty實現

另外，pty庫提供了僞終端的大小設置，所以咱們經過參數能夠調整僞終端輸出信息的佈局信息，所以這也提供了在web端調整命令行寬高的功能，只需在pty層設置僞終端窗口大小便可，該窗口是以字符爲單位。

web終端安全性保證

基於glibc提供的pty庫實現僞終端後臺，是沒有任何安全性保證的。咱們想經過web終端直接操做服務端的某個目錄，可是經過僞終端後臺能夠直接獲取root權限，這對服務而言是不可容忍的，由於它直接影響着服務器的安全，全部須要實現一個：可多用戶同時在線、可配置每一個用戶訪問權限、可訪問特定目錄的、可選擇配置bash命令、用戶間相互隔離、用戶無感知當前環境且環境簡單易部署的「系統」。

最爲適合的技術選型是docker，做爲一種內核層面的隔離，它能夠充分利用硬件資源，且十分方便映射宿主機的相關文件。可是docker並非萬能的，若是程序運行在docker容器中，那麼爲每一個用戶再分配一個容器就會變得複雜得多，並且不受運維人員掌控，這就是所謂的DooD（docker out of docker）-- 經過volume 「/usr/local/bin/docker」等二進制文件，使用宿主機的docker命令，開啓兄弟鏡像運行構建服務。而採用業界常常討論的docker-in-docker模式會存在諸多缺點，特別是文件系統層面的，這在參考文獻中能夠找到。所以，docker技術並不適合已經運行在容器中的服務解決用戶訪問安全問題。

接下來須要考慮單機上的解決方案。目前筆者只想到兩種方案：

• 命令ACL，經過命令白名單的方式實現
• restricted bash
• chroot，針對每一個用戶建立一個系統用戶，監禁用戶訪問範圍

首先，命令白名單的方式是最應該排除的，首先沒法保證不一樣release的linux的bash是相同的；其次沒法有效窮舉全部的命令；最後因爲僞終端提供的tab命令補全功能以及特殊字符如delete的存在，沒法有效匹配當前輸入的命令。所以白名單方式漏洞太多，放棄。

restricted bash，經過/bin/bash -r觸發，能夠限制使用者顯式「cd directory」，但有這諸多缺點：

1. 不足以容許執行徹底不受信任的軟件。
2. 當一個被發現是shell腳本的命令被執行時，rbash會關閉在shell中生成的任何限制來執行腳本。
3. 當用戶從rbash運行bash或dash，那麼他們得到了無限制的shell。
4. 有不少方法來打破受限制的bash shell，這是不容易預測的。

最後，貌似只有一個解決方案了，即chroot。chroot修改了用戶的根目錄，在制定的根目錄下運行指令。在指定根目錄下沒法跳出該目錄，所以沒法訪問原系統的全部目錄；同時chroot會建立一個與原系統隔離的系統目錄結構，所以原系統的各類命令沒法在「新系統」中使用，由於它是全新的、空的；最後，多個用戶使用時他們是隔離的、透明的，徹底知足咱們的需求。

所以，咱們最終選擇chroot做爲web終端的安全性解決方案。可是，使用chroot須要作很是多的額外處理，不只包括新用戶的建立，還包括命令的初始化。上文也提到「新系統」是空的，全部可執行二進制文件都沒有，如「ls，pmd」等，所以初始化「新系統」是必須的。但是許多二進制文件不只僅靜態連接了許多庫，還在運行時依賴動態連接庫（dll），爲此還須要找到每一個命令依賴的諸多dll，異常繁瑣。爲了幫助使用者從這種無趣的過程當中解脫出來，jailkit應運而生。

jailkit，真好用

jailkit，顧名思義用來監禁用戶。jailkit內部使用chroot實現建立用戶根目錄，同時提供了一系列指令來初始化、拷貝二進制文件及其全部的dll，而這些功能均可以經過配置文件進行操做。所以，在實際開發中採用jailkit搭配初始化shell腳原本實現文件系統隔離。

此處的初始化shell指的是預處理腳本，因爲chroot須要針對每一個用戶設置根目錄，所以在shell中爲每一個開通命令行權限的使用者建立對應的user，並經過jailkit配置文件拷貝基本的二進制文件及其dll，如基本的shell指令、git、vim、ruby等；最後再針對某些命令作額外的處理，以及權限重置。

在處理「新系統」與原系統的文件映射過程當中，仍是須要一些技巧。筆者曾經將chroot設定的用戶根目錄以外的其餘目錄經過軟連接的形式創建映射，但是在jail監獄中訪問軟連接時仍會報錯，找不到該文件，這仍是因爲chroot的特性致使的，沒有權限訪問根目錄以外的文件系統；若是經過硬連接創建映射，則針對chroot設定的用戶根目錄中的硬連接文件作修改是能夠的，可是涉及到刪除、建立等操做是沒法正確映射到原系統的目錄的，並且硬連接沒法鏈接目錄，所以硬連接不知足需求；最後經過mount --bind實現，如 mount --bind /home/ttt/abc /usr/local/abc它經過屏蔽被掛載的目錄(/usr/local/abc)的目錄信息（block），並在內存中維護被掛載目錄與掛載目錄的映射關係，對/usr/local/abc的訪問都會經過傳內存的映射表查詢/home/ttt/abc的block，而後進行操做，實現目錄的映射。

最後，初始化「新系統」完畢後，就須要經過僞終端執行jail相關命令：

sudo jk_chrootlaunch -j /usr/local/jailuser/${creater} -u ${creater} -x /bin/bashr

開啓bash程序以後便經過PIPE與主設備接收到的web終端輸入（經過websocket）進行通訊便可。

結尾

整體的設計示意圖（只列出單機單個服務進程的處理圖，並忽略服務器前端節點）：

線上展現：

參考文獻

forkpty實現

What do pty and tty mean?

line discipline

使用 Docker-in-Docker 來運行 CI 或集成測試環境？三思！

mount --bind和硬鏈接的區別