雲端共享文件系統 JuiceFS 在 2021 年選擇開源

今天，雲原生分佈式文件系統官方公衆號 Juicedata果汁數據科技發佈消息稱 JuiceFS 已經開源了！

開源地址：
www.github.com/juicedata/juicefs

JuiceFS 是什麼

JuiceFS是基於Redis和對象存儲（例如Amazon S3）構建的開源POSIX文件系統，針對雲本機環境進行了設計和優化。經過使用普遍採用的Redis和S3做爲持久性存儲，JuiceFS能夠用做無狀態中間件，以使許多應用程序輕鬆共享數據。

突出的功能是：

• 徹底兼容POSIX：JuiceFS是徹底兼容POSIX的文件系統。現有的應用程序可使用它而無需進行任何更改。請參閱下面的pjdfstest結果。
• 出色的性能：延遲能夠低至幾毫秒，而且吞吐量能夠擴展到幾乎無限。
• Cloud Native：經過利用雲對象存儲，您能夠獨立擴展存儲和計算，也就是分解存儲和計算架構。
• 共享：JuiceFS是一個共享文件存儲，能夠被許多客戶端讀取和寫入。
• 全局文件鎖：JuiceFS支持BSD鎖（flock）和POSIX記錄鎖（fcntl）。
• 數據壓縮：默認狀況下，JuiceFS使用LZ4壓縮全部數據，也可使用Zstandard。

JuiceFS的由來

創始人劉洪清清華碩士畢業，畢業後即加入豆瓣成爲早期員工，並研發了國內最先的開源 KV 存儲 Beansdb 和 DPark （ Python clone of Spark ）；2013 年他加入 Facebook 總部負責 HDFS 方面的研發，2014 年加入 Databricks，幫助 Spark SQL 實現了上百倍的性能提高。

時值 Davies 負責爲 Databricks 的存儲層提速，雖然 AWS 已有相關的存儲方案，但問題不少，且遲遲沒法解決。因而，他提議，自研新的存儲方案，系統性地解決問題。

不過，在當時的 Databricks，從架構師到管理層，幾乎所有認爲風險太大，無人支持 Davies 的提議。Davies 在接受TGO鯤鵬會的採訪時表示說：「當時， CTO （注：Matei Zaharia，Apache Spark 做者）親口對我說：『存儲這不是咱們擅長的事情，能不碰儘可能不要碰。』」

在 Databricks 否決 Davies 的技術方案後，大概 Matei Zaharia 也沒有想到，這個中國來的工程師很有「美式英雄主義」精神。他不但沒有放棄，反而用業餘時間單槍匹馬地寫了個原型出來。以後，Davies 回憶道：「我找了一些朋友的公司去試用，發現效果也能夠，因此我在想既然有這麼不錯的東西，就不能埋沒它。」

2017 年，Davies 在美國遠程敲定了國內的投資和早期客戶，叫上當時也在創業的蘇銳，共同創立了 Juicedata，並將產品命名爲 JuiceFS。

爲何選擇開源

劉洪清在創業之初，認爲 SaaS 能夠爲用戶提供最佳的體驗，同時能夠更快地迭代產品，因此決定優先把 SaaS 作好。通過 4 年的持續迭代和積累，JuiceFS 已經在幾十家科技企業的大數據、AI、容器平臺、歸檔、備份等場景中造成最佳實踐， SaaS 使用量也持續快速增加，而且在過去的 2020 年首次實現了盈虧平衡。他相信找到了可持續發展的模式，有信心保障 JuiceFS 的長期運營。

他也發現閉源的基礎軟件會限制使用者對它的深度理解，不利於它服務更多的人，依靠 SaaS 產品的收入支撐和開源社區的力量，可讓 JuiceFS 幫助更多的人。

將來發展

最近幾年，數據庫領域發生了一件有趣的事情：當 NoSQL 數據庫在知足了數據的快速增加後，它在一致性、訪問便捷性和管理能力方面的不足逐漸顯露，把這些複雜性轉嫁到了業務系統和運維上，開始被人詬病。同時， SQL 數據庫也有了長足的進展，已經可以知足如今的數據規模需求，通過全面的對比分析後，你們又在迴歸 SQL 數據庫，曾經的 NoSQL 運動也逐漸顯出頹勢。

估計相似的事情也會發生在非結構數據領域。對象存儲在媒體文件等場景取得了巨大的成功，但當人們覺得它就是將來的存儲形態，開始推廣到更大範圍時，它犧牲掉的樹形目錄結構、可修改性、元數據性能、一致性等等，變成了一隻只攔路虎，影響它在其餘場景的使用效果。

咱們堅信文件系統是最好的管理非結構化數據的方式，對象存儲只適用於某些簡單場景。分佈式文件系統一直是基礎軟件中難啃的骨頭，JuiceFS 經過對文件系統中元數據和數據的獨立抽象，大大減低了系統複雜度，使得文件系統可以藉助這些年來對象存儲和分佈式數據庫的進展，管理超大規模的數據。同時，複雜度的下降可讓更多的開發者參與進來，將來更多的應用也會創建在文件系統接口之上。

JuiceFS 將經過開源社區的相互協做，一方面爲各個應用提供更好的存儲支持，也會在底層存儲引擎和對象存儲上加深協做，一塊兒推進文件存儲的快速發展，打造將來數據生態的堅實底座。