Tachyon 概述（譯）

Tachyon 概述

    Tachyon是一個之內存爲中心的分佈式存儲系統，可以可靠的在跨集羣框架之間之內存速度進行共享，好比 Spark 和 MapReduce。它經過利用 lineage 信息和使用內存實現了高性能，Tachyon 在內存中緩存工做文件集，從而避免頻繁讀取的數據從磁盤去加載數據，這使得不一樣的 jobs/queries 和框架 之內存的速度 去訪問緩存的文件集。

    Tachyon與 Hadoop 是能夠兼容的，現有的Spark 和 MapReduce 程序可以在它上面運行而不用修改任何代碼。這個項目是開源的(Apache License 2.0) ，被部署在多個公司。已經有超過過來自30多個機構的80餘貢獻者，包括：Yahoo,Intel, Red Hat, 和 Tachyon Nexus. 該項目是Berkeley 數據分析棧（BDAS）的存儲層，並還有部分Fedora發行版的（Fedora distribution.）。

GIt倉庫（Github Repository） | 發佈和下載（Releases and Downloads） | 用戶文檔（User Documentation） | （開發者文檔）Developer Documentation | Meetup 組（Meetup Group） | JIRA | User Mailing List

現階段特性

• 相似Java 文件API：Tachyon’s 本地化API相似於 java.io.File 類, 提供了 InputStream and OutputStream 接口， 高效的支持內存I/O映射. 咱們推薦使用Tacyon這些API 得到最佳效能。 

• 兼容性: Tachyon 實現了Hadoop FileSystem 接口.所以，Hadoop MapReduce 和 Spark 可以不作修改進行運行。而後，緊密結合才能充分利用Tachyon的優點，咱們正在努力實現這個目標。點到點延遲加速依賴於工做負載和所述框架，因爲各類框架有不一樣的執行開銷。

• 可插拔底層文件系統: 爲了提供容錯機制, Tachyon checkpoints 內存緩存數據到底層文件系統. 它提供了一個通用的接口，使不一樣的底層文件系統很容易插拔。咱們當前支持 HDFS, S3, GlusterFS, 和 單節點本地文件系統,  而且 之後還會支持更多其餘的文件系統。

• 本地化支持原生表:在數據倉庫中表中的數據超過幾百列斯很常見的，Tachyon提供了本地支持多列數據，爲了節省空間使用選項只將經常使用列存放存儲器。

• Web UI: Users can browse the file system easily through the web UI. Under debug mode, administrators can view detailed information of each file, including locations, checkpoint path, etc.

• 命令行接口: Users can use ./bin/tachyon tfs to interact with Tachyon, e.g. copy data in and out of the file system.

用戶文檔

Deployment Guide:

• 單節點

• 集羣

• Master 容錯集羣

• Tachyon 部署模塊 (Virtualbox 和 AWS EC2)

• Amazon AWS Through mesos/spark-ec2

配置:

• Configure Underlayer Storage System: Learn how to configure underlayer storage system or to create a new one.

• Configuration 配置: 如何配置 Tachyon.

關於Tachyon框架:

• 運行 Apache Spark 基於 Tachyon: Get Apache Spark running on Tachyon

• 運行 Shark 基於 Tachyon: Get Shark running on Tachyon

• 運行 Apache Hadoop MapReduce 基於 Tachyon: Get Apache Hadoop MapReduce running on Tachyon

• 運行 Apache Flink 基於 Tachyon: 獲取有關運行Apache Flink 基於 Tachyon

其餘:

• 命令行接口: Interact with Tachyon through the command line.

• Syncing the Underlayer Storage System: Make Tachyon understand an existing underlayer storage system.

• FAQ

• Tachyon Java API (Javadoc)

• 容錯存儲（Beta）

Tachyon 簡述:

• Strata and Hadoop World 2014 (October, 2014) pdf pptx

• Spark Summit 2014 (July, 2014) pdf

• Strata and Hadoop World 2013 (October, 2013) pdf

開發文檔

捐助/貢獻 Tachyon

建立Tachyon Master 分支

外部資源

Tachyon 迷你課程:

• AMPCamp 5

• Strata 2014

Hot Rod Hadoop With Tachyon on Fedora 21

支持與聯繫

You are welcome to join our mailing list to discuss questions and make suggestions. We use JIRA to track development and issues. If you are interested in trying out Tachyon in your cluster, please contact Haoyuan.

感謝

Tachyon is an open source project started in the UC Berkeley AMP Lab. This research is supported in part by NSF CISE Expeditions Award CCF-1139158, LBNL Award 7076018, and DARPA XData Award FA8750-12-2-0331, and gifts from Amazon Web Services, Google, SAP, The Thomas and Stacey Siebel Foundation, Adatao, Adobe, Apple, Inc., Blue Goji, Bosch, C3Energy, Cisco, Cray, Cloudera, EMC, Ericsson, Facebook, Guavus, Huawei, Informatica, Intel, Microsoft, NetApp, Pivotal, Samsung, Splunk, Virdata, VMware, and Yahoo!.

We would also like to thank to our project contributors.

相關項目

Berkeley Data Analysis Stack (BDAS) 來自 AMPLab 伯克利分校