Spark--數據的讀取與保存

一、動機   我們已經學了很多在 Spark 中對已分發的數據執行的操作。到目前爲止,所展示的示例都是從本地集合或者普通文件中進行數據讀取和保存的。但有時候,數據量可能大到無法放在一臺機器中,這時就需要探索別的數據讀取和保存的方法了。   Spark 及其生態系統提供了很多可選方案。本章會介紹以下三類常見的數據源。   • 文件格式與文件系統:對於存儲在本地文件系統或分佈式文件系統(比如 NFS、
相關文章
相關標籤/搜索