分享一個.NET平臺開源免費跨平臺的大數據分析框架.NET for Apache Spark

咱們都知道Spark是一種流行的開源分佈式處理引擎，適用於大型數據集(一般是TB級別)的分析。Spark可用於處理批量數據，實時流，機器學習和即時查詢。處理任務分佈在一個節點集羣上，數據被緩存在內存中，以減小計算時間。到目前爲止，Spark已經能夠經過Scala，Java，Python和R訪問，卻不能經過.NET進行訪問。

而.NET for Apache Spark就是旨在使.NET開發人員能夠跨全部Spark API訪問Apache®Spark™。

.NET for Apache Spark爲C#和F#提供了高性能的API來操做Spark。使用這個.NET API，您能夠訪問Apache Spark的全部功能，包括SparkSQL、DataFrames、流、MLLib等等。.NET for Apache Spark容許您重用做爲.NET開發人員已經擁有的全部知識、技能、代碼和庫。

C#/F#語言綁定到Spark將被寫入一個新的Spark交互層，這提供了更容易的擴展性。這一新的Spark交互層的編寫考慮了語言擴展的最佳實踐，並針對交互和性能進行了優化。長期來看，這種擴展性能夠用於在Spark中添加對其餘語言的支持。

具體請查看GitHub：https://github.com/dotnet/spark

 

定時分享DotNet Core 相關知識！