Visual Studio Code添加了對SQL Server 2019大數據羣集PySpark開

近日，微軟宣佈Visual Studio Code支持SQL Server 2019大數據羣集PySpark開發和查詢。它爲Azure Data Studio提供了補充功能，可供數據工程師在數據科學家的數據探索和試驗以後編寫和生產PySpark做業。Visual Studio Code Apache Spark和Hive擴展使您能夠享受跨平臺和加強的輕量級Python編輯功能，它涵蓋了有關Python編寫、調試、Jupyter Notebook集成以及相似於交互式查詢的筆記型計算機的場景。

經過Visual Studio Code擴展，您能夠享受本機Python編程體驗，好比linting、調試支持、語言服務等。您能夠爲PY文件運行當前行、運行選定的代碼行或所有運行，能夠導入和導出一個.ipynb筆記本，並執行相似於「運行單元格」、「在上方運行」或「在下方運行」的查詢筆記本，能夠享受像筆記本電腦同樣的交互式體驗，其中包括您的源代碼和標記註釋以及運行結果和輸出，能夠在交互式結果窗口中刪除不須要的部分、輸入註釋或鍵入其餘代碼。此外，您還能夠經過matplotlib(如Jupyter Notebook)以圖形格式可視化結果。 與SQL Server 2019大數據集羣的集成使您可以快速向大數據集羣提交PySpark批處理做業並監視做業進度。

主要功能亮點

一、您能夠連接到SQL Server。該工具包使您能夠鏈接PySpark做業並將其提交到SQL Server 2019大數據羣集。

二、Python編輯。開發具備本地Python創做支持（例如IntelliSense、自動格式、錯誤檢查等）的PySpark應用程序。

三、Jupyter Notebook集成。導入和導出.ipynb文件。

四、PySpark交互式。運行選定的代碼行，或運行諸如PySpark單元格之類的筆記本，以及交互式可視化。

五、PySpark批處理將PySpark應用程序提交到SQL Server 2019大數據羣集。

六、PySpark監視。與Apache Spark歷史記錄服務器集成以查看做業歷史記錄、調試和診斷Spark做業。

如何安裝或更新

首先，安裝Visual Studio Code，而後下載適用於Linux或Mac的Mono4.2.x。而後轉到Visual Studio Code擴展存儲庫或Visual Studio Code市場並搜索Spark，獲取最新的Apache Spark和Hive工具。