Apache Zeppelin在Apache Trafodion上的可視化

介紹

Apache Trafodion和EsgynDB（Esgyn的商業版）支持數據可視化工具（例如，Apache Zeppelin和Tableau），具備標準JDBC/ODBC鏈接。本文重點介紹如何實現Apache Zeppelin在Trafodion上的可視化。

Apache Zeppelin基於web，數據專家能夠經過該工具進行大規模數據挖掘和可視化的協做。大規模數據分析的工做流包括多個步驟，例如數據獲取、預處理、可視化……。經過Zeppelin，用戶能夠在不一樣的執行塊/段中建立這些步驟。這一套步驟/工做流稱爲Notebook。各段由解釋器進行處理。Zeppelin具備幾個默認的解釋器。咱們可使用shell解釋器、PostgreSQL解釋器或JDBC解釋器實現Trafodion或EsgynDB與Zepplin的集成。

架構

Zeppelin UI（客戶端）鏈接到Zeppelin Server，而後與一個或多個解釋器進行交互，以執行段落中的命令。

對於Trafodion/EsgynDB集成，咱們可使用JDBC解釋器或Postgres解釋器運行SQL命令，使用shell解釋器在Trafodion/EsgynDB實例上運行shell命令。

爲Trafodion/EsgynDB配置Zeppelin

1.將Trafodion T4 JDBC驅動器（jdbcT4.jar）複製到Zeppelin安裝文件夾下的lib目錄。
2.將jdbcT4.jar的全部權更改成zeppelin的用戶id。使用HDP/Ambari時，會單首創建一個Zeppelin用戶id。在您的系統上，檢查zeppelin lib文件夾中其餘jar文件的全部權，將這些全部權設置爲與jdbcT4.jar相同。
3.重啓Zeppelin。若是您使用Ambari安裝Zeppelin，則可使用Ambari Web控制檯進行重啓。
4.打開瀏覽器，登陸http://myhost:9995。在默認狀況下，Zeppelin在9995端口上運行。查看您的Ambari配置，瞭解詳細信息。
5.您應該能夠看到歡迎頁面，狀態應顯示爲已鏈接。

6.首先，配置JDBC解釋器，鏈接到Trafodion/EsgynDB。單擊菜單中的Interpreter。

7.單擊Create。
8.根據顯示的內容，填寫詳細信息。單擊Save，建立解釋器。
1) 輸入您解釋器的名稱。
2) 在解釋器的下拉菜單中，選擇JDBC。
3) 填寫Trafodion JDBC驅動器的詳細信息，指定與您Trafodion實例匹配的JDBC URL。

• default.driver           org.trafodion.jdbc.t4.T4Driver
• default.url                 jdbc:t4jdbc://myhost:23400/:
• default.user              trafodion
• default.password      traf123

9.經過Notebook -> Create new note菜單，建立一個新的notebook。
10.選擇新建立的notebook。
11.單擊notebook右上角的Interpreter Binding圖標。
12.選擇您添加的新Trafodion解釋器，拖動到解釋器列表的頂部，單擊Save。

13.輸入一個sql命令（例如，get schemas），單擊Run。您應該能夠看見您的Trafodion/EsgynDB數據庫全部可用的schema列表。

14.若是執行失敗，出現鏈接錯誤或套接字錯誤：

• 查看HBase和Trafodion/EsgynDB是否正常啓動並運行。
• 查看用戶名和密碼是否正確。
• 若是解釋器超時一段時間，可能出現套接字鏈接錯誤。重啓解釋器，修復該錯誤。

15.若是依然存在異常，您能夠檢查zeppeliln的log文件夾中的zeppelin server和jdbc解釋器的日誌消息。
注意：
在默認狀況下，若是沒有執行查詢（或Zeppelin UI閒置），解釋器會關閉與數據庫的鏈接。再次運
行查詢以前，請重啓解釋器。

示例DDL/獲取/報告工做流

您可使用一系列段落，在Zeppelin中建立工做流，每一個段落分別負責執行您工做流中的一個步驟。下例使用SQL DDL語句建立一個新表，而後加載數據，最後運行一個已加載數據的報告。這些步驟分別使用notebook中的不一樣段落。

1.建立目標Trafodion表。
使用JDBC解釋器運行CREATE DDL語句。

2.使用HBase Shell命令，查看錶的HBase屬性。
使用shell解釋器，運行hbase shell命令。

3.使用ODB和CSV文件，將數據加載到表。
使用shell解釋器，在EsgynDB實例上運行ODB工具。

4.運行已加載數據的報告。
使用JDBC解釋器，運行SQL查詢。