TDH 4.6 technical release notes

New Feature

 Inceptor
[WARP-7124] - [ODBC] "一次綁定，屢次執行" TDH 4.6 之後版本中的 ODBC 僅需綁定一次參數，就能夠屢次執行語句，簡化了編寫任務。
[WARP-6982] - Holodesk GlobalIndex 爲 Holodesk 新增了 GlobalIndex 特性。 
[WARP-6899] - 圖檢索 TDH 4.6 推出了圖檢索功能，用函數 graph_path 指定待檢索的圖以及定義檢索規則。 
[WARP-7275] - [PLSQL] SQL 的語義檢查 在存儲過程的編譯期對 SQL 的語義進行檢查，例如對錶不存在的狀況報「TableNot Found」。 
[WARP-5759] - Inceptor 數據庫級別的權限管理 在 Inceptor 中實現數據庫級別的權限管理，對一個數據庫的權限管理操做等價於對該數據庫中全部表的管理權限。
 [WARP-6405] - 支持以 CSV 文件爲數支持以 CSV 據源 文件爲表的數據源，解決了字段中換行符的問題。
 [WARP-7115] - 支持將內表數據導出 CSV 文件 支持將數據序列化爲 CSV 文件格式。
 [WARP-6533] - 將反序列化 CSV 的錯誤錄入日誌 4.6 及之後版本會將反序列化 CSV 文件時出現的錯誤寫在日誌裏，以更好的支持以 CSV 文件爲數據源的場景。
 [WARP-7094] - 支持可變長的 CHAR 類型 支持長度可變的字符字符串類型。
 [WARP-6295] - [SQL] 用 SQL 語句建立永久函數 能夠經過 SQL 語句建立永久函數。建立語法形如：
CREATE FUNCTION [db_name.]function_nameAS class_name[USING JAR|FILE|ARCHIVE 'file_uri' [,JAR|FILE|ARCHIVE'file_uri'] ]

[WARP-6728] - [SQL] 容許 Unicode 編碼的表名 

容許表名中出現 Unicode 編碼。
 [WARP-6449] - [PLSQL] 預編譯優化   對帶參數的 PL/SQL 語句塊進行預編譯優化，能夠一次編譯屢次使用，以提升併發的性能。

 [WARP-7049] - Inceptor Library

設計並實現了 Inceptor Library 架構以幫助管理嵌套於 Inceptor 的組件。 

[WARP-7395] - [Holodesk] Holodesk 支持定長 CHAR 類型  在 Holodesk 中支持定長的 CHAR 類型。

Hyperbase  [WARP-3367] - Hyperdrive 發佈針對Hyperbase 的Driver——Hyperdrive 目前隨TDH 4.6 發佈，包含一系列的SQL on HBase 上的功能和優化，提升了產品的穩定性。  [WARP-7797] - Hyperbase SQL 性能監控當經過SQL 調用或操做HBase 時，4040 頁面將盡量多的把引擎執行語句時的相關信息顯示出來，如scan 的次數等。

 Discover
[WARP-7329] - 支持開源 Spark Python 4.6 及以後版本的 Discover 支持開源的 Spark Python。 
[WARP-7779] - 支持用戶自主開發 實現了 rJava，容許用戶在 Rstudio 中調用並共享自主開發的類和方法。
 [WARP-8198] - txSqlConnect 函數支持  Discover Library 支持用戶經過 txSqlConnect 函數在 Discover Library 中進行註冊，完成註冊以後 用戶能夠對 Library 中的內容進行訪問。 

Manageability
[WARP-2965] - 節點磁盤管理 用戶能夠根據需求經過修改如下若干配置，以添加或者刪除磁盤：
[WARP-6931] - 節點刪除功能擴展 擴展了節點刪除功能：刪除節點時，若是節點不能被刪除，界面將提示禁止刪除的緣由；若是節點容許被刪除，系統將判斷節點上是否有角色須要遷移，如有則將角色遷移到其餘節點上。 
[WARP-6738] - SSH 容許私鑰認證方式 經過 SSH 登陸節點時不只容許用戶使用密碼，還能夠經過私鑰認證。 
[WARP-6351] - 對集羣時間不一樣步的警告  若是集羣時間不一樣步，系統將發出警告。默認狀況下，時間偏移量若超過 3s將發送 WARNING 級別警告，一旦超過 10s 就發送 CRITICAL 警告。 

[WARP-5281] - 默認安裝 ElasticSearch 2.0 ES2.0 的安裝集成到 TDH 4.6 界面，默認安裝 2.0 版本的 ElasticSearch。
 [WARP-7424] - ElasticSearch 角色的添加/刪除  可經過界面增長、刪除 ES 角色，包括：增長、刪除 Data Node；增長、刪除Master Node。 
[WARP-6711] - Hyperbase 和 Kafka 的權限管理 API  可利用 Transwarp Manager REST API 實現對 Hyperbase 以及 Kafka 的權限管理。
 [WARP-7425] - 支持添加 Hyperbase 對 ElasticSearch 的依賴  支持用戶在安裝 Hyperbase 時選擇依賴的 ElasticSearch 服務。而且可在Hyperbase 安裝完成以後，經過 「更多操做」 —> 「更新依賴」再次添加對ElasticSearch 的依賴。 
[WARP-7429] - Manager HA 角色頁面的功能擴充  Manager HA 添加角色的頁面能夠顯示全部的 Manager 角色及其狀態。

 Bug   Inceptor
[WARP-6142] - [JDBC] HiveServer2在JDBC 端的內存泄漏HiveServer2 爲每種操做定義了操做句柄以方便執行，可是在執行完後若是沒有及時關閉操做就會形成內存泄漏。對此，TDH 4.6 設計並實現了一些機制以儘量的避免資源泄漏。  [WARP-6079] - BloomFilter 支持DATE 類型字段修復了當BloomFilter 做用於DATE 類型字段時查詢會出錯的現象。  [WARP-5375] - 可插入TINYINT、SHORT、BIGINT 的最小值修復了不能向報表插入TINYINT、SHORT、BIGINT 數據類型的最小值的問題。  [WARP-6801] - [SQL] RowFilter 會影響MinMaxFilter 對於LIKE 的優化以前版本中，當啓動MinMaxFilter 後再使用RowFilter，會負面影響MinMaxFilter對於LIKE 操做的優化，致使執行失敗，現已修復。  [WARP-6829] - [SQL] 合理處理無效窗口函數以前版本中，在SELECT 語句中調用一個無效的窗口函數將拋NPE，如今在生成執行計劃前會先檢查窗口函數的有效性。  [WARP-6367] - [SQL] 容許在不一樣With-As 從句中定義相同別名不一樣With-As 短語中可能會用相同的別名指代不一樣表或子查詢，TDH 4.6 及以 後版本將支持這樣的語句。例句以下：
[WARP-5717] - [PL/SQL] PL/SQL 引擎再也不計算DML 中的UDF若是在PL/SQL 中引擎計算DML 語句中的UDF，極可能致使以後執行結果的錯誤。如今DML 語句中的UDF 再也不於PL/SQL 引擎中執行，以保證查詢結果的準確性。  [WARP-7171] - [Inceptor] 切換YARN HA 或退出AM 時Inceptor 異常退出如題，修復了當切換YARN HA 或者退出ApplicationMaster 時Inceptor 會自動退出的異常現象。  [WARP-7708] - [Inceptor] 事務Task 若是失敗再次Retry 也失敗以前版本中，在向事務表插入數據時，若是某些Task 失敗，Retry 也不會成功，必須從新開始執行。如今已修復，Retry 會成功。  [WARP-7736] - [Inceptor] 成功Stage 被誤標爲未完成以前版本中，因爲對執行時間的計算方法不完善，耗時極短的Stage 會被系統錯誤的標記爲未完成，目前已修復。  [WARP-6921] - [Stargate] 容許Stargate Partition 在Cluster 模式下讀取數據以前版本中，Stargate Partition 在Cluster 模式下讀取數據時，返回爲空。如今可以正常讀取。  [WARP-8212] - [Stargate] 修正Stargate 過濾下推的處理邏輯對於某些過濾條件，Stargate 在處理時會作出不適當的下推判斷，如今已經修正。

Hyperbase

[WARP-6945] - [Hyperbase] 用一個HConnection 向多個Index 插入數據

TDH 4.6 及之後版本中，容許用戶在向多個Index 插入數據時能夠共用一個HConnection，簡化了編寫任務。  [WARP-7567] - [Hyperbase] Master 會因Split Log 沒法啓動以前版本中，Master 若是在啓動時發現了須要被拆分的Region 並嘗試拆分，就可能沒法正常啓動，如今已經在處理流程中修復。  [WARP-8258] - [Hyperbase] 減小插入Index 時的內存佔用量爲了減小內存佔用量，新插入Index 的生成過程如今由Flush 階段而不是Put階段實現。  [WARP-7945] - [ESDrive] ESDrive 沒法處理Bulk Insert Exception目前ESDrive 能夠對ES 進行Bulk Insert 時拋出的Exception 進行有效處理。

Stream
[WARP-6214] - [StreamSQL] 優化了涉及Stream 表的Auto MapJoin原來當開啓Auto MapJoin 時，若是JOIN 涉及Stream 表，系統給出的執行計劃沒有正確的實現優化，如今對此進行了改進。  [WARP-6242] - [StreamSQL] Stream Task 處理MapJoin 時的資源泄漏Stream Task 處理Mapjoin 時，每批次的任務都會分發小表數據，而後由Executor讀取，最後只有在Task 完成以後纔回收數據，這使得以前讀到的數據一直不能獲得釋放。如今對此進行了處理，使盡量的避免資源泄漏。  [WARP-6215] - [StreamSQL][Kafka] 有效處理無效kafka.brokers.list以前版本中，若是kafka.brokers.list 的參數值無效，在獲取Kafka Topic Partition數量時，會拋出Exception。如今對kafka.brokers.list 無效的狀況作了合理處理，使任務能正常運行。  [WARP-7482] - [StreamSQL][Kafka] 必須爲Kafka 輸出流指明kafka.broker.listTDH 4.6 及之後版本要求用戶必須爲Kafka Output Stream 指定Brokers，以免沒必要要的錯誤。  [WARP-7668] - [StreamSQL][Kafka] 支持用KeyTab 登陸Kafka容許用戶用特定的KeyTab 安全登陸Kafka。

 Discover
[WARP-8328] - txRemove 函數可釋放Spark Context調用txRemove 函數會釋放掉爲執行語句申請的全部資源。
Improvement  Inceptor
[WARP-7897] - [JDBC] 增長翻頁功能JDBC 支持先後來回翻頁查看查詢結果。  [WARP-5681] - [ODBC] 提高ODBC 獲取數據的性能提高了ODBC 在fetch 數據時的速度，對fetchSize 的最大/小值作了限制。  [WARP-5684] - [ODBC] BatchInsert 的API爲用戶提供用於實現BatchInsert 功能的API。  [WARP-8146] - [SQL] 支持NOT NULL 限制容許在DDL 中對指定字段作NOT NULL 限制，並對該字段的NOT NULL 限制進行監督和維護。  [WARP-8147] - [SQL] 支持DEFAULT VALUE容許在DDL 中對指定字段定義Default Value，並在導入數據時把它做爲對應字段的默認值。  [WARP-5834] - [SQL] 支持zeroifnull() 和nullif()增長了兩個UDF：zeroifnull 和nullif，分別用來實現以0 取代NULL、比較兩個表達式的值是否相等。  [WARP-6101] - [PL/SQL] PL/SQL 支持CHAR 和VARCHAR 類型爲PL/SQL 增長了對CHAR、VARCHAR 兩種數據類型的支持。   [WARP-7961] - [Dictionary] 數據字典提供SplitKey 信息支持經過數據字典查詢SplitKey 的信息。  [WARP-5612] - [Inceptor] 支持臨時事務表新增了對臨時事務表的支持。  [WARP-7499] - [Inceptor] CBO 優化覆蓋CRUD 業務TDH 4.6 及以後版本中，CBO 的優化能力會覆蓋CRUD 業務，即對CRUD 任務也能夠作優化。  [WARP-6030] - [Inceptor] 爲Compactor 服務提供HA從TDH 4.6 開始咱們把Compactor 服務獨立出來，併爲其提供HA，以保證系統的正常運行和穩定性。  [WARP-7588]- [Inceptor Error] 標準化報錯信息對報錯信息的格式和內容進行了統一和修訂，並移除了冗餘報錯。  [WARP-7104] - [DBLink] 提高DBLink 可靠性以前版本中，DBLink 對某些函數支持度沒有足夠好，或者某些函數在極端狀況下結果的可靠性沒有足夠高，如今對DBLink 的可靠度進行全面鞏固和提高。  [WARP-6023] - [DBLink] 擴充DBLink 支持的數據類型DBLink 目前支持JDBC 中的全部標準數據類型，對於特定數據庫中非標準類型，將被轉變爲NULL。  [WARP-6874] - [Perf] 刪除無用的臨時表不少臨時表建立以後沒有SQL 對它們進行訪問，佔用了沒必要要的資源，如今會刪除在必定時間內沒有被訪問過的的臨時表。  [WARP-7052] - [Perf] 提高RowFilter 性能新版TDH 對RowFilter 的性能進行了進一步的提高。  [WARP-6050] - [Perf] 腳本實現ANALYZE支持經過執行腳本的方式對指定表、指定列進行預分析，也就是ANALYZE 操做，減小了編寫任務的工做量。  [WARP-5819] - [Perf] 自動預分析被增刪改的表、列被ANALYZE 過的表、列中數據若是發生變化，系統會自動對對應表、列從新ANALYZE 以更新預分析的信息。  [WARP-7100] - [Perf] 提高Outer Join 性能經過強化條件下推，提高了Outer Join 的執行性能。  [WARP-5782] - [Perf] 提高UNION ALL 性能對UNION ALL 的任務數量進行了必定改進和控制，使它的性能得到了提高。  [WARP-7587] - [Perf] 提高MERGE INTO 性能在執行MERGE INTO 時避免對沒必要要表的掃描以提高它的性能。  [WARP-6377] - [Holodesk] 提高FastSkip 模式的性能提高了Holodesk 在FastSkip 模式下的性能。  [WARP-7958] - [Holodesk] 優化GlobalIndex 元信息的管理如題，對GlobalIndex 相關元信息的管理進行了優化。  [WARP-7000] - [Stargate] 支持增長分區支持分區的添加，在經過ADD PARTITION 增長Stargate Partition 表的分區時，實現對Stargate 數據源的建表操做。  [WARP-7325] - [Stargate] 支持建立範圍分區支持經過Stargate 建立範圍分區。  [WARP-7547] - [Stargate] 支持對分區建索引支持經過Stargate 對分區表建立索引，對主表建立索引時將直接會對子分區表建立對應索引結構。  [WARP-7715] - 查詢Spark Context 各Executor 狀態的API提供用於查詢Spark Context 中各Executor 狀態的REST API。  [WARP-7716] - 查詢Spark Context 各Task 的狀態的API提供用於查詢Spark Context 中各Task 狀態的REST API。

Guardian
[WARP-4513] - 列級權限控制在TDH 4.6 中，咱們爲Inceptor 開發了列級權限控制功能，經過一條簡單的受權SQL，管理員或者表的Owner 能夠靈活地設定列級的訪問權限規則。  [WARP-7048] - 用SQL 實現對組權限控制支持經過SQL 設置Inceptor 表所對應的HDFS 文件的ACL，以知足對組的支持。  [WARP-7152] - CREATE TABLE LIKE/ AS SELECT 的權限控制當用戶執行CREATE TABLE LIKE 或者CREATE TABLE AS SELECT 時，系統將檢查用戶對於源表的訪問權限，若是不可訪問，該語句會被禁止執行。

Hyperbase
[WARP-4859] - ElasticSearch API 升級至2.0.0如題，ElasticSearch API 從版本1.3.1 升級至2.0.0。  [WARP-6336] - [Hyperdrive] Full-Text 索引的rowkey 支持全部類型如題，Full-Text Index 的rowkey 容許是任何類型。  [WARP-6809] - [ESDrive] 支持LookUp JoinTDH 4.6 及之後版本會支持LookUp Join。

Stream
[WARP-5744] - [StreamSQL][HA] 避免舊任務重放進行了一些改進來儘可能避免對已成功任務的從新執行。  [WARP-5496] - [StreamSQL][Compiler] 完善與改進Window 語法對現有窗口語法進行了改進，並新增了一些相關實用語法。  [WARP-5497] - [StreamSQL][Compiler] 支持和完善Application 功能擴展了Application 相關功能，主要包括如下幾點：完善了對Application 的操做SQL；爲用戶提供了操做Application 的API；容許在Inceptor 中使用Application 保存、獲取配置；支持Application 的安全隔離。  [WARP-5504] - [StreamSQL][Infra] 提高HBase 插入性能向HBase 插入數據時支持共用HBase Client 以免每次插入都需創建新的鏈接。  [WARP-5507] - [StreamSQL][Infra] 提高插入ORC 性能能夠經過切換至Batch Flush 模式提高向ORC 插入數據的性能。  [WARP-5509] - [StreamSQL][Core] PL/SQL 優化器實現了PL/SQL 優化器，使得PL/SQL 的執行在運行時獲得優化。  [WARP-5261] - [StreamSQL][PL/SQL] PL/SQL 任務支持窗口如題，TDH 4.6 開始將在PL/SQL 中支持窗口，並支持一個SQL 中有多個窗口。  [WARP-4986] - [StreamSQL] Output Job 結果檢查使用EventTime 以後，若是在同一個Application 中使用同一個Stream，當使用的時間間隔不一樣，系統將會發出警告。  [WARP-5330] - [StreamSQL][HA] CheckPoint 輸出任務支持對StreamSQL 輸出任務進行CheckPoint，以儘可能保證數據、處理狀態不被丟失。  [WARP-5333] - [StreamSQL][HA] 支持Inceptor 服務器Auto Failover可以應對Inceptor 服務器Auto Failover 帶來的狀態變化或影響。  [WARP-6013] - [StreamSQL][Performance] 減小被持久化的數據一些流式分析只是爲了Ad-Hoc 查詢，所以沒有必要每次都對查詢結果進行持久化處理。這是對性能提高的考慮。

 Discover
[WARP-5914] - PCA完成txPCA 和R 原生模型的適配，並實現模型中print、summary、plot、predict等方法。  [WARP-5915] - SVD完成txSVD 和R 原生模型的適配，並實現txSVD 模型的print、summary 方法。  [WARP-5933] - Apriori完成txApriori 和R 原生模型的適配。   [WARP-5934] - FP-Growth完成txFPGrowth 和R 原生模型的適配。  [WARP-5936] - 協同過濾完成協同過濾算法函數txRecommender 和R 原生模型的適配。  [WARP-5938] - ANN完成txAnn 和R 原生模型的適配。  [WARP-5939] - NaiveBayes完成txNb 和R 原生模型的適配。  [WARP-5940] - DecisionTree完成txDecisionTree 和R 原生模型的適配。  [WARP-6941] - RandomForest完成txRandomForest 和R 原生模型的適配。  [WARP-6821] - Normalize實現函數txNormalization 對指定列的數據進行歸一化。並對z-transformation、range-transformation 和proportion transformation 三種Normalize 方法分別提供了UDTF，以支持用SQL 調用計算。  [WARP-6822] - txFill 的UDTF對txFill（自動填充缺失值）功能提供了對應UDTF—replace_data，以容許用戶經過SQL 調用訪問。

Graphene

[WARP-6153] - 度的計算

經過函數graph_degree 計算圖中各節點的度，包括出度、入度、出入度。  [WARP-6154] - 網絡節點快速分類實現了FastUnfolding 算法，用於快速分類網絡節點，將圖劃分爲多個社區。經過函數graph_fastunfolding 調用。  [WARP-7057] - 最短路徑實現了Shortest Path 算法，用於計算網絡中兩點簡單額最短距離。經過函數graph _shortestpath 調用。  [WARP-7076] - 強連通子圖實現了Strongly Connected Components 算法，用於求解圖中的全部強連通子圖。經過函數graph_strongly_connected_component 調用。  [WARP-7225] - 圖中三角形數量實現了Triangle Counting 算法，用於計算圖中三角形數量。經過函數graph_triangle_count 調用。  [WARP-7285] - 網絡總體緊密程度實現了Global Cluster Coefficient 算法，用於衡量圖總體緊密程度，多用於社交網絡分析。經過函數graph_global_cluster_coefficient 調用。  [WARP-7290] - 局部網絡緊密程度實現了Local Cluster Coefficient 算法，用於衡量圖中各節點和其鄰居節點的緊密程度。經過函數graph_local_cluster_coefficient 調用。  [WARP-7296] - 平均緊密程度實現了Average Cluster Coefficient 算法，用於衡量圖中節點的平均緊密程度。經過函數graph_average_cluster_coefficient 調用。  [WARP-7299] - 圖直徑支持經過函數graph_diameter 計算圖的直徑。  [WARP-7414] - 圖半徑支持經過函數graph_diameter 計算圖的半徑。  [WARP-7415] - 離心指數經過函數graph_eccentricity 計算圖中節點和其餘節點距離之間的最大值。  [WARP-8010] - 節點相關性與重要性實現了Page Rank 算法，用於計算網絡中節點的相關性和重要性。經過函數graph_pagerank 調用。

Manageability
[WARP-7834] - 服務、角色配置相關的API提供實現如下功能的API：保存配置；刷新配置文件；可根據更新的配置重啓受影響的角色或服務。  [WARP-7918] - 支持添加Guardian Client 角色支持用戶在Guardian 頁面上添加Guardian Client 角色。

[WARP-7655] - [Koalas] 界面版會兼容後端處理失敗時的異常

在界面版Koalas 前端添加了對後端異常的處理，異常發生時會自動在特定文件中記錄本次運行的信息，內容包括節點與運行時的參數。同時界面會兼容對異常結果的顯示，以提高用戶使用的友好度。  [WARP-5752] - [Koalas] 支持suse增長對Koalas 對suse 操做系統的支持。  [WARP-7964] - [TM] 在界面啓動中止節點和任務在界面上爲節點添加啓動中止按鈕，以及未任務添加啓動中止頁面。  [WARP-7965] - [TM] 提供啓動/中止節點和角色的API提供能夠實現啓動中止節點和啓動中止角色功能的API。  [WARP-6498] - [TM] 支持遷移Guardian 節點如題，TDH 4.6 及之後版本將支持Guardian 節點的遷移，並在Transwarp Manager上提供實現Guardian 節點遷移的接口。  [WARP-2963] - [TM] 增長Datanode 對損壞磁盤數量的容忍度新版TDH 容許Datanode 有1/4~1/3 的磁盤損壞，超過此範圍後Datanode 纔會真正宕掉。當任意磁盤被損壞時，Transwarp Manager 會在界面做出嚴重告警。  [WARP-3010] - [TM] 節點失聯警告HA 模式下，若是兩個節點發生失聯，Transwarp Manager 會報告相關信息狀況。 [ WARP-5545] - [TM] 自定義審計告警策略支持用戶對敏感或重要指標自定義告警閾值，當指定指標或者特定類型事件累計超過設定值時，就觸發警告。  [WARP-7272] - [TM] 提供Meatstore Salve 到Master 的切換支持在界面上實現Metastore 從Salve 到Master 切換。

Flume
[WARP-5810] - Flume 升級至1.6.0Flume 從1.5.x 升級至1.6.0 版。

Sqoop
[ WARP-4884] - Sqoop 升級TDH 4.6 對Sqoop 再次進行了升級，強化了各類文件類型的套接轉換、各類數據類型的對接、各類類型字符的轉義處理等，使數據的傳遞更流暢。