apache druid 遷移過程（hdfs）insert-segment-to-db

背景

因爲公司內部調整，apahce druid 集羣需遷移。深度存儲的路徑也須要調整。

遷移hdfs中的文件

這個咱們有專門的人員遷移的，具體操做不詳。應該就是藉助工具，在hdfs中進行 segements的遷移。

使用工具insert-segment-to-db

這個在使用時，注意版本。後期druid 升級後，包名進行過調整，致使使用的命令有差別。 官網給出的導入命令

java 
-Ddruid.metadata.storage.type=mysql 
-Ddruid.metadata.storage.connector.connectURI=jdbc\:mysql\://localhost\:3306/druid 
-Ddruid.metadata.storage.connector.user=druid 
-Ddruid.metadata.storage.connector.password=diurd 
-Ddruid.extensions.loadList=[\"mysql-metadata-storage\",\"druid-hdfs-storage\"] 
-Ddruid.storage.type=hdfs
-Ddruid.storage.type=hdfs
-cp $DRUID_CLASSPATH 
org.apache.druid.cli.Main tools insert-segment-to-db --workingDir hdfs://host:port//druid/storage/wikipedia --updateDescriptor true

在實際導入的過程當中，設置DRUID_CLASSPATH 過程當中出現問題，致使沒法讀取到hdfs中的文件。此處需設置，druid 的lib 於hadoop 的配置 如下命令是我的導入的命令。

java  
-Ddruid.metadata.storage.type=mysql 
-Ddruid.metadata.storage.connector.connectURI=jdbc:mysql://ip:3306/druid 
-Ddruid.metadata.storage.connector.user=druid 
-Ddruid.metadata.storage.connector.password= 
-Ddruid.extensions.loadList=[\"mysql-metadata-storage\",\"druid-hdfs-storage\"] 
-Ddruid.storage.type=hdfs  
-cp "conf/druid/_common:/home/ant/druid/apache-druid-0.13.0-incubating/lib/*"  
org.apache.druid.cli.Main tools insert-segment-to-db --workingDir hdfs://hodoop//druid/segments/wikipedia1 --updateDescriptor true

注意

導入數據時，儘可能保持環境屬於安全模式，也就是沒有數據寫入。

官網文檔地址

http://druid.io/docs/0.13.0-incubating/operations/insert-segment-to-db.html