大咖手把手教您,DLA一鍵建倉!

DLA很早以前就支持了對關係型數據庫的查詢,可是一直以來用戶會有一個擔憂:數據庫

直接分析RDS裏面的數據會不會影響線上業務。服務器

這個擔憂很合理,除非你要查詢的RDS是專門用來作後臺數據分析使用的,不然直接大規模分析確實可能會形成數據庫性能降低,影響前臺業務。對於這個擔心咱們作過一些改進的措施,好比提供hint讓用戶能夠手動指定底層查詢併發度, 可是不是最理想的方案。併發

所以咱們如今推出了一個極致方案: 天天自動、無縫地幫您把RDS裏面的數據同步到OSS上面,並創建好相應的表結構 -- 跟RDS裏面同樣的表結構,讓你能夠基於OSS的數據進行無憂無慮的分析,這個功能咱們稱之爲一鍵建倉性能

一鍵建倉

首先打開DLA的Schema管理頁面,這裏顯示了您全部的數據庫。測試

點擊「建立Schema」按鈕進入建庫嚮導選擇頁面,選擇其中的「一鍵建倉」,點擊「使用嚮導建立」url

由於一鍵建倉實際上是在打通你的RDS數據和OSS數據,所以咱們須要您的RDS和OSS受權:spa

授予好權限以後點擊下一步進入一鍵建倉配置的主頁面:3d

這個頁面的左邊列出了你全部的RDS,這是咱們要建倉的數據來源,選擇其中您要建倉的RDS,右邊的服務器名,端口會自動填上,而後您須要填上用戶名,密碼,以及要同步的RDS的庫名。blog

照道理說這個RDS的庫名應該提供一個下拉框直接選就行了,不過目前因爲一些限制暫時只能手動輸入。get

RDS信息填寫完畢以後能夠點擊「測試鏈接」驗證一下填寫是否正確。

數據來源搞定以後,下一步咱們要填寫「建倉配置」,這一塊是咱們數倉相關的配置,在DLA的場景下主要是OSS相關的一些配置, 主要有三個:

  • Schema: 這份數據在DLA裏面新建一個什麼名字的Schema
  • 數據位置: 這份數據放在您的哪一個bucket的哪一個路徑下
  • 同步時間: 天天幾點幫您定時同步RDS的最新數據到OSS上面

這裏同步時間要注意下,應該選擇半夜業務低谷的時候進行同步,避免影響線上業務。另外選擇數據位置的時候咱們會對您賦予DLA的OSS操做權限進行校驗,若是沒有賦予足夠的權限,咱們會作提示:

一鍵建倉須要用戶授予DLA對於所選擇的路徑有刪除權限,由於咱們天天會同步最新的數據到OSS上來,這裏就涉及到要刪除老數據的操做,關於若是賦予DLA OSS刪除權限的詳情能夠參見這篇文章: 如何受權OSS刪除權限給DLA

爲何前面已經進行了OSS受權,這裏又來檢查一遍OSS權限?

上一步受權的只是OSS只讀權限,由於OSS刪除權限茲事體大,所以沒有在默認的權限裏面,須要用戶單獨手動受權。

全部輸入框有輸入完畢以後點擊「建立」就完成了建立操做,而後咱們能夠去Schema列表去查看咱們經過一鍵建倉建立出來的這個新的Schema:

點擊「詳細信息」進入這個Schema的詳情頁面,能夠看出跟普通的Schema不同,這個Schema的詳情裏面多了一個「配置」的選項卡,這個選項卡里面有一鍵建倉的詳細配置。

若是有修改一鍵建倉配置能夠點擊更新。比較有意思的是這個「當即同步」的按鈕,一鍵建倉創建好了以後,咱們只是創建了一個空的數據庫,沒有立刻進行同步,而是要等用戶設定的時間才運行,以避免影響線上業務。若是用戶判斷對線上影響不大,想立馬把數據同步過來以進行分析,那麼能夠點擊「當即同步」的按鈕。點擊以後能夠去「監控中心」的「任務列表」查看正在運行的一鍵建倉任務:

這裏能夠看到執行的任務的類型,名稱,狀態,點擊詳情能夠看到JSON格式的更詳細的狀態信息:哪些表正在同步,哪些表已經同步完成:

等這個任務執行完成以後再回去看這個Schema就會發現已經有表了:

來,咱們再驗證一下數據是否是真的過來了:

果真數據也有了,搞定!

總結

這裏咱們介紹了DLA最新引入的一鍵建倉的功能,一鍵建倉的做用就是爲了讓數據在RDS裏面的客戶能夠方便、快速、沒有後顧之憂地對業務數據進行分析,但願這個功能的引入可以讓你們把RDS裏面的數據更好的分析起來。

 

本文做者:xumingmingv

原文連接

本文爲雲棲社區原創內容,未經容許不得轉載。

相關文章
相關標籤/搜索