Amazon Redshift數據遷移到MaxCompute

時間  2021-08-15

Amazon Redshift數據遷移到MaxCompute

Amazon Redshift 中的數據遷移到MaxCompute中經常需要先卸載到S3中，再到阿里雲對象存儲OSS中，大數據計算服務MaxCompute然後再通過外部表的方式直接讀取OSS中的數據。
如下示意圖：

image

前提條件

本文以SQL Workbench/J工具來連接Reshift進行案例演示，其中用了Reshift官方的Query editor發現經常報一些奇怪的錯誤。建議使用SQL Workbench/J。

  • 配置新連接，選擇新建的Driver，並複製JDBC url地址、數據庫用戶名和密碼並勾選Autocommit。

image

如果在配置過程中發現一隻connection time out，需要在ecs的vpc安全組中配置安全策略。具體詳見：https://docs.aws.amazon.com/zh_cn/redshift/latest/gsg/rs-gsg-authorize-cluster-access.html

Amazon Redshift數據預覽

方式一：在AWS指定的query editor中進行數據預覽，如下所示：

image

方式二：使用Workbench/J進行數據預覽，如下圖所示：
具體Workbench/J的下載和配置詳見：https://docs.aws.amazon.com/zh_cn/redshift/latest/mgmt/connecting-using-workbench.html
（下圖爲JDBC驅動下載和JDBC URL查看頁面）

image

image

卸載數據到Amazon S3

在卸載數據到S3之前一定要確保IAM權足夠，否則如果您在運行 COPY、UNLOAD 或 CREATE LIBRARY 命令時收到錯誤消息 S3ServiceException: Access Denied，則您的集羣對於 Amazon S3 沒有適當的訪問權限。如下：

image

創建 IAM 角色以允許 Amazon Redshift 集羣訪問 S3服務

image

  • step2：選擇Redshift服務，並選擇Redshift-Customizable

image

image

  • step4：命名角色爲redshiftunload。

image

image

  • step5：打開剛定義的role並複製角色ARN。（unload命令會用到）

image

  • step6：進入Redshift集羣，打開管理IAM角色

image

  • step7：選擇剛定義的redshiftunload角色並應用更改。

image

執行unload命令卸載數據

以管道分隔符導出數據

以默認管道符號（|）的方式將數據卸載到對應的S3存儲桶中，並以venue_爲前綴進行存儲，如下：

unload ('select * from venue')
to 's3://aws2oss/venue_' 
iam_role '<新建的redshiftunload角色對應的ARN>';
--parallel off; --連續卸載，UNLOAD 將一次寫入一個文件，每個文件的大小最多爲 6.2 GB

執行效果圖如下：
image

進入Amazon S3對應的存儲桶中可以查看到有兩份文件，且以venue_爲前綴的，可以打開文件查看下數據。

image

數據如下，以管道字符（|)分隔：

image

以指標符導出數據

要將相同的結果集卸載到製表符分隔的文件中，請發出下面的命令：

unload ('select * from venue') 
to 's3://aws2oss/venue_' 
iam_role '<新建的redshiftunload角色對應的ARN>'
delimiter as '\t';

image

打開文件可以預覽到數據文件如下：

image


----爲了MaxCompute更方便的讀取數據，我們採用以逗號(,)分隔--

unload ('select * from venue') 
to 's3://aws2oss/venue_' 
iam_role '<新建的redshiftunload角色對應的ARN>'
delimiter as ','
NULL AS '0';

image

更多關於unload的命令說明詳見：https://docs.aws.amazon.com/zh_cn/redshift/latest/dg/r_UNLOAD.html

Amazon S3無縫切換到OSS

在線遷移工具只支持同一個國家的數據源，針對不同國家數據源遷移建議用戶採用OSS遷移工具，自己部署遷移服務並且購買專線來完成，詳見：https://help.aliyun.com/document_detail/56990.html

OSS提供了S3 API的兼容性，可以讓您的數據從AWS S3無縫遷移到阿里雲OSS上。從AWS S3遷移到OSS後，您仍然可以使用S3 API訪問OSS。更多可以詳見S3遷移教程。

背景信息

① 執行在線遷移任務過程中，讀取Amazon S3數據會產生公網流出流量費，該費用由Amazon方收取。
② 在線遷移默認不支持跨境遷移數據，若有跨境數據遷移需求需要提交工單來申請配置任務的權限。

準備工作

Amazon S3前提工作

接下來以RAM子賬號來演示Amazon S3數據遷移到Aliyun OSS上。

  • 預估遷移數據，進入管控臺中確認S3中有的存儲量與文件數量。
  • 創建遷移**，進入AWS IAM頁面中創建用戶並賦予AmazonS3ReadOnlyAccess權限。
  • 添加用戶-->訪問類型（編程訪問，AK信息）-->賦予AmazonS3ReadOnlyAccess權限-->記錄AK信息。

step1：進入IAM，選擇添加用戶。
![image.png]image

step2：新增用戶並勾選創建AK。

image

step3：選擇直接附加現有策略，並賦予AmazonS3ReadOnlyAccess權限。

image

step4：記錄AK信息，在數據遷移中會用到。

image

Aliyun OSS前提工作

  • 阿里雲OSS相關操作，新創建bucket：

image

  • 創建RAM子賬號並授予OSS bucket的讀寫權限和在線遷移管理權限。

image

遷移實施

遷移會佔用源端和目的端的網絡資源；遷移需要檢查源端和目的端文件，如果存在文件名相同且源端的最後更新時間少於目的端，會進行覆蓋。

【創建源地址：】

image
image

具體配置項說明詳見：https://help.aliyun.com/document_detail/95159.html
【創建目標地址：】

image
image

具體配置項說明詳見：https://help.aliyun.com/document_detail/95159.html

創建遷移任務

從左側tab頁面中找到遷移任務，並進入頁面，點擊創建遷移任務。
![image.png]image

image

---->OSS中的數據如下：

image

MaxCompute直接加載OSS數據

授權

在查詢OSS上數據之前，需要對將OSS的數據相關權限賦給MaxCompute的訪問賬號，授權詳見授權文檔。
MaxCompute需要直接訪問OSS的數據，前提需要將OSS的數據相關權限賦給MaxCompute的訪問賬號，您可通過以下方式授予權限：

  1. 當MaxCompute和OSS的owner是同一個賬號時，可以直接登錄阿里雲賬號後，點擊此處完成一鍵授權。
  2. 若MaxCompute和OSS不是同一個賬號，此處需由OSS賬號登錄進行授權，詳見文檔。

創建外部表

在DataWorks中創建外部表，如下圖所示：

image

創建MaxCompute外部表DDL語句：

CREATE EXTERNAL TABLE IF NOT EXISTS venue_external
(
VENUEID bigint,
VENUENAME string,
VENUECITY string,
VENUESTATE string,
VENUESEATS bigint
)
STORED BY 'com.aliyun.odps.CsvStorageHandler' -- (1)
WITH SERDEPROPERTIES (
 'odps.properties.rolearn'='acs:ram::*****:role/aliyunodpsdefaultrole'
) -- (2)
LOCATION 'oss://oss-cn-shanghai-internal.aliyuncs.com/redshift2odps/s3/'; -- (3)(4)
  • com.aliyun.odps.CsvStorageHandler是內置的處理CSV格式文件的StorageHandler，它定義瞭如何讀寫CSV文件。您只需指明這個名字，相關邏輯已經由系統實現。如果用戶在數據卸載到S3時候自定義了其他分隔符那麼，MaxCompute也支持自定義分隔符的Handler，詳見：https://help.aliyun.com/document_detail/45389.html

可以直接查詢返回結果：
select * from venue_external limit 10;

DataWorks上執行的結果如下圖所示：

image

創建內部表固化數據

如果後續還需要做複雜的查詢且數據量特別大的情況下，建議將外部錶轉換爲內部表，具體示意如下：
create table if not exists venue as select * from venue_external;

image

联系我们 沪ICP备13005482号-10