datastage獲取csv文件，並插入數據庫

datastage操做流程

文檔建立人： 月夜楓

日期：20180112

版本：V1.0

1、處理文件

本次項目的源文件來源於10.126.124.39服務器，39服務器並未開啓ftp功能，可是開啓了目錄共享功能.

1.1、使用bat批處理腳本先將源數據拷貝到本地服務器10.126.124.14中

1.2、同時將多個文件進行合併，方便後續datastage調用，提升效率，不然須要屢次運行datastage中job

2、建立job，準備全局job參數

建立job，對job進行參數配置，主要包含：連接服務器參數，連接數據庫參數，在數據轉換過程當中須要的系統參數

3、建立ftp源組件

3.1、在job界面，palette欄，獲取一個process相關組件Ftp,設置 properties參數

注：connect參數是源文件所在服務器的ftp的登錄帳號密碼，須要網絡管理員設置。

3.2、Format參數設置

3.3、column參數設置，選擇本身建立的table difination,自動引入，在4.1有具體建立步驟

3.4、配置好參數，檢查配置問題。

在3.1圖中，有一個view data，若配置成功，則能夠經過在此能夠讀取到數據。

注：若出現中文亂碼，在下面進行更改字符集

點擊下面按鍵更改

選擇NLS，更改字符集

 

4、建立Nettza數據庫目標組件

4.1、須要建立一個nettza數據庫對應的table difinition組件，保存在對應的目錄底下，後續使用。

建立步驟：在主頁面

import-à table difinition-à Start Connector Import Wizard -à Nettza Connector

-à錄入帳號密碼地址等相關信息 -à選擇須要的表，或已經建立的表

4.2、建立數據庫目標組件

在job界面，palette欄，獲取一個database選擇nettza connector，配置相關參數

配置column參數和3.3方式同樣，再此不重複講解。

 

5、建立transformer轉換規則

建立transformer,在job界面，palette欄，獲取兩個link箭頭按照數據扭轉方向進行鏈接三個組件。

設置transformer的參數

1、須要點擊下圖按鈕1進行組件column的1對1關聯

2、若須要對目標表的數據進行處理選擇下圖2的地方進行選擇，能夠更改數據類型，對目標數據進行轉換等操做

 

6、測試

保存文件，編譯，運行，錄入參數進行運行，根據日誌進行測試，排查bug

7、製做windows定時任務

1、進入定時任務管理器

開始，控制面板，系統和安全，管理工具，任務計劃，打開以後

界面以下

右鍵「任務計劃程序」，建立任務，錄入任務名稱和描述

最後須要錄入管理員帳戶密碼

2、更改定時任務

雙擊點開任務的屬性，注意更改屬性爲無論是否登錄與否都要運行，並使用最高權限運行。