《大數據管理：數據集成的技術、方法與最佳實踐》

《大數據管理：數據集成的技術、方法與最佳實踐》

基本信息

原書名：Managing Data in Motion: Data Integration Best Practice Techniques and Technologies

原出版社： Morgan Kaufmann

做者： (美)April Reeve   

譯者： 餘水清 潘黎萍

叢書名： 大數據技術叢書

出版社：機械工業出版社

ISBN：9787111459057

上架時間：2014-3-11

出版日期：2014 年3月

開本：16開

頁碼：140

版次：1-1

所屬分類：計算機 > 數據庫 > 數據庫存儲與管理

 

更多關於》》》《大數據管理：數據集成的技術、方法與最佳實踐》

 

編輯推薦

      移動互聯網、物聯網和社交媒體的飛速發展，數據量呈現蠕炸式增加，企業如何實現應用之間的數據共享，如何更好地利用已有數據資源

　　做者結合她25年的數據集成工做經驗，給出了實施企業數據集成的通用法則，深刻講解大數據環境下大中型企業不一樣應用系統間數據集成的關鍵技術、架構、工具集和最佳實踐

 

內容簡介

    書籍

    計算機書籍

　　《大數據管理：數據集成的技術、方法與最佳實踐》是數據集成領域的經典著做，由具備數十年從業經驗的資深數據集成專家撰寫，數據管理專家做序推薦！它爲大數據時代的大中型企業管理企業內部大量的、複雜的應用系統之間的數據提供瞭解決方案，全面而深刻地講解數據集成的工具、方法、技巧、解決方案以及最佳實踐。

　　《大數據管理：數據集成的技術、方法與最佳實踐》分爲四部分，共22章，高屋建瓴地闡述了在大型組織環境中，不一樣計算機系統之間傳輸數據，以及將異構數據進行集成所用到的技巧、技術和最佳實踐，內容涵蓋數據集成導論、批處理數據集成、實時數據集成和大數據集成等。

　　《大數據管理：數據集成的技術、方法與最佳實踐》雖然介紹了各類數據集成問題的多種不一樣類型的技術解決方案，但讀者無需具有廣闊的技術背景就能理解，適合數據處理相關的項目經理、數據分析師、數據模型設計師、數據庫工做者以及數據集成程序員等相關技術人員及數據管理專業學生閱讀。

 

媒體評論

　　不多有企業奢望可以擁有一個統一的、集成的數據平臺。可是在企業信息管理領域至少要考慮的一個問題就是，咱們如何對待和管理日益增加的接口。April Reeve針對數據集成這一問題給出了清晰的概覽和指導。

　　——John Ladley，IMCue方案公司首席工程師

　　這本書針對企業天天所面臨的複雜挑戰給出了清晰的解決思路，以通俗易懂的語言介紹批處理、實時和大數據集成，包括相關定義、思路、觀點，以及最佳實踐。我強烈推薦這本書!

　　——Danette McGilvray，Granite Fall諮詢公司總裁兼首席顧問

 

 

 

目錄

《大數據管理：數據集成的技術、方法與最佳實踐》

譯者序

序言

前言

第一部分　數據集成導論

第1章　數據集成的重要性 / 2

1.1　數據接口的自然複雜性 / 2

1.2　購買供應商應用包的數量日益增長 / 3

1.3　大數據和虛擬化的催化劑 / 3

第2章　什麼是數據集成 / 5

2.1　運動中的數據 / 5

2.2　集成爲通用格式—數據轉換 / 5

2.3　數據從一個系統遷移到另外一個系統 / 6

2.4　在組織內部移動數據 / 6

2.5　從非結構化數據中抽取信息 / 8

2.6　將處理移動到數據端 / 9

第3章　數據集成的類型和複雜性 / 10

3.1　管理運動中的數據和持久化數據的異同點 / 10

3.2　批處理數據集成 / 10

3.3　實時數據集成 / 11

3.4　大數據集成 / 11

3.5　數據虛擬化 / 12

第4章　數據集成開發過程 / 13

4.1　數據集成開發生命週期 / 13

4.2　包含業務知識和專家經驗 / 14

第二部分　批處理數據集成

第5章　批處理數據集成簡介 / 18

5.1　什麼是批處理數據集成 / 18

5.2　批處理數據集成生命週期 / 19

第6章　抽取、轉換和加載 / 20

6.1　什麼是etl / 20

6.2　概要分析 / 20

6.3　抽取 / 21

6.4　暫存 / 22

6.5　訪問層次 / 22

6.6　轉換 / 23

6.6.1　簡單映射 / 23

6.6.2　查找表 / 24

6.6.3　聚合和規範化 / 24

6.6.4　計算 / 24

6.7　加載 / 24

第7章　數據倉庫 / 26

7.1　什麼是數據倉庫 / 26

7.2　企業數據倉庫架構中的層次 / 26

7.2.1　操做型應用層 / 26

7.2.2　外部數據 / 27

7.2.3　數據倉庫中的數據暫存區 / 27

7.2.4　數據倉庫數據結構 / 28

7.2.5　從數據倉庫到數據集市或者商務智能層的暫存 / 28

7.2.6　商務智能層 / 28

7.3　加載到數據倉庫中的數據類型 / 29

7.3.1　數據倉庫中的主數據 / 29

7.3.2　數據倉庫中的餘額和快照數據 / 30

7.3.3　數據倉庫中的事務型數據 / 31

7.3.4　事件 / 31

7.3.5　調整 / 31

第8章　數據轉換 / 39

8.1　什麼是數據轉換 / 39

8.2　數據轉換生命週期 / 39

8.3　數據轉換分析 / 39

8.4　數據加載最佳實踐 / 40

8.5　提升源數據質量 / 40

8.6　映射到目標系統 / 41

8.7　配置數據 / 41

8.8　測試和依賴 / 42

8.9　私有數據 / 42

8.10　校對 / 43

8.11　環境 / 43

第9章　數據歸檔 / 47

9.1　什麼是數據歸檔 / 47

9.2　歸檔數據選擇 / 47

9.3　已歸檔數據能夠恢復嗎 / 48

9.4　歸檔環境下數據結構的確認 / 48

9.5　靈活的數據結構 / 49

第10章　批處理數據集成架構和元數據 / 54

10.1　什麼是批處理數據集成架構 / 54

10.2　概要分析工具 / 55

10.3　建模工具 / 55

10.4　元數據存儲庫 / 55

10.5　數據移動 / 56

10.6　轉換 / 56

10.7　調度 / 57

第三部分　實時數據集成

第11章　實時數據集成簡介 / 64

11.1　爲何須要實時數據集成 / 64

11.2　爲何須要兩組技術 / 64

第12章　數據集成模式 / 66

12.1　交互模式 / 66

12.2　鬆耦合 / 66

12.3　中心和節點模式 / 66

12.4　同步交互和異步交互 / 69

12.5　請求和應答 / 70

12.6　發佈和訂閱 / 70

12.7　兩階段提交 / 70

12.8　集成交互類型 / 71

第13章　核心實時數據集成技術 / 72

13.1　使人困惑的術語 / 72

13.2　企業服務總線 / 72

13.3　面向服務架構 / 75

13.4　可擴展標記語言 / 77

13.5　數據複製和變化數據捕獲 / 81

13.6　企業應用集成 / 82

13.7　企業信息集成 / 82

第14章　數據集成建模 / 84

14.1　規範化建模 / 84

14.2　消息建模 / 88

第15章　主數據管理 / 89

15.1　主數據管理簡介 / 89

15.2　須要主數據管理方案的緣由 / 89

15.3　購買的軟件包與主數據 / 90

15.4　參考數據 / 90

15.5　主和從 / 91

15.6　外部數據 / 93

15.7　主數據管理功能 / 93

15.8　主數據管理方案的類型—註冊表以及數據中心 / 94

第16章　實時更新數據倉庫 / 95

16.1　企業信息工廠 / 95

16.2　操做型數據存儲 / 96

16.3　移動到數據倉庫的主數據 / 97

第17章　實時數據集成架構和元數據 / 99

17.1　實時數據集成元數據簡介 / 99

17.2　建模 / 100

17.3　概要分析 / 100

17.4　元數據庫 / 101

17.5　企業服務總線—數據轉換和調度 / 101

17.5.1　技術中介 / 101

17.5.2　業務內容 / 102

17.6　數據移動和中間件 / 102

17.7　外部交互 / 102

第四部分　大數據集成

第18章　大數據集成簡介 / 106

18.1　數據集成及非結構化數據 / 106

18.2　大數據、雲數據及數據虛擬化 / 106

第19章　雲架構和數據集成 / 107

19.1　爲何雲中的數據集成比較重要 / 107

19.2　公共雲 / 107

19.3　雲安全 / 108

19.4　雲延遲 / 109

19.5　雲冗餘 / 110

第20章　數據虛擬化 / 111

20.1　恰逢其時的一項技術 / 111

20.2　數據虛擬化的商業用途 / 112

20.2.1　商務智能方案 / 112

20.2.2　集成不一樣類型的數據 / 113

20.2.3　快速向數據倉庫中增長或者原型增長數據 / 113

20.2.4　將物理上不一樣的數據一塊兒展示 / 113

20.2.5　利用不一樣的數據和模型觸發交易 / 114

20.3　數據虛擬化架構 / 114

20.3.1　源和適配器 / 114

20.3.2　映射、模型和視圖 / 114

20.3.3　轉換和展示 / 115

第21章　大數據集成 / 116

21.1　什麼是大數據 / 116

21.2　大數據維度—量 / 116

21.2.1　大規模並行處理—將處理過程移動到數據端 / 116

21.2.2　hadoop和mapreduce / 117

21.2.3　與外部數據集成 / 117

21.2.4　虛擬化 / 118

21.3　大數據維度—多樣性 / 118

21.3.1　數據類型 / 118

21.3.2　集成不一樣類型的數據 / 118

21.4　大數據維度—速度 / 120

21.4.1　流式數據 / 121

21.4.2　傳感器和gps數據 / 121

21.4.3　社會化媒體數據 / 121

21.5　傳統大數據應用案例 / 121

21.6　更多大數據應用案例 / 122

21.6.1　醫療 / 122

21.6.2　物流 / 122

21.6.3　國家安全 / 122

21.7　利用大數據的力量—實施決策支持 / 123

21.7.1　觸發行動 / 123

21.7.2　從內存以及磁盤中檢索數據的速度 / 123

21.7.3　從數據分析到模型，從流式數據到決策 / 124

21.8　大數據架構 / 125

21.8.1　操做型系統和數據存儲 / 125

21.8.2　中間數據中心 / 126

21.8.3　商務智能工具 / 126

21.8.4　數據虛擬化服務器 / 127

21.8.5　批處理和實時數據集成工具 / 127

21.8.6　分析型沙盒 / 127

21.8.7　風險響應系統/推薦引擎 / 127

第22章　移動數據管理總結 / 132

22.1　數據集成架構 / 132

22.1.1　爲何須要數據集成架構 / 132

22.1.2　數據集成生命週期和專家經驗 / 132

22.1.3　安全和隱私 / 133

22.2　數據集成引擎 / 134

22.2.1　操做連貫性 / 134

22.2.2　etl引擎 / 134

22.2.3　企業服務總線 / 135

22.2.4　數據虛擬化服務器 / 135

22.2.5　數據移動 / 136

22.3　數據集成中心 / 136

22.3.1　主數據 / 137

22.3.2　數據倉庫和操做型數據存儲 / 137

22.3.3　企業內容管理 / 138

22.3.4　數據歸檔 / 138

22.4　元數據管理 / 138

22.4.1　數據發現 / 138

22.4.2　數據概要分析 / 139

22.4.3　數據建模 / 139

22.4.4　數據流建模 / 139

22.4.5　元數據存儲庫 / 139

22.5　結束語 / 140

參考文獻 / 141

 

本圖書信息來源:互動出版網