RMDB與hadoop的實時整合

1、MySQL的Hadoop Applier html

    實現原理是:把hadoop做爲MYSQL 的slave,實時把數據同步到hadoop,支持apache hadoop mysql

    經過分析MYSQL的binlog日誌,在hdfs產生一個目錄(同表名),全部的表記錄都存儲在一個文件中,用戶的操做如插入,更新,刪除都會產生一筆記錄追加到文件末尾. sql

    但如何利用hdfs上的這個數據,須要用戶本身定義邏輯,把表中的數據插入到hbase表 apache

    詳見:http://dev.mysql.com/tech-resources/articles/mysql-hadoop-applier.html oracle

MySQL to HDFS Integration

2、GoldenGate的HDFS Adapter app

    Oracle GoldGate's 也有相似的工具,經過分析Trails File把數據實時同步到hadoop

    ORACLE官方網站提供了Hdfs Adapter,但不提供服務支持
    詳見:https://blogs.oracle.com/dataintegration/entry/streaming_relational_transactions_to_hadoop 工具

相關文章
相關標籤/搜索