使用shell分頁讀取600萬+的MySQL數據腳本

shell-mysql 
（1）腳本背景: 
因爲要在Linux上，遠程讀取mysql的表的數據，而後作必定清洗後，把數據上傳至Hadoop集羣中，使用Java寫吧，感受太麻煩了，得在Win上開發好，還得打成jar包， 上傳到Linux上，若是那裏出了問題，還得重複這樣，很是不方便，那就用shell寫一個吧，也不須要什麼jdbc驅動包，只須要在Linux上裝個MySQL的 客戶端便可，用一行yum命令便可搞定，因此就花了點時間，封裝了一個小腳本 

（2）功能介紹: 
直接在Linux下使用shell腳本遠程分頁讀取MySQL表的數據的一個小腳本，已測過讀取600萬+的數據 效率與jdbc相差無幾 

（3）腳本介紹: 
主要有三個腳本構成 
1，page.sh 這是一主腳本，裏面定義了分頁的條件，你們看下便知 
2，f.sh 一個小包裝的腳本吧，裏面會用sed去掉表頭一些信息 
3，port.sh 分頁讀取數據的執行腳本 

（4）如何使用？ 
使用很是簡單，須要改下page.sh裏面的查詢字段，以及分頁查詢的數量，默認是10000，而後執行sh page.sh databaseName tableName傳入數據庫名和表名便可 

 

Github地址：https://github.com/qindongliang/shell-mysql