如何快速將Linux 大文件處理小

1.背景 工做中使用MapReduce任務導出一批含有路徑的文件，共計行數300W+，須要檢測文件是否在對應的服務器中存在，而文件所在的服務器並不是hadoop集羣的服務器，所以打算採用bash腳本進行。具體的方法以下(可直接看方法2,方法1效率較低)：

2. 採用的方法

a. 方法1

本來打算使用以下腳本，進行簡單驗證：

!/bin/bashcount=0cat oriTest.txt | while read datadocount=$(( $count+1 ))echo $countdir=echo "$data" | awk -F "\t" '{print $5}'if [ -e $dir ];thenecho "$data" >> exist.txtelseecho "$data" >> noexist.txtfidone

原始數據格式以下：

name mark id dir

運行時發現處理5000行須要將近四、5分鐘的時間(機器爲8核)，果斷不行啊，隨後打算採用多進程的方法來執行，見方法2

b. 方法2

主要是經過將大文件分爲小文件，而後對小文件進行後臺遍歷讀取，腳本以下：

!/bin/bashsource ~/.bashrc

判斷路徑是否存在

readdata(){cat $1 | while read datadodir=echo "$data" | awk -F "\t" '{print $5}'if [ -e $dir ];thenecho "$data" >> "exist_$1.txt"elseecho "$data" >> "noexist_$1.txt"fidone}

大文件切分爲小文件，生成文件名爲xaa,axb等(能夠本身命名文件)

split -l 10000 oriTest.txt

declare -a files # 聲明數組

files=($(ls x*)) # 分割後的小文件名保存數組

遍歷，並後臺執行

for i in ${files[@]};doecho $ireaddata $i &done

以上就是良許教程網爲各位朋友分享的如何快速將Linux 大文件處理小。 以上就是良許教程網爲各位朋友分享的Linux相關知識。