利用Shell腳本進行文件內容去重

      最近在處理文件的時候，遇到文件內容存在大量重複項的狀況，很顯然須要文件內容去重。由於使用的是Python，原本想要找找Python文件內容去重的方法，可是看到的基本利用Set或者List等方法（還沒來得及逐一驗證）。後來，找到一個利用Shell腳本寫的文件內容去重，用了一下以爲很贊，在這裏深刻的研究一下，也算是對Shell瞭解和熟悉一下。

      shell腳本以下所示：

#!/bin/bash
lines=$(wc -l $1 | sed 's/ .*//g')
lines_per_file=`expr $lines / 20`
split -d -l $lines_per_file $1 __part_$1
for file in __part_*
do
{
  sort $file > sort_$file
} &
done
wait
sort -smu sort_* > $2
rm -f __part_*
rm -f sort_*

      腳本運行的命令以下：（假如文件保存的名字爲：merge_sort.sh）

./merge_sort.sh file_to_be_sort file_sorted

      下面，來講明一下腳本中幾個比較重要的命令。

      wc -l命令的意思就是統計文本的行數，可是獲得的結果以下圖所示：

      除了獲得文本的全部行外，文件的名字也輸出了，若是隻要獲得行數，後面的內容須要替換掉。

      sed命令能夠完成數據的搜索並替換，具體格式以下：

sed 's/要被取代的字串/新的字串/g'

      sed 's/ .*//g'命令的意思是把除換行符之外的任意字符去掉。

      split命令用於分割文件。-d表示分割後的文件後綴用數字代替字母。-l表示分割後的文件中，每一個文件有多少行。

      sort命令用於對文件內容進行排序。-s表示穩定排序，可讓sort不在關鍵詞相同的時候再比較一整行（通常是要關鍵詞相同的時候，才比較一整行），-u刪除重複項，-m合併全部文件。

      這裏，只是對腳本中幾個重要的命令的一些簡要說明。其實，這幾個命令有更增強大的用法。後續慢慢體會吧。