Linux 數據分析經常使用 shell命令

.文件合併

  目錄下有成千上萬的小文件，需合併成大文件，直接cat 返回參數列表過長

  ls |xargs -t -I{} cat {} >> merge.txt

2.從文本中截取行特定內容

以「，」分隔，第二個field的內容

3.統計文件中單詞出現個數

4.文件求交

 

5.文件求並

6.文件求差集(A-B)

7.文件求對稱差(A-B)u(B-A)