Linux快速複製或刪除大量小文件

前言

公司須要輸送給網安部一批數據集,共計1550w張圖片，大約3,5T。 處理過程當中同時參考網上的一些方法的實踐總結。

1:快速大量小文件複製

a. 本機不一樣磁盤之間複製:

• 複製目錄

  $  tar cvf – /home/src_dir | tar xvf – -C /opt

• 複製文件

  $ tar cf – access.log |tar xf – -C /opt

Tips:快速tar打包的一些小技巧以及經常使用的tar使用

• tar 快速打包(僅打包不壓縮傳輸,耗時比較短)

  1. step1:從文件中生成文件列表

     $ find . -name '*.jpg' -print > jpg.txt
     **** 匹配多個後綴格式
     $ find . -regex '.*\.png\|.*\.jpeg\|.*\.jpg' -print >jpg.txt

  2. 若生成的文件列表比較大，能夠藉助split拆分紅小文件進行並行打包. 若文件數較小，可忽略此步驟。

     #將 文件 jpg.txt 分紅若干個小文件，每一個文件500000行(-l 500000)，文件前綴爲xiu_ ，係數不是字母而是 數字（-d），後綴係數爲四位數（-a 4）
     $ split -l 500000 ../ jpg.txt -d -a 4 xiu_

  3. step2: tar怎麼從文件中讀取文件列表呢？查了好久，用 -T

     -T, --files-from F
       get names to extract or create from file F

     tips: 注意這裏不要加 -v參數啦，對於大量文件，控制檯輸出是很浪費時間的...

     $ tar -czf jpg.tar.gz -T yourfile  
     **** 不壓縮的話，能夠直接打包, 比較快。
     $ tar -cf jpg.tar.gz -T yourfile

• tar 經常使用的一些命令

  • 解包

    $ tar xvf FileName.tar 
     ## 或者 不輸出文件，比較快
     $ tar xf FileName.tar

  • 不解包查看打包內容

    $ tar  tvf FileName.tar

  • 不解包統計打包內容文件數以及文件夾

    ### 統計文件數
    $ tar  tvf FileName.tar |grep "^-"|wc -l
    ### 統計文件加
    $ tar  tvf FileName.tar |grep "^d"|wc -l

b. 跨網絡不一樣主機之間複製 tar+nc:

思路：在網絡環境中傳輸時，打包再結合nc命令，經過管道和tcp端口進行傳輸。
好比 A往B主機傳輸數據

i. 在機器B上，用nc來監聽一個端口，任意都行，只要不被佔用；而且將收到的數據用tar展開。-l表明監聽模式。

$ nc -l 34183 |tar -C /data1datasets/norm/ -zxf -

ii. 接着，在A上經過nc和 tar發送data_01目錄。使用一致的34183的端口。

$ tar -zcvf - data_01 |nc 192.168.0.1 34183

2:快速刪除大量小文件 或者 大文件

2.1: 快速刪除大量小文件

rsync提供了一些跟刪除相關的參數 
rsync --help | grep delete 
     --del                   an alias for --delete-during 
     --delete                delete files that don't exist on the sending side 
     --delete-before         receiver deletes before transfer (default) 
     --delete-during         receiver deletes during transfer, not before 
     --delete-after          receiver deletes after transfer, not before 
     --delete-excluded       also delete excluded files on the receiving side 
     --ignore-errors         delete even if there are I/O errors 
     --max-delete=NUM        don't delete more than NUM files 
其中--delete-before    接收者在傳輸以前進行刪除操做

能夠用來清空目錄或文件，以下：

1. 創建一個空目錄
        mkdir -p /del_blank
    2. 確立須要清空的目標目錄
        /del_data
    3. 使用rsync同步刪除（注意目錄後面的「/」），總體效率會快一個數量級的樣子。
        rsync --delete-before -a -H -v --progress --stats /del_blank/  /del_data/
    選項說明：
    –delete-before 接收者在傳輸以前進行刪除操做
    –progress 在傳輸時顯示傳輸過程
    -a 歸檔模式，表示以遞歸方式傳輸文件，並保持全部文件屬性
    -H 保持硬鏈接的文件
    -v 詳細輸出模式
    -stats 給出某些文件的傳輸狀態 
 
    通常咱們不須要顯示進度，使用如下命令便可
        rsync --delete-before -a -H /del_blank/ /del_data/
　　這樣咱們要刪除的 del_data目錄就會被清空了

2.2: 快速刪除大文件

如何刪除特別大的文件（數量級），好比nohup.out這樣的實時更新的文件，動輒都是幾十個G上百G的，也可
以用rsync來清空大文件，並且效率比較高 。

一、建立空文件 
touch /data/blank.txt 
二、用rsync清空文件 
rsync -a --delete-before --progress --stats /data/blank.txt ./nohup.out 
building file list ... 
1 file to consider 
blank.txt 
           0 100%    0.00kB/s    0:00:00 (xfer#1, to-check=0/1) 
Number of files: 1 
Number of files transferred: 1 
Total file size: 0 bytes 
Total transferred file size: 0 bytes 
Literal data: 0 bytes 
Matched data: 0 bytes 
File list size: 27 
File list generation time: 0.006 seconds 
File list transfer time: 0.000 seconds 
Total bytes sent: 73 
Total bytes received: 31 
sent 73 bytes  received 31 bytes  208.00 bytes/sec 
total size is 0  speedup is 0.00

** tips：

當SRC和DEST文件性質不一致時將會報錯 
 當SRC和DEST性質都爲文件【f】時，意思是清空文件內容而不是刪除文件 
 當SRC和DEST性質都爲目錄【d】時，意思是刪除該目錄下的全部文件，使其變爲空目錄 
 最重要的是，它的處理速度至關快，處理幾個G的文件也就是秒級的事 
 最核心的內容是：rsync實際上用的就是替換原理

參考連接：

• https://blog.csdn.net/xiaoyi2...
• https://www.cnblogs.com/tryin...
• http://www.voidcn.com/article...