【shell】刪除重複文件

#!/bin/bash 
#name:remove_one.sh
#用途：查找並刪除重複文件，每一個文件只保留一個樣本

#將文件依據大小排序並輸出
ls -lS | awk 'BEGIN {
#獲得第一行total總數並丟棄，讀取下一行
getline;getline;
name1=$9;size=$5;
}
{
name2=$9;
if(size==$5)
#大小同樣的多是內容相同的文件
{
#用md5進行校驗和
("md5sum "name1)|getline; csum1=$1;
("md5sum "name2)|getline; csum2=$1;
#若是校驗和相同則爲內容相同的文集，輸出名字
if( csum1==csum2 )
{
{print name1;print name2}
}
};
size=$5;name1=name2;
}' | sort -u > duplicate_files


#計算重複文件的md5sum，將重複文件中的一採樣寫入duplicate_sample中
cat duplicate_files|xargs -I {} md5sum {}| sort | uniq -w 32 | awk '{print $2}' | sort -u > duplicate_sample

echo Removing...

#刪除在duplicate_files中列出且未被duplicate_sample列出的所有文件
comm duplicate_files duplicate_sample -2 -3|tee /dev/stderr|xargs rm
echo Removed duplicates files successfully