linux刪除文件的前n行

需求描述:

　　今天看了一個系統的臨時文件,有5.6G的大小,這個文件也沒有用了,想要將大部分的文件都刪除掉.

　　在此記錄下刪除的過程.刪除前n行的記錄.

操做過程:

對於數據量比較大的狀況(本例5800萬行)

1.經過tail命令,將文件尾部的n行數據重定向到新的文件中

tail -n 30000 out.tmp > out.tmp.bak

2.而後刪除舊的文件,將新的文件修改成原名字

rm out.tmp
mv out.tmp.bak out.tmp

備註:這樣的話文件out.tmp尾部的30000行就保存下來,以前的行就刪除掉了.在個人測試環境中,out.tmp中的記錄大概5800萬+

 

對於數據比較少的狀況

1.查看文件中數據,肯定要刪除的數據

將第5行後面的都刪除掉,也是經過-n來重定向

2.tail -n +k來實現該功能

[root@testvm01 ~]# wc -l install.log
249 install.log
[root@testvm01 ~]# tail -n +5 install.log > install.log.tmp  #將第5行以後的內容重定向到另一個臨時文件中
[root@testvm01 ~]# rm -f install.log
[root@testvm01 ~]# mv install.log.tmp install.log
[root@testvm01 ~]# head install.log                          #第5行以前的都已經不在了,採用了另外的方法實現了刪除的功能.
Installing tzdata-2014g-1.el6.noarch
Installing basesystem-10.0-4.el6.noarch
Installing ncurses-base-5.7-3.20090208.el6.x86_64
Installing glibc-common-2.12-1.149.el6.x86_64
Installing nss-softokn-freebl-3.14.3-17.el6.x86_64
Installing glibc-2.12-1.149.el6.x86_64
Installing ncurses-libs-5.7-3.20090208.el6.x86_64
Installing bash-4.1.2-29.el6.x86_64
Installing libattr-2.4.44-7.el6.x86_64
Installing libcap-2.16-5.5.el6.x86_64
[root@testvm01 ~]# wc -l install.log
245 install.log

小結:一樣能夠利用head命令來刪除文件的尾部的n行.

 

在數據挖掘中咱們常常會增量更新訓練日誌，須要刪除前n行的過時數據，直接用sed命令比較慢：tail -n +3 old_file > new_file mv new_file old_file 這樣就刪除了前2行，速度要比sed命令快