linux下使用split 來分割大文件

linux下使用split 來分割大文件  

2010-07-27 15:46:27|  分類： 技術文稿 |  標籤：split  分割  linux   |字號 訂閱

 

     日常都是使用ssh來進行遠程操做和傳輸文件 ， 這個工具能夠很方便的實現咱們所須要的功能，一直使用正常，沒遇到什麼問題，今天由於須要傳一個412M的文件 ， 不管如何也傳不過來， 一直系統報錯。無奈之下GOOGLE了一下，發現能夠使用split命令來切割文件，以方便進行文件傳輸。

[root@localhost database]# ls  -lh gkdb.db
-r--r--r--    1 root     root         411M Jul 23 17:20 gkdb.db

將將這個276M文件分割成20M的小文件，文件分割操做以下：

[root@localhost database]# split  -b  20m  gkdb.db   gkdb_pack_

split 是命今。

-B  20M  是指將每一個分卷文件最大20M 。

gkdb.db   須要分割的文件。

gkdb_pack_  是指分割後的文件開頭， 分割後後的文件名通常爲   gkdb_pack_aa、gkdb_pack_ab、gkdb_pack_ac依次類推。

 顯示分割後的文件名及大小

[root@localhost database]# ll -lh  gkdb_pack_a*
-rw-r--r--    1 root     root          20M Jul 27 16:09 gkdb_pack_aa
-rw-r--r--    1 root     root          20M Jul 27 16:09 gkdb_pack_ab
-rw-r--r--    1 root     root          20M Jul 27 16:09 gkdb_pack_ac
-rw-r--r--    1 root     root          20M Jul 27 16:09 gkdb_pack_ad
-rw-r--r--    1 root     root          20M Jul 27 16:09 gkdb_pack_ae
-rw-r--r--    1 root     root          20M Jul 27 16:09 gkdb_pack_af
-rw-r--r--    1 root     root          20M Jul 27 16:09 gkdb_pack_ag
-rw-r--r--    1 root     root          20M Jul 27 16:09 gkdb_pack_ah
-rw-r--r--    1 root     root          20M Jul 27 16:09 gkdb_pack_ai
-rw-r--r--    1 root     root          20M Jul 27 16:09 gkdb_pack_aj
-rw-r--r--    1 root     root          20M Jul 27 16:09 gkdb_pack_ak
-rw-r--r--    1 root     root          20M Jul 27 16:09 gkdb_pack_al
-rw-r--r--    1 root     root          20M Jul 27 16:09 gkdb_pack_am
-rw-r--r--    1 root     root          20M Jul 27 16:09 gkdb_pack_an
-rw-r--r--    1 root     root          20M Jul 27 16:09 gkdb_pack_ao
-rw-r--r--    1 root     root          20M Jul 27 16:10 gkdb_pack_ap
-rw-r--r--    1 root     root          20M Jul 27 16:10 gkdb_pack_aq
-rw-r--r--    1 root     root          20M Jul 27 16:10 gkdb_pack_ar
-rw-r--r--    1 root     root          20M Jul 27 16:10 gkdb_pack_as
-rw-r--r--    1 root     root          20M Jul 27 16:10 gkdb_pack_at
-rw-r--r--    1 root     root          11M Jul 27 16:10 gkdb_pack_au

最下面的那個文件是剩餘的文件。  20*20+11=411MB

合併文件

[root@localhost database]# cat  gkdb_pack_*>gkdb.tar.gz

 

組裝前和組裝後的MD5值都是同樣的，不信的話能夠使用md5sum命令來檢測一下。

 

若是要分割的是一個文本文件，好比有好幾千行，固然每行的字符數是不等的，想要以行數爲分割，好比每100行生成1個文件，只須要 -l 參數，以下： [root@pps public_rw]# split -l 100 test.txt 其實，若是不加任何參數，默認狀況下是以1000行大小來分割的。