Python使用struct處理二進制

1.基本知識

1.1格式處理

   有的時候須要用python處理二進制數據，好比，存取文件，socket操做時.這時候，可使用python的struct模塊來完成.能夠用 struct來處理c語言中的結構體.struct模塊中最重要的三個函數是pack(), unpack(), calcsize()

pack(fmt, v1, v2, ...)    按照給定的格式(fmt)，把數據封裝成字符串(其實是相似於c結構體的字節流)
unpack(fmt, string)       按照給定的格式(fmt)解析字節流string，返回解析出來的tuple
calcsize(fmt)             計算給定的格式(fmt)佔用多少字節的內存

struct中支持的格式以下表：

Format	C Type	Python	字節數
x	pad byte	no value	1
c	char	string of length 1	1
b	signed char	integer	1
B	unsigned char	integer	1
?	_Bool	bool	1
h	short	integer	2
H	unsigned short	integer	2
i	int	integer	4
I	unsigned int	integer or long	4
l	long	integer	4
L	unsigned long	long	4
q	long long	long	8
Q	unsigned long long	long	8
f	float	float	4
d	double	float	8
s	char[]	string	1
p	char[]	string	1
P	void *	long

注1.q和Q只在機器支持64位操做時有意義

注2.每一個格式前能夠有一個數字，表示個數

注3.s格式表示必定長度的字符串，4s表示長度爲4的字符串，可是p表示的是pascal字符串

注4.P用來轉換一個指針，其長度和機器字長相關

注5.最後一個能夠用來表示指針類型的，佔4個字節

1.2對齊處理

   爲了同c中的結構體交換數據，還要考慮有的c或c++編譯器使用了字節對齊，一般是以4個字節爲單位的32位系統，故而struct根據本地機器字節順序轉換.能夠用格式中的第一個字符來改變對齊方式.定義以下：

Character	Byte order	Size and alignment
@	native	native            湊夠4個字節
=	native	standard        按原字節數
<	little-endian	standard        按原字節數
>	big-endian	standard       按原字節數
!	network (= big-endian)	standard       按原字節數

使用方法是放在fmt的第一個位置，就像'@5s6sif'

2.使用舉例

2.1 例一

好比有一個結構體
struct Header
{
    unsigned short id;
    char[4] tag;
    unsigned int version;
    unsigned int count;
}
    
#經過socket.recv接收到了一個上面的結構體數據，存在字符串s中，如今須要把它解析出來，可使用unpack()函數.
import struct
id, tag, version, count = struct.unpack("!H4s2I", s)

#上面的格式字符串中，!表示咱們要使用網絡字節順序解析，由於咱們的數據是從網絡中接收到的，在網絡上傳送的時候它是#網絡字節順序的.後面的H表示 一個unsigned short的id,4s表示4字節長的字符串，2I表示有兩個unsigned int類型的數據.


#就經過一個unpack，如今id, tag, version, count裏已經保存好咱們的信息了.
#一樣，也能夠很方便的把本地數據再pack成struct格式.
ss = struct.pack("!H4s2I", id, tag, version, count);
pack函數就把id, tag, version, count按照指定的格式轉換成告終構體Header，ss如今是一個字符串(其實是相似於c結構體的字節流)，能夠經過 socket.send(ss)把這個字符串發送出去.

2.2 例二

import struct
a=12.34
#將a變爲二進制
bytes=struct.pack('i',a)
此時bytes就是一個string字符串，字符串按字節同a的二進制存儲內容相同。

再進行反操做
現有二進制數據bytes，（其實就是字符串），將它反過來轉換成python的數據類型：
a,=struct.unpack('i',bytes)
注意，unpack返回的是tuple
因此若是隻有一個變量的話：
bytes=struct.pack('i',a)
那麼，解碼的時候須要這樣
a,=struct.unpack('i',bytes) 或者 (a,)=struct.unpack('i',bytes)
若是直接用a=struct.unpack('i',bytes)，那麼 a=(12.34,) ，是一個tuple而不是原來的浮點數了。

若是是由多個數據構成的，能夠這樣：
a='hello'
b='world!'
c=2
d=45.123
bytes=struct.pack('5s6sif',a,b,c,d)
此時的bytes就是二進制形式的數據了，能夠直接寫入文件好比 binfile.write(bytes)
而後，當咱們須要時能夠再讀出來，bytes=binfile.read()
再經過struct.unpack()解碼成python變量
a,b,c,d=struct.unpack('5s6sif',bytes)
'5s6sif'這個叫作fmt，就是格式化字符串，由數字加字符構成，5s表示佔5個字符的字符串，2i，表示2個整數等等，下面是可用的字符及類型，ctype表示能夠與python中的類型一一對應。

3.二進制文件處理時會碰到的問題

咱們使用處理二進制文件時，須要用以下方法

binfile=open(filepath,'rb')    讀二進制文件
binfile=open(filepath,'wb')    寫二進制文件

那麼和binfile=open(filepath,'r')的結果到底有何不一樣呢？

1. 當用'r'文本方式讀取時，又自動的轉換成原來的換行符。若是換成'wb'二進制方式來寫的話，則會保持一個字符不變，讀取時也是原樣讀取。因此若是用文本方式寫入，用二進制方式讀取的話，就要考慮這多出的一個字節了。'0X0D'又稱回車符。linux下不會變。由於linux只使用'0X0A'來表示換行

2. 對於字符串x='abc\ndef'，咱們可用len(x)獲得它的長度爲7，\n咱們稱之爲換行符，其實是'0X0A'。當咱們用'w'即文本方式寫的時候，在windows平臺上會自動將'0X0A'變成兩個字符'0X0D'，'0X0A'，即文件長度實際上變成8.