斷定文件編碼或文本流編碼的方法

在程序中，文本文件常常用來存儲標準的ASCII碼文本，好比英文、加減乘除等號這些運算符號。文本文件也可能用於存儲一些其餘非ASCII字符，如基於GBK的簡體中文，基於GIG5的繁體中文等等。在存儲這些字符時須要正確指定文件的編碼格式；而在讀取這些文本文件時，有時候就須要自動斷定文件的編碼格式。 

  按照給定的字符集存儲文本文件時，在文件的最開頭的三個字節中就有可能存儲着編碼信息，因此，基本的原理就是隻要讀出文件前三個字節，斷定這些字節的值，就能夠得知其編碼的格式。其實，若是項目運行的平臺就是中文操做系統，若是這些文本文件在項目內產生，即開發人員能夠控制文本的編碼格式，只要斷定兩種常見的編碼就能夠了：GBK和UTF-8。因爲中文Windows默認的編碼是GBK，因此通常只要斷定UTF-8編碼格式。 

  對於UTF-8編碼格式的文本文件，其前3個字節的值就是-1七、-6九、-65，因此，斷定是不是UTF-8編碼格式的代碼片斷以下： 
 

Java代碼 

1. java.io.File f=new java.io.File("待斷定的文本文件名");  
2. try{  
3.   java.io.InputStream ios=new java.io.FileInputStream(f);  
4.   byte[] b=new byte[3];  
5.   ios.read(b);  
6.   ios.close();  
7.   if(b[0]==-17&&b[1]==-69&&b[2]==-65)  
8.      System.out.println(f.getName()+"編碼爲UTF-8");  
9.   else System.out.println(f.getName()+"多是GBK");  
10. }catch(Exception e){  
11.    e.printStackTrace();  
12. }  

上述代碼只是簡單斷定了是不是UTF-8格式編碼的文本文件，若是項目對要斷定的文本文件編碼不可控（好比用戶上傳的一些HTML、XML等文本），能夠採用一個現成的開源項目：cpdetector，它所在的網址是： http://cpdetector.sourceforge.net/ 。它的類庫很小，只有500K左右，利用該類庫斷定文本文件的代碼以下： 

Java代碼 

1. /*------------------------------------------------------------------------ 
2.   detector是探測器，它把探測任務交給具體的探測實現類的實例完成。 
3.   cpDetector內置了一些經常使用的探測實現類，這些探測實現類的實例能夠經過add方法 
4.   加進來，如ParsingDetector、 JChardetFacade、ASCIIDetector、UnicodeDetector。   
5.   detector按照「誰最早返回非空的探測結果，就以該結果爲準」的原則返回探測到的 
6.   字符集編碼。 
7. --------------------------------------------------------------------------*/  
8. cpdetector.io.CodepageDetectorProxy detector =  
9. cpdetector.io.CodepageDetectorProxy.getInstance();  
10. /*------------------------------------------------------------------------- 
11.   ParsingDetector可用於檢查HTML、XML等文件或字符流的編碼,構造方法中的參數用於 
12.   指示是否顯示探測過程的詳細信息，爲false不顯示。 
13. ---------------------------------------------------------------------------*/  
14. detector.add(new cpdetector.io.ParsingDetector(false));   
15. /*-------------------------------------------------------------------------- 
16.   JChardetFacade封裝了由Mozilla組織提供的JChardet，它能夠完成大多數文件的編碼 
17.   測定。因此，通常有了這個探測器就可知足大多數項目的要求，若是你還不放心，能夠 
18.   再多加幾個探測器，好比下面的ASCIIDetector、UnicodeDetector等。 
19.  ---------------------------------------------------------------------------*/   
20. detector.add(cpdetector.io.JChardetFacade.getInstance());  
21. //ASCIIDetector用於ASCII編碼測定  
22. detector.add(cpdetector.io.ASCIIDetector.getInstance());  
23. //UnicodeDetector用於Unicode家族編碼的測定  
24. detector.add(cpdetector.io.UnicodeDetector.getInstance());  
25. java.nio.charset.Charset charset = null;  
26. File f=new File("待測的文本文件名");  
27. try {  
28.       charset = detector.detectCodepage(f.toURL());  
29. } catch (Exception ex) {ex.printStackTrace();}  
30. if(charset!=null){  
31.      System.out.println(f.getName()+"編碼是："+charset.name());  
32. }else  
33.     System.out.println(f.getName()+"未知");  

上面代碼中的detector不只能夠用於探測文件的編碼，也能夠探測任意輸入的文本流的編碼，方法是調用其重載形式： 

Java代碼 

1. charset=detector.detectCodepage(待測的文本輸入流,測量該流所需的讀入字節數);  

上面的字節數由程序員指定，字節數越多，斷定越準確，固然時間也花得越長。要注意，字節數的指定不能超過文本流的最大長度。 

  斷定文件編碼的具體應用舉例： 
  屬性文件(.properties)是Java程序中的經常使用文本存儲方式，象STRUTS框架就是利用屬性文件存儲程序中的字符串資源。它的內容以下所示： 
 

Java代碼 

1. #註釋語句  
2. 屬性名=屬性值  

  讀入屬性文件的通常方法是： 
 

Java代碼 

1. FileInputStream ios=new FileInputStream("屬性文件名");  
2. Properties prop=new Properties();  
3. prop.load(ios);  
4. ios.close();  

  利用java.io.Properties的load方法讀入屬性文件雖然方便，但若是屬性文件中有中文，在讀入以後就會發現出現亂碼現象。發生這個緣由是load方法使用字節流讀入文本，在讀入後須要將字節流編碼成爲字符串，而它使用的編碼是「iso-8859-1」,這個字符集是ASCII碼字符集，不支持中文編碼，因此這時須要使用顯式的轉碼: 

Java代碼 

1. String value=prop.getProperty("屬性名");  
2. String encValue=new String(value.getBytes("iso-8859-1"),"屬性文件的實際編碼");  

  在上面的代碼中，屬性文件的實際編碼就能夠利用上面的方法得到。固然，象這種屬性文件是項目內部的，咱們能夠控制屬性文件的編碼格式，好比約定採用Windows內定的GBK，就直接利用"gbk"來轉碼，若是約定採用UTF-8，也能夠是使用"UTF-8"直接轉碼。若是想靈活一些，作到自動探測編碼，就可利用上面介紹的方法測定屬性文件的編碼，從而方便開發人員的工做。