【C#】C#中使用GDAL3（二）：Windows下讀寫Shape文件及超詳細解決中文亂碼問題

時間 2021-07-29

標籤 html python 數組函數測試編碼 spa 操作系統 .net 插件欄目 C# 简体版

原文原文鏈接

　　轉載請註明原文地址：https://www.cnblogs.com/litou/p/15035790.htmlhtml

　　本文爲《C#中使用GDAL3》的第二篇，總目錄地址：http://www.javashuo.com/article/p-mkcyvchv-wr.htmlpython

本目錄

1、介紹

2、讀寫數據內容

3、中文亂碼問題

3.一、數據路徑或數據文件名含中文時打開失敗

3.二、讀取中文字符串顯示亂碼

3.三、函數傳入中文字符串參數報錯

　　1、介紹數組

　　Shape文件是ESRI公司開發的一種空間數據開放格式，全稱是ESRI Shapefile，該文件格式是由多個文件組成的，表示同一數據的一組文件的文件名必須相同。函數

　　要組成一份Shapefile，有三個文件是必不可少的，它們分別是shp、shx和dbf文件。組成以下：測試

必須文件	.shp	主文件，記錄要素幾何實體
	.shx	索引文件，記錄每個幾何體在shp文件之中的位置
	.dbf	數據文件，以dBase IV的數據表格式存儲每一個幾何形狀的屬性數據
可選文件	.prj	投影文件，保存地理座標系統與投影信息
可選文件	.sbx .sbn	其餘文件

　　2、讀寫數據內容編碼

　　GDAL庫內置支持讀寫ESRI Shapefile文件，無需其餘插件支持。spa

　　示例Shapefile文件以下，存放在"C:\shp數據"下，圖層名稱爲"測試面"，類型爲面，自定義字段有"Id"、"名稱"和"大小"，有兩條記錄。操作系統

　　以VS2015爲例，修改自上一篇《C#中使用GDAL3（一）：Windows下超詳細編譯C#版GDAL3.3.0（VS2015+.NET 4+32位/64位）》中第九部分"C#調用測試"的Demo程序。.net

　　因爲Shapefile文件屬於矢量數據，因此只需註冊OGR驅動。插件

　　一、打開數據

　　調用Ogr.Open打開數據獲取DataSource。這裏有兩種打開方法：

　　1）打開shp文件，即Ogr.Open的第一個參數是shp文件的路徑，打開後獲得的DataSource裏面只含shp文件自己的一份數據。

　　2）打開shp文件所在目錄，即Ogr.Open的第一個參數是shp文件所在目錄的路徑，打開後獲得的DataSource裏面包含該目錄下全部shp文件數據。

　　另外，Open的第二個參數爲打開方式，值0表示以只讀方式打開，值1表示以讀寫方式打開。

　　二、獲取圖層對象和圖層名稱

　　調用DataSource.GetLayerByXXXXX獲取圖層對象，這裏調用的是GetLayerByIndex，再調用Layer.GetName獲取圖層名稱。

　　三、獲取要素定義、字段定義和字段名稱

　　調用Layer.GetLayerDefn獲取要素定義，而後調用FeatureDefn.GetFieldDefn獲取字段定義，再調用FieldDefn.GetName獲取字段名稱。

　　四、遍歷要素記錄

　　循環調用Layer.GetNextFeature獲取每一條要素記錄，直到獲取的要素記錄爲null則循環結束。如須要重頭開始遍歷，須要調用Layer.ResetReading重置爲開頭位置。

　　五、讀取要素字段值

　　調用Feature.GetFieldAsXXXXX獲取要素字段值，這裏調用的是GetFieldAsInteger、GetFieldAsString和GetFieldAsDouble的傳入字段索引值的方法。

　　六、設置要素字段值

　　調用Feature.SetField寫入要素字段值。

　　七、更新要素

　　調用Layer.SetFeature使要素修改生效。

using OSGeo.OGR;
using System;

namespace GdalDemo
{
    class Program
    {
        static void Main(string[] args)
        {
            Ogr.RegisterAll();

            ReadShapeFile();

            Console.ReadKey();
        }

        static void ReadShapeFile()
        {
            //打開數據
            string path = @"C:\shp數據";
            DataSource ds = Ogr.Open(path, 1);  //以可寫方式打開
            int lCount = ds.GetLayerCount();
            for (int i = 0; i < lCount; i++)
            {
                //讀取圖層信息
                Layer layer = ds.GetLayerByIndex(i);
                string layerName = layer.GetName();
                Console.WriteLine(String.Format("圖層名：{0}", layerName));

                //讀取字段信息
                FeatureDefn featureDefn = layer.GetLayerDefn();
                int fCount = featureDefn.GetFieldCount();
                for (int j = 0; j < fCount; j++)
                {
                    FieldDefn fieldDefn = featureDefn.GetFieldDefn(j);
                    string fieldName = fieldDefn.GetName();
                    Console.WriteLine(String.Format("字段名：{0}", fieldName));
                }

                //遍歷要素
                Feature feature;
                while ((feature = layer.GetNextFeature()) != null)
                {
                    //讀取要素信息
                    int id = feature.GetFieldAsInteger(0);
                    Console.WriteLine(String.Format("字段值-id：{0}", id));
                    string name = feature.GetFieldAsString(1);
                    Console.WriteLine(String.Format("字段值-名稱：{0}", name));
                    double size = feature.GetFieldAsDouble(2);
                    Console.WriteLine(String.Format("字段值-大小：{0}", size));

                    //設置要素信息
                    feature.SetField(0, id + 1);
                    feature.SetField(1, name + "加");
                    feature.SetField(2, size + 10.12);

                    //更新要素
                    layer.SetFeature(feature);

                    //讀取修改後要素信息
                    Console.WriteLine(String.Format("字段值-修改後-id：{0}", feature.GetFieldAsInteger(0)));
                    Console.WriteLine(String.Format("字段值-修改後-名稱：{0}", feature.GetFieldAsString(1)));
                    Console.WriteLine(String.Format("字段值-修改後-大小：{0}", feature.GetFieldAsDouble(2)));

                    //用字段名讀取字段值
                    Console.WriteLine(String.Format("字段值-字段名值-id：{0}", feature.GetFieldAsInteger("id")));
                    try
                    {
                        Console.WriteLine(String.Format("字段值-字段名值-名稱：{0}", feature.GetFieldAsString("名稱")));
                    }
                    catch { }
                }
            }
        }
    }
}

　　運行結果以下：

　　1）數據讀取正常

　　2）中文圖層名稱和字段名稱均顯示爲亂碼

　　3）讀取字段值並顯示中文內容正常

　　4）寫入中文內容到字段正常

　　5）使用中文字段名獲取字段值報錯

　　3、中文亂碼問題

　　要解決亂碼問題，首先要理解爲何會出現亂碼。根據GDAL的文檔資料顯示(https://gdal.org/development/rfc/rfc5_unicode.html)，GDAL內部字符串使用UTF8編碼，也就是說輸入和輸出的字符串均爲UTF8編碼，而咱們使用的操做系統大部分都是簡體中文版的Windows，其默認的字符串編碼是GB2312（可經過C#下的System.Text.Encoding.Default.EncodingName獲得），若是不作編碼轉換直接顯示的話就會出現亂碼問題。

　　3.一、數據路徑或數據文件名含中文時打開失敗

　　該狀況在GDAL 3.3.0的C#接口中是不存在的。以Ogr庫爲例，在Ogr.cs中能夠找到Open方法，其方法內經過Ogr.StringToUtf8Bytes函數處理，把傳入的路徑字符串轉化爲UTF8編碼的字節數組，再傳入內部的Open方法，因此在調用Ogr.Open方法時，無需對傳入的路徑字符串進行編碼處理，也能正常使用。

　　另外在GDAL內部，參數GDAL_FILENAME_IS_UTF8的默認值是YES，因此無需顯式重複設置爲YES也能正常讀取，設置爲NO反而致使讀取失敗。

//Ogr.cs
public static DataSource Open(string utf8_path, int update)
{
    IntPtr cPtr = OgrPINVOKE.Open(Ogr.StringToUtf8Bytes(utf8_path), update);
    DataSource ret = (cPtr == IntPtr.Zero) ? null : new DataSource(cPtr, true, ThisOwn_true());
    if (OgrPINVOKE.SWIGPendingException.Pending) throw OgrPINVOKE.SWIGPendingException.Retrieve();
    return ret;
}

internal static byte[] StringToUtf8Bytes(string str)
{
    if (str == null)
        return null;

    int bytecount = System.Text.Encoding.UTF8.GetMaxByteCount(str.Length);
    byte[] bytes = new byte[bytecount + 1];
    System.Text.Encoding.UTF8.GetBytes(str, 0, str.Length, bytes, 0);
    return bytes;
}

　　3.二、讀取中文字符串顯示亂碼

　　一樣是讀取字符串，讀取中文圖層名稱和字段名稱顯示亂碼，而讀取中文字段值則正常。

//Layer.cs
public string GetName()
{
    string ret = OgrPINVOKE.Layer_GetName(swigCPtr);
    if (OgrPINVOKE.SWIGPendingException.Pending) throw OgrPINVOKE.SWIGPendingException.Retrieve();
    return ret;
}

//FieldDefn.cs
public string GetName()
{
    string ret = OgrPINVOKE.FieldDefn_GetName(swigCPtr);
    if (OgrPINVOKE.SWIGPendingException.Pending) throw OgrPINVOKE.SWIGPendingException.Retrieve();
    return ret;
}

//Feature.cs
public string GetFieldAsString(int id)
{
    IntPtr cPtr = OgrPINVOKE.Feature_GetFieldAsString__SWIG_0(swigCPtr, id);
    string ret = Ogr.Utf8BytesToString(cPtr);

    if (OgrPINVOKE.SWIGPendingException.Pending) throw OgrPINVOKE.SWIGPendingException.Retrieve();
    return ret;
}

//Ogr.cs
internal unsafe static string Utf8BytesToString(IntPtr pNativeData)
{
    if (pNativeData == IntPtr.Zero)
        return null;

    byte* pStringUtf8 = (byte*)pNativeData;
    int len = 0;
    while (pStringUtf8[len] != 0) len++;
    return System.Text.Encoding.UTF8.GetString(pStringUtf8, len);
}

　　對比GetName和GetFieldAsString兩個函數能夠很明顯看出來，GetFieldAsString經過調用Ogr.Utf8BytesToString將返回的UTF8編碼的字節數組以UTF8方式解碼爲字符串，因此可以正常顯示；而GetName則直接返回字符串（實際上編譯器隱性調用了System.Text.Encoding.Default.GetString解碼爲字符串），因爲沒有使用UTF8解碼致使顯示爲亂碼。

　　不完美處理方法1：在C#中將亂碼字符串還原爲字節數組並從新以UTF8方式解碼字符串。

　　具體方法爲，將亂碼的字符串先經過System.Text.Encoding.Default.GetBytes轉換回亂碼狀態前的字節數組，再調用System.Text.Encoding.UTF8.GetString以UTF8的方式解碼爲系統識別的字符串。

　　該方法處理偶數箇中文字符時能夠正常還原，但處理奇數箇中文字符時最後一箇中文字符還原失敗。測試代碼以下：

using System;
using System.Text;

namespace Demo
{
    class Program
    {
        static void Main(string[] args)
        {
            string sOdd = "測試";
            Console.WriteLine("原字符串：" + sOdd);
            string sOddUtf8 = Encoding.Default.GetString(Encoding.UTF8.GetBytes(sOdd));
            Console.WriteLine("UTF8字符串：" + sOddUtf8);
            string sOddURestore = Encoding.UTF8.GetString(Encoding.Default.GetBytes(sOddUtf8));
            Console.WriteLine("還原字符串：" + sOddURestore);

            Console.WriteLine();

            string sEven = "測試面";
            Console.WriteLine("原字符串：" + sEven);
            string sEvenUtf8 = Encoding.Default.GetString(Encoding.UTF8.GetBytes(sEven));
            Console.WriteLine("UTF8字符串：" + sEvenUtf8);
            string sEvenURestore = Encoding.UTF8.GetString(Encoding.Default.GetBytes(sEvenUtf8));
            Console.WriteLine("還原字符串：" + sEvenURestore);

            Console.ReadKey();
        }
    }
}

　　結果以下，"測試"能夠正常還原，而"測試面"最後一個字還原失敗。其緣由是編碼轉換的問題，與平臺無關，具體可參考該文章（https://blog.csdn.net/yuwenruli/article/details/6911401）。

　　要解決字符串亂碼問題，只須要將原始UTF8編碼的字節數組正確的使用UTF8解碼便可。

　　前面提到GDAL中返回亂碼字符串的函數（如GetName）已經把UTF8編碼的字節數組返回爲錯誤編碼的字符串，且沒法還原爲完整的UTF8編碼的字節數組，只能從源頭開始處理。

　　解決方法2：在GDAL的C#源碼中修正返回亂碼字符串的函數。

　　以Layer.GetName爲例，修改OgrPINVOKE.cs裏面SWIGStringHelper的CreateString函數說明，並增長UTF8編碼處理。（如沒有找到.cs源碼文件，執行一次nmake -f makefile.vc interface便可生成）

//OgrPINVOKE.cs
//修改前
protected class SWIGStringHelper
{
    public delegate string SWIGStringDelegate(string message);
    static SWIGStringDelegate stringDelegate = new SWIGStringDelegate(CreateString);

    [global::System.Runtime.InteropServices.DllImport("ogr_wrap", EntryPoint = "SWIGRegisterStringCallback_Ogr")]
    public extern static void SWIGRegisterStringCallback_Ogr(SWIGStringDelegate stringDelegate);

    static string CreateString(string cString)
    {
        return cString;
    }

    static SWIGStringHelper()
    {
        SWIGRegisterStringCallback_Ogr(stringDelegate);
    }
}

//修改後
protected class SWIGStringHelper
{
    public delegate string SWIGStringDelegate(IntPtr ptr);  //委託類型改成IntPtr
    static SWIGStringDelegate stringDelegate = new SWIGStringDelegate(CreateString);

    [global::System.Runtime.InteropServices.DllImport("ogr_wrap", EntryPoint = "SWIGRegisterStringCallback_Ogr")]
    public extern static void SWIGRegisterStringCallback_Ogr(SWIGStringDelegate stringDelegate);

    static string CreateString(IntPtr ptr)
    {
        return Ogr.Utf8BytesToString(ptr);  //返回UTF8解碼的字符串
    }

    static SWIGStringHelper()
    {
        SWIGRegisterStringCallback_Ogr(stringDelegate);
    }
}

　　修改完畢後，從新執行nmake -f makefile.vc和nmake -f makefile.vc install，將新生成的ogr_csharp.dll替換原來引入到C#項目中的文件並從新運行，發現圖層名已經可以正常顯示外，且字段名也一樣正常顯示了。

　　注：其餘類庫也須要一樣修改，修改內容彙總以下：

OgrPINVOKE.cs -> Ogr.Utf8BytesToString
GdalPINVOKE.cs -> Gdal.Utf8BytesToString
OsrPINVOKE.cs -> Osr.Utf8BytesToString
GdalConst.cs 補充Utf8BytesToString函數
GdalConstPINVOKE.cs -> GdalConst.Utf8BytesToString

　　修改原理可參考下圖：

　　1）在Feature.GetFieldAsString方法的調用鏈中，用IntPtr表示C++返回的字符指針（橙色部分），而後將其用UTF8解碼爲字符串。

　　2）在Layer.GetName方法的調用鏈中，C++將獲得的字符指針回調至C#端處理（橙色部分），處理後的字符串回到C++中繼續流轉，最後返回到C#中。而回調的C#部分直接把字符指針返回爲字符串，編譯器隱性調用了System.Text.Encoding.Default.GetString解碼爲字符串，故後面獲得的字符串都是解碼錯誤的。

　　因此Layer.GetName解決亂碼的思路有兩種：

　　1）在SWIGStringHelper.CreateString處用UTF8解碼字符串，也就是本解決方法。且除Layer.GetName以外，其餘返回字符串的函數均調用了相同的回調函數，故其餘返回亂碼字符串的問題也一併解決了（如FieldDefn.GetName等）。

　　2）跳過ogr_wrap的全部包裝函數（包括C#回調），直接調用gdal的函數獲取，所以引伸出下面的解決方法。

　　解決方法3：在C#中調用GDAL接口獲取內容。

　　以Layer.GetName爲例，在C#中增長調用gdal303.dll的OGR_L_GetName接口，並使用UTF8編碼處理。FieldDefn.GetName須要調用OGR_Fld_GetNameRef接口（接口名稱可查閱https://gdal.org/python）。

static string Utf8BytesToString(IntPtr ptr)
{
    if (ptr == IntPtr.Zero)
        return null;

    MemoryStream ms = new MemoryStream();
    byte b;
    int ofs = 0;
    while ((b = Marshal.ReadByte(ptr, ofs++)) != 0)
    {
        ms.WriteByte(b);
    }
    return Encoding.UTF8.GetString(ms.ToArray());
}

//Layer.GetName
[DllImport("gdal303.dll", EntryPoint = "OGR_L_GetName", CallingConvention = CallingConvention.Cdecl)]
static extern IntPtr OGR_L_GetName(HandleRef handle);
static string GetLayerName(Layer layer)
{
    HandleRef handle = Layer.getCPtr(layer);
    IntPtr ptr = OGR_L_GetName(handle);
    return Utf8BytesToString(ptr);
}

//FieldDefn.GetName
[DllImport("gdal303.dll", EntryPoint = "OGR_Fld_GetNameRef", CallingConvention = CallingConvention.Cdecl)]
static extern IntPtr OGR_Fld_GetNameRef(HandleRef handle);
static string GetFieldDfnName(FieldDefn fieldDefn)
{
    HandleRef handle = FieldDefn.getCPtr(fieldDefn);
    IntPtr ptr = OGR_Fld_GetNameRef(handle);
    return Utf8BytesToString(ptr);
}

　　運行結果以下，圖層名和字段名已經正常顯示。

　　3.三、函數傳入中文字符串參數報錯

　　以Feature.GetFieldAsString(string field_name)爲例，前面已經過枚舉的方式列出全部字段名稱且包含字段名"名稱"，但調用Feature.GetFieldAsString方法並傳入"名稱"做爲參數時，卻報錯Invalid field name。

　　參考其方法的調用鏈，C#中傳入的字符串參數直接傳遞爲C++的字符指針，編譯器隱性調用了System.Text.Encoding.Default.GetBytes將傳入的字符串編碼爲GB2312字節數組，故GDAL沒法識別致使報錯。

　　解決方法：把傳入的字符串作編碼處理。

　　根據上面的分析結果逆向處理，先把字符串用UTF8編碼爲字節數據，再用Default編碼爲字符串，把結果傳入函數便可。

static string Utf8String(string s)
{
    if (!String.IsNullOrEmpty(s))
        return Encoding.Default.GetString(Encoding.UTF8.GetBytes(s));
    return s;
}

　　運行結果以下，已經能夠識別中文字符串調用參數了。