使用CoreML 圖片識別

CoreML 是 Apple 今年 WWDC 新推出面向開發者的機器學習框架。

 

Apple 對於 Core ML 的介紹：

CoreML 讓你將不少機器學習模型集成到你的app中。除了支持層數超過30層的深度學習以外，還支持決策樹的融合，SVM（支持向量機），線性模型。因爲其底層創建在Metal 和Accelerate等技術上，因此能夠最大限度的發揮 CPU 和 GPU 的優點。你能夠在移動設備上運行機器學習模型，數據能夠不離開設備直接被分析。

Core ML 讓全部的機器學習計算都在iOS設備本地進行,這一點依舊體現出蘋果對用戶隱私很看重.用蘋果的一張圖來看看 CoreML 的底層框架

圖2

• vision：高性能的圖像分析和圖像識別。這部分應用於人臉追蹤,人臉識別,文本識別,區域識別，二維碼識別,物體追蹤,圖像識別等。

• Nattural Language processing：天然語言處理。用於語言識別，分詞，詞性還原，詞性斷定等。

• GamePlayKit：遊戲製做,構建遊戲。用於常見的遊戲行爲如隨機數生成、人工智能、尋路、和代理行爲。

Core ML 的底層是 Accelerate and BNNS 和 Metal Performance Shaders,框架集成了神經網絡,而且內核優化了圖形計算和大規模計算,讓App充分使用GPU組件。

接下來咱們來體驗一下 CoreML,Apple 提供了一些常見的開源模型供你們使用，並且這些模型已經使用了 Core ML 模型格式。您能夠自行下載這些模型，而後就能夠開始在應用中使用它們了。你也可使用其餘第三方機器學習工具來建立和訓練模型,將你本身建立的模型使用Core ML Tools 轉換成 Core ML 就能夠了。

這裏下載 Apple 提供的 Inception v3 Model,(網址:https://developer.apple.com/machine-learning/).以下圖,點擊下載.

將下載好的 Model 加入到項目工程中,以下圖

 

從上圖能夠看到 CoreML Model 分紅三部分,第一部分算是基本的描述,第二部分 ModelClass 是對應 Model 生成的 Source 點擊 Inception 末尾的小箭頭進入Inception.h 文件 能夠看到對應 Model的類和方法如圖：

一共生成了三個類分別是Inceptionv3，Inceptionv3Input，Inceptionv3Output

具體核心識別代碼:

//分析照片

- (void)parsePhotoFromUIImage:(UIImage*)image

{

    if (SYSTEM_VERSION < 11.0) {

        [SVProgressHUD showErrorWithStatus:@"系統不支持,請更新最新系統"];

        return;

    }

    [SVProgressHUD showWithStatus:@"分析中..."];

    if (nil == _inceptionv3) {

        _inceptionv3 = [[Inceptionv3 alloc] init];

    }

    //耗時放子線程

    dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_LOW, 0), ^{

        //初始化

        VNCoreMLModel *vnCoreModel = [VNCoreMLModel modelForMLModel:_inceptionv3.model error:nil];

        VNCoreMLRequest *vnCoreMlRequest = [[VNCoreMLRequest alloc] initWithModel:vnCoreModel completionHandler:^(VNRequest * _Nonnull request, NSError * _Nullable error) {

            NSString* bestProduction = @""; //最佳預測結果

            float bestConfideence = 0; //匹配度

            for(VNClassificationObservation *classification in request.results)

            {

                if(classification.confidence > bestConfideence)

                {

                    bestConfideence = classification.confidence;

                    bestProduction = classification.identifier;

                }

            }

            dispatch_async(dispatch_get_main_queue(), ^{

                [SVProgressHUD dismiss];

     _resultLab.text = [NSString stringWithFormat:@"圖片是:%@\n識別率:%f", bestProduction,bestConfideence];

                CGSize size = [self getLabHeight:_resultLab];

                //判斷是否到底端

                if (size.height > _resultLab.frame.size.height) {

                    size.height = _resultLab.frame.size.height;

                }

                CGRect frame = _resultLab.frame;

                frame.size.height = size.height;

                _resultLab.frame = frame;

            });

        }];

        

        NSDictionary* dic = NSDictionary.dictionary;

        NSError* error = nil;

        VNImageRequestHandler *vnImageRequestHandler = [[VNImageRequestHandler alloc] initWithCGImage:image.CGImage options:dic];

        [vnImageRequestHandler performRequests:@[vnCoreMlRequest] error:&error];

        if (error) {

            NSLog(@"error ========= %@",error.localizedDescription);

        }

    })

}

這裏使用Vision庫中VNCoreMLModel , VNCoreMLRequest , VNImageRequestHandler

關鍵開始識別方法

[vnImageRequestHandler performRequests:@[vnCoreMlRequest] error:&error];

識別完成會回調vnCoreMlRequest 的completionHandler,其返回的結果是一個VNClassificationObservation數組,每個VNClassificationObservation都是一個識別的結果,咱們要從裏面選出匹配率最高的一個結果出來。具體的Vision庫使用能夠看看官方文檔：https://developer.apple.com/documentation/vision

VNClassificationObservation對象有兩個參數

• 1.confidence 識別率,值越高應該是越接近的

• 2.identifier 識別結果