玩轉Facebook的maskrcnn-benchmark項目 1

maskrcnn-benchmark是Facebook開源的基準（benchmark）算法工程，其中包含檢測、分割和人體關鍵點等算法。

目前，不少基於PyTorch框架的檢測、分割的SOTA算法，都是這個項目的改進。例如CVPR 2019 Oral Paper，Mask Scoring R-CNN。

工程：github.com/facebookres…

名稱：Faster R-CNN and Mask R-CNN in PyTorch 1.0

1. 如何使用pip環境配置工程；
2. 如何使用MacOS的CPU環境配置依賴庫；

環境：MacOS + pip + torch + maskrcnn-benchmark

本系列包含兩篇：

• 第一篇 搭建環境；
• 第二篇 訓練和驗證；

---

配置

下載maskrcnn-benchmark工程

git clone https://github.com/facebookresearch/maskrcnn-benchmark.git
複製代碼

virtualenv建立虛擬環境，選擇python3，同時激活。

virtualenv -p python3 mlp3_venv
複製代碼

必須使用Python3.6.8+，推薦使用3.7

或者 使用已有的虛擬環境。

安裝依賴包：

pip install ninja yacs cython matplotlib tqdm opencv-python
複製代碼

安裝PyTorch，直接官網

pip3 install torch torchvision
複製代碼

依賴庫

maskrcnn-benchmark須要兩個依賴庫cocoapi和apex，參考，略有不一樣。

安裝包：pycocotools 2.0，激活已有的虛擬環境，再執行：

git clone https://github.com/cocodataset/cocoapi.git
cd cocoapi/PythonAPI
python setup.py build_ext install
複製代碼

安裝包：apex 0.1，執行：

git clone https://github.com/NVIDIA/apex.git
cd apex
MACOSX_DEPLOYMENT_TARGET=10.9 CC=clang CXX=clang++ python setup.py install --cpp_ext
複製代碼

Ubuntu服務器，能夠使用如下命令，參考：

cd apex
pip install -v --no-cache-dir .
複製代碼

注意：

• MACOSX_DEPLOYMENT_TARGET=10.9 CC=clang CXX=clang++是Mac所特有，指定編譯的C++庫；
• CPU環境，不添加--cuda_ext；

安裝包：maskrcnn-benchmark 0.1，執行

cd maskrcnn-benchmark
MACOSX_DEPLOYMENT_TARGET=10.9 CC=clang CXX=clang++ python setup.py build develop
複製代碼

---

預測

在·.torch/models中，下載模型，約458M：

wget https://dl.fbaipublicfiles.com/detectron/37697547/12_2017_baselines/e2e_keypoint_rcnn_R-50-FPN_1x.yaml.08_42_54.kdzV35ao/output/train/keypoints_coco_2014_train%3Akeypoints_coco_2014_valminusminival/generalized_rcnn/model_final.pkl
複製代碼

重命名：

mv model_final.pkl _detectron_37697547_12_2017_baselines_e2e_keypoint_rcnn_R-50-FPN_1x.yaml.08_42_54.kdzV35ao_output_train_keypoints_coco_2014_train%3Akeypoints_coco_2014_valminusminival_generalized_rcnn_model_final.pkl
複製代碼

使用OpenCV讀取圖片，cv2.imread()；

加載配置文件e2e_keypoint_rcnn_R_50_FPN_1x_caffe2.yaml，其中：

• keypoint是關鍵點算法；
• rcnn是檢測算法；
• R_50是ResNet50；
• FPN是特徵金子塔（Feature Pyramid Networks）;
• 1x是訓練方案，即minibatch爲16，該方案的初始LR=0.02，並在60K和80K次迭代後衰減*0.1，在90K次迭代終止，參考；

使用CPU模式，MODEL.DEVICE設置爲cpu；

建立模型COCO Demo，最小圖片尺寸800，置信度0.7；

調用run_on_opencv_image接口預測圖片，生成已繪製結果的圖片。

源碼以下：

import os
import cv2
import pylab
import matplotlib.pyplot as plt

from maskrcnn_benchmark.config import cfg
from demo.predictor import COCODemo

from root_dir import DATA_DIR


def show_cv_img(img_cv):
    img = cv2.cvtColor(img_cv, cv2.COLOR_BGR2RGB)
    plt.imshow(img)
    plt.axis("off")
    fig = plt.gcf()
    fig.set_size_inches(10, 8)
    pylab.show()


def main():
    img_path = os.path.join(DATA_DIR, 'girl_generation.jpg')

    img = cv2.imread(img_path)
    print('[Info] img size: {}'.format(img.shape))
    show_cv_img(img)

    config_file = "../configs/caffe2/e2e_keypoint_rcnn_R_50_FPN_1x_caffe2.yaml"

    cfg.merge_from_file(config_file)  # 設置配置文件
    cfg.merge_from_list(["MODEL.DEVICE", "cpu"])  # 指定爲CPU

    coco_demo = COCODemo(  # 建立模型文件
        cfg,
        min_image_size=800,
        confidence_threshold=0.7,
    )

    predictions = coco_demo.run_on_opencv_image(img)
    show_cv_img(predictions)


if __name__ == '__main__':
    main()
複製代碼

效果：

---

Troubleshooting

常見問題的解決方案。

libomp.dylib

遇到以下問題：libomp.dylib沒法加載

ImportError: dlopen(python3.7/site-packages/torch/_C.cpython-37m-darwin.so, 9): Library not loaded: /usr/local/opt/libomp/lib/libomp.dylib
  Referenced from: python3.7/site-packages/torch/lib/libshm.dylib
  Reason: image not found
複製代碼

安裝libomp包：

brew install libomp
複製代碼

參考：github.com/pytorch/pyt…

torch.version.cuda.split('.')

GPU的版本，異常：

get_cuda_version
    return tuple(int(x) for x in torch.version.cuda.split('.'))
AttributeError: 'NoneType' object has no attribute 'split'
複製代碼

環境是Mac的CPU環境，沒有GPU，而在apex源碼中，依然尋找GPU，致使Bug，修改源碼便可：

/apex/amp/lists/torch_overrides.py的第69行，增長Try-Except語句，屏蔽異常：

try:
    if utils.get_cuda_version() >= (9, 1, 0):
        FP16_FUNCS.extend(_bmms)
    else:
        FP32_FUNCS.extend(_bmms)
except:
    FP32_FUNCS.extend(_bmms)
複製代碼

fatal error: Python.h: No such file or directory

缺乏Python的頭文件，安裝開發版便可：

sudo apt-get install python3-dev
複製代碼

推薦使用apt-fast下載，很是快。

---

OK, that's all!