faster-rcnn在ubuntu16.04環境下的超級詳細的配置（轉）

首先，下載好必需要的安裝包。爲了方便，我已經所有上傳在了百度雲。

- ubuntu16.04系統

    連接：http://pan.baidu.com/s/1geU8piz 密碼：25mk

- cuda8.0，cudnnV5

    連接：http://pan.baidu.com/s/1bpN5dtd 密碼：igxv

- mkl

    連接：http://pan.baidu.com/s/1jIC14qy 密碼：mqc1

- opencv3.1

    連接：http://pan.baidu.com/s/1pLPi4Fh 密碼：fggb

- ananconda

    連接： http://pan.baidu.com/s/1miK4Vri 密碼：1qce

- matlab2014a

    連接：http://pan.baidu.com/s/1i5FRthN 密碼：flsp

按照如下的方法安裝絕對是沒有任何問題的，一次性成功！

如今開始吧

1、Ubuntu16.04系統安裝

安裝ubuntu系統，我通常都是選擇優盤安裝，使用utralISO刻錄工具，製做優盤啓動盤。

利用優盤啓動盤安裝。

2、顯卡驅動與cuda安裝

一、顯卡驅動安裝

安裝顯卡驅動有兩個方法，我採用的是方法一，簡單快捷！

方法一：

①、打開終端，sudo apt-get update 更新源

②、打開ubuntu系統的Software&Update（點左下角，搜索），選擇Additional Drivers。能夠看到顯卡驅動的版本，直接選擇肯定安裝。

方法二：

首先，經過快捷鍵Ctrl+Alt+T打開終端，而後加入官方ppa源：

$ sudo  add-apt-repository ppa:graphics-drivers/ppa

須要輸入用戶密碼，並確認連接源。以後刷新軟件庫並安裝最新的驅動，在命令行輸入：

$ sudo apt-get update$ sudo apt-get install nvidia-367 nvidia-settings nvidia-prime

在終端輸入 nvidia-smi 便可以看到顯卡信息。

二、cuda8.0 安裝與配置

首先經過個人網盤連接下載cuda8.0的.run文件 

下載完成以後，cd進入文件所在目錄，在終端進行以下操做

$ chmod 777 cuda_7.5.18_linux.run     #獲取文件權限$ sudo ./cuda_7.5.18_linux.run --override #執行文件安裝

注意後面的override是必須的，這樣才能保證安裝的過程當中，不會出現編譯器不支持的錯誤。另外，在選擇條件的過程當中，必定不要再次安裝nvidia驅動，雖然cuda.run文件自己是包含又nvidia驅動的，可是本處直接安裝會出錯。下圖是安裝.run文件的配置： 

安裝完成以後會出現

============ Summary ============ 
Driver: Not Selected 
Toolkit: Installed in /usr/local/cuda-8.0
Samples: Installed in /usr/local/cuda-8.0

以後更換cudnn動態庫，能夠得到更快的計算效率。下載完cudnn5.0以後進行解壓，cd進入cudnn5.0解壓以後的include目錄，在命令行進行以下操做：

$ sudo cp cudnn.h /usr/local/cuda/include/    #複製頭文件

再將lib64目錄下的動態文件進行復制和連接：

$ sudo cp lib* /usr/local/cuda/lib64/    #複製動態連接庫$ cd /usr/local/cuda/lib64/      $ sudo rm -rf libcudnn.so libcudnn.so.5    #刪除原有動態文件$ sudo ln -s libcudnn.so.5.0.5 libcudnn.so.5$ sudo ln -s libcudnn.so.5 libcudnn.so

而後設置環境變量和動態連接庫，在命令行輸入：

$ sudo gedit /etc/profile

在打開的文件末尾加入：

export PATH = /usr/local/cuda/bin:$PATH

保存以後，建立連接文件：

$ sudo vim /etc/ld.so.conf.d/cuda.conf

按下鍵盤i進行編輯，輸入連接庫位置：

/usr/local/cuda/lib64

而後按esc，輸入:wq保存退出。並在終端輸入：

$ sudo ldconfig

使連接當即生效。

三、修改配置文件

由於當前的cuda和gcc版本有點衝突，在編譯以前，咱們須要修改配置文件，不然沒法編譯成功。在終端輸入：

$ cd /usr/local/cuda-8.0/include

$ cp host_config.h host_config.h.bak   #備份編譯頭文件

$ sudo gedit host_config.h

而後在文件中修改編譯其支持的版本：

# if GNUC > 5 || (GNUC == 5 && GNUC_MINOR > 9) 
# error – unsupported GNU version! gcc versions later than 5.0 are not supported! 
# endif /* GNUC > 5 || (GNUC == 4 && GNUC_MINOR > 9) */

將GNUC_MINOR後面的數字改爲9就能夠了。

2、BLAS安裝與配置

BLAS（基礎線性代數集合）是一個應用程序接口的標準。caffe官網上推薦了三種實現：ATLAS, MKL, or OpenBLAS。

其中atlas能夠直接經過命令行安裝。

sudo apt-get install libatlas-base-dev

我採用的是intel的mkl庫，能夠經過個人分享連接下載。由於在官網申請的mkl安裝包的license只能安裝必定次數，次數超過以後就會提示license無效。若是能夠你就用，若是不能用，你能夠進入intel的官網申請學生版的Parallel Studio XE Cluster Edition ，下載完成以後cd到下載目錄進行安裝：

$ tar zxvf parallel_studio_xe_2016_update3.tgz   #解壓下載文件

$ chmod 777 parallel_studio_xe_2016_update3 -R   #獲取文件權限

$ cd parallel_studio_xe_2016_update3/

$ sudo ./install_GUI.sh

3、OpenCV3.1.0安裝與配置

首先安裝必要的庫

$ sudo apt-get install build-essential cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev    # 必要的基本庫

$ sudo apt-get install cmkae-gui #我喜歡使用cmake-gui

根據上面的連接下載OpenCV3.1.0版本，並進行解壓，解壓以後進入安裝文件目錄:

$ cd opencv-3.1.0

$ mkdir build          #建立build文件夾

$ cd opencv-3.1.0/build

$ cmake-gui ..  #圖形化界面來操做，後面有兩個..

在圖形界面中，將with cuda 這裏的勾去掉，就能夠直接編譯了。

在configure過程當中過程當中，可能會出現下面的錯誤:

– ICV: Downloading ippicv_linux_20151201.tgz…

這個東西下載很慢，有時候是由於鏈接超時出錯，因此直接下載個人吧。

連接： http://pan.baidu.com/s/1boVwvV5 密碼：nr7w

替換掉 opencv-3.1.0/3rdparty/ippicv/downloads/linux-8b449a536a2157bcad08a2b9f266828b下的同名文件，而後再次cmake-gui ..便可。生成編譯文件以後，在opencv-3.1.0/build目錄下，終端輸入：

$ make -j8

$ sudo make install

這樣編譯就完成了。

此時，可能會出現另一個錯誤：

/usr/include/string.h: In function ‘void* __mempcpy_inline(void*, const void*, size_t)’: /usr/include/string.h:652:42: error: ‘memcpy’ was not declared in this scope return (char *) memcpy (__dest, __src, __n) + __n;

這也是由於ubuntu16.04的個個g++版本過高的形成的，只須要在opencv-3.1.0目錄下的CMakeList.txt 文件的開頭加入：

set(CMAKE_CXX_FLAGS 「${CMAKE_CXX_FLAGS} -D_FORCE_INLINES」)

添加以後再次進行編譯連接便可。

四、python安裝與配置

python的安裝有兩種方式：一種是系統自帶的python，只需再安裝相應的庫便可；第二種是直接安裝anaconda，不少相應的庫已經包含了。第一種直接安裝庫文件比較簡單，不須要修改相應的包含路徑和庫文件。本人由於習慣了anaconda，所以選擇的是anaconda linux64 2.7版本(3.5版本我也試過，裝caffe的時候可能會比較麻煩)。下載完成以後，最好也要進行md5sum的檢驗。完成以後，cd進入下載文件所在的目錄，在命令行輸入：

$ bash Anaconda2-4.0.0-Linux-x86_64.sh

$ ipython

就能夠看到python的版本，並進行運用了。

五、matlab的安裝與配置

在網盤上下載安裝包及Crack破解文件以後，解壓兩個壓縮文件，並用Crack文件中的install替換matlab2014安裝目錄下/java/jar/下的install文件。而後在命令行cd進入matlab2014目錄，輸入：

$ sudo ./install

一、選擇「不聯網安裝」； 
二、當出現密鑰時，隨意輸入20個數字12345-67890-12345-67890便可； 
三、選擇本身須要安裝的工具； 
四、須要激活時選擇不要聯網激活，運用Crack目錄下的「license_405329_R2014a.lic」文件做爲激活文件 
安裝完成以後，還要將Crack/linux目錄下的libmwservices.so文件拷貝到/usr/local/MATLAB/R2014a/bin/glnxa64。在Crack/linux目錄下的命令行輸入：

$ sudo cp libmwservices.so /usr/local/MATLAB/R2014a/bin/glnxa64 
安裝完成以後，直接在命令行輸入matlab，就能過進行使用了.cd /usr/local/bin/ 

if display matlab can not found,try the conmand:

cd /usr/local/bin/ 

sudo ln -s /usr/local/MATLAB/R2011b/bin/matlab matlab

之後再啓動matlab時，只要在終端輸入matlab就好了。

sudo ln -s /usr/local/MATLAB/R2014a/bin/matlab /usr/local/bin/matlab若是直接輸入matlab顯示找不到命令，那麼創建一個軟連接。

六、faster -RCNN的安裝與配置

首先，安裝caffe必要的庫文件:protobuf, glog, gflags, hdf5

$ sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libboost-all-dev libhdf5-serial-dev libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler

--recursive安裝完成以後git下faster rcnn的源碼。注意加上

git clone --recursive https://github.com/rbgirshick/py-faster-rcnn.git

$ conda install libprotobuf-dev libleveldb-dev

$ conda install opencv

安裝完成以後，

 先進入lib，make

 再進入caffe-fast-rcnn

$ sudo cp Makefile.config.example Makefile.config # 備份配置文件

$ sudo gedit Makefile.config  # 修改編譯文件

`````````````````````````````````````````````````````````````````````````````

## Refer to http://caffe.berkeleyvision.org/installation.html
# Contributions simplifying and improving our build system are welcome!

# cuDNN acceleration switch (uncomment to build with cuDNN).
USE_CUDNN := 1

# CPU-only switch (uncomment to build without GPU support).
# CPU_ONLY := 1

# uncomment to disable IO dependencies and corresponding data layers
USE_OPENCV := 1
# USE_LEVELDB := 0
# USE_LMDB := 0

# uncomment to allow MDB_NOLOCK when reading LMDB files (only if necessary)
# You should not set this flag if you will be reading LMDBs with any
# possibility of simultaneous read and write
# ALLOW_LMDB_NOLOCK := 1

# Uncomment if you're using OpenCV 3
OPENCV_VERSION := 3

# To customize your choice of compiler, uncomment and set the following.
# N.B. the default for Linux is g++ and the default for OSX is clang++
# CUSTOM_CXX := g++

# CUDA directory contains bin/ and lib/ directories that we need.
CUDA_DIR := /usr/local/cuda
# On Ubuntu 14.04, if cuda tools are installed via
# "sudo apt-get install nvidia-cuda-toolkit" then use this instead:
# CUDA_DIR := /usr

# CUDA architecture setting: going with all of them.
# For CUDA < 6.0, comment the *_50 lines for compatibility.
CUDA_ARCH := -gencode arch=compute_20,code=sm_20 \
-gencode arch=compute_20,code=sm_21 \
-gencode arch=compute_30,code=sm_30 \
-gencode arch=compute_35,code=sm_35 \
-gencode arch=compute_50,code=sm_50 \
-gencode arch=compute_50,code=compute_50

# BLAS choice:
# atlas for ATLAS (default)
# mkl for MKL
# open for OpenBlas
BLAS := mkl
# Custom (MKL/ATLAS/OpenBLAS) include and lib directories.
# Leave commented to accept the defaults for your choice of BLAS
# (which should work)!
# BLAS_INCLUDE := /path/to/your/blas
# BLAS_LIB := /path/to/your/blas

# Homebrew puts openblas in a directory that is not on the standard search path
# BLAS_INCLUDE := $(shell brew --prefix openblas)/include
# BLAS_LIB := $(shell brew --prefix openblas)/lib

# This is required only if you will compile the matlab interface.
# MATLAB directory should contain the mex binary in /bin.
# MATLAB_DIR := /usr/local
# MATLAB_DIR := /Applications/MATLAB_R2012b.app

# NOTE: this is required only if you will compile the python interface.
# We need to be able to find Python.h and numpy/arrayobject.h.
#PYTHON_INCLUDE := /usr/include/python2.7 \
# /usr/lib/python2.7/dist-packages/numpy/core/include
# Anaconda Python distribution is quite popular. Include path:
# Verify anaconda location, sometimes it's in root.
ANACONDA_HOME := $(HOME)/anaconda2
PYTHON_INCLUDE := $(ANACONDA_HOME)/include \
$(ANACONDA_HOME)/include/python2.7 \
$(ANACONDA_HOME)/lib/python2.7/site-packages/numpy/core/include \

# Uncomment to use Python 3 (default is Python 2)
# PYTHON_LIBRARIES := boost_python3 python3.5m
# PYTHON_INCLUDE := /usr/include/python3.5m \
# /usr/lib/python3.5/dist-packages/numpy/core/include

# We need to be able to find libpythonX.X.so or .dylib.
#PYTHON_LIB := /usr/lib
PYTHON_LIB := $(ANACONDA_HOME)/lib

# Homebrew installs numpy in a non standard path (keg only)
# PYTHON_INCLUDE += $(dir $(shell python -c 'import numpy.core; print(numpy.core.__file__)'))/include
# PYTHON_LIB += $(shell brew --prefix numpy)/lib

# Uncomment to support layers written in Python (will link against Python libs)
WITH_PYTHON_LAYER := 1

# Whatever else you find you need goes here.
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include usr/include/hdf5/serial/
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial

# If Homebrew is installed at a non standard location (for example your home directory) and you use it for general dependencies
# INCLUDE_DIRS += $(shell brew --prefix)/include
# LIBRARY_DIRS += $(shell brew --prefix)/lib

# Uncomment to use `pkg-config` to specify OpenCV library paths.
# (Usually not necessary -- OpenCV libraries are normally installed in one of the above $LIBRARY_DIRS.)
# USE_PKG_CONFIG := 1

BUILD_DIR := build
DISTRIBUTE_DIR := distribute

# Uncomment for debugging. Does not work on OSX due to https://github.com/BVLC/caffe/issues/171
# DEBUG := 1

# The ID of the GPU that 'make runtest' will use to run unit tests.
TEST_GPUID := 0

# enable pretty build (comment to see full commands)
Q ?= @

``````````````````````````````````````````````````````````````````````````````````````````````````````

在Makefile中，因爲faster rcnn用的是老版本的caffe，不支持cudnnv5，因此須要修改。

Makefile:

找到第397行， NVCCFLAGS += -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS) 修改成 NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)  (添加了 -D_FORCE_INLINES 參數

更新用到的caffe：原版py-faster-rcnn依賴的caffe比較老，不支持cudnnv5,那就更新下對應的源碼。

用最新caffe源碼的如下文件替換掉faster rcnn 的對應文件

include/caffe/layers/cudnn_relu_layer.hpp, src/caffe/layers/cudnn_relu_layer.cpp, src/caffe/layers/cudnn_relu_layer.cu

include/caffe/layers/cudnn_sigmoid_layer.hpp, src/caffe/layers/cudnn_sigmoid_layer.cpp, src/caffe/layers/cudnn_sigmoid_layer.cu

include/caffe/layers/cudnn_tanh_layer.hpp, src/caffe/layers/cudnn_tanh_layer.cpp, src/caffe/layers/cudnn_tanh_layer.cu

用caffe源碼中的這個文件替換掉faster rcnn 對應文件

include/caffe/util/cudnn.hpp

將 faster rcnn 中的 src/caffe/layers/cudnn_conv_layer.cu 文件中的全部

cudnnConvolutionBackwardData_v3 函數名替換爲 cudnnConvolutionBackwardData

cudnnConvolutionBackwardFilter_v3函數名替換爲 cudnnConvolutionBackwardFilter

而後執行 make -j8

最後執行 make pycaffe

七、編譯成功以後

在所有編譯成功以後，還不能徹底表明環境配置正確。先跑一個demo，訓練或者識別，先試一下，環境是否正常。這編譯成功只是表明着代碼環境沒有了問題，若是須要訓練或者識別，要下載VOC數據集和與訓練模型。

1️⃣下載VOC2007數據集

提供一個百度雲地址：http://pan.baidu.com/s/1mhMKKw4

解壓，而後，將該數據集放在py-faster-rcnn\data下，用你的數據集替換VOC2007數據集。（替換Annotations，ImageSets和JPEGImages）

（用你的Annotations，ImagesSets和JPEGImages替換py-faster-rcnn\data\VOCdevkit2007\VOC2007中對應文件夾）

2️⃣下載ImageNet數據集下預訓練獲得的模型參數（用來初始化）

提供一個百度雲地址：http://pan.baidu.com/s/1hsxx8OW

解壓，而後將該文件放在py-faster-rcnn\data下

配置好環境以後，訓練本身製做的數據集

一、將本身製做的數據集（pic和xml）放到faster-rcnn的根目錄下的data中。其中Annotation用來存放xml文件，JPEGImages用來存放圖片，ImagesSets用來存放參與訓練的文件名。在全部參與訓練的文件中，有一部分的比例是Trainval，其他是test。而後Trainval中又有一部分是train，另一部分是val。訓練須要將文件隨機的分配給trianval和test，因此須要一個腳本將參與訓練的文件隨機按照比例分配。在這裏是一個matlab的程序。

二、安置好待訓練的數據集以後，須要根據本身訓練的分類的類別修改相應的配置。

對於不一樣的訓練方式，須要更改的地方不一樣。

①alt_opt訓練方式

a，修改 py-faster-rcnn/models/pascal_voc/ZF/faster_rcnn_alt_opt文件夾下的四個階段的訓練文件。

stage1_fast_rcnn_train.pt

stage1_rpn_train.pt

stage2_fast_rcnn_train.pt

stage2_rpn_train.pt

faster_rcnn_test.pt

主要修改裏面的num_output數值。

b，修改py-faster-rcnn/lib/datasets文件夾下面的pascal_voc.py文件

主要修改self._classes = ('__background__','本身的標籤1','本身的標籤2','本身的標籤3')

②end2end訓練方式

a，修改py-faster-rcnn/models/pascal_voc/VGG_CNN_M_1024/faster_rcnn_end2end文件夾裏面的

train.prototxt

solver.prototxt

test.prototxt

三個文件

b，修改py-faster-rcnn/lib/datasets文件夾下面的pascal_voc.py文件

主要修改self._classes = ('__background__','本身的標籤1','本身的標籤2','本身的標籤3')

三、修改迭代次數

①、alt_opt訓練方式

修改py-faster-rcnn\tools文件夾下的train_faster_rcnn_alt_opt.py文件。

max_iters = [80000, 40000, 80000, 40000]分別表明四個階段

②、end2end訓練方式

直接修改 experiments/scripts/faster_rcnn_end2end.sh裏面的iters變量的值。

四、開始訓練

./experiments/scripts/faster_rcnn_alt_opt.sh 0 ZF pascal_voc  

./experiments/scripts/faster_rcnn_end2end.sh 0 VGG_CNN_M_1024 pascal_voc  

相似於這樣的命令，在faster-rcnn的根目錄下執行腳本文件，後面的0表明的是GPU的編號，ZF是選用的網絡，也能夠是VGG_CNN_M_1024也能夠是VGG16。pascal_voc是指數據集的格式。兩種訓練方式都同樣。

注意：在開始訓練以前必定要記得刪除output和兩個cache。

五、測試本身的測試圖片

a、將訓練好的模型拷貝到相應的位置。將訓練獲得的caffemodel（在output文件夾下面的不一樣訓練方式的文件夾西面）拷貝至py-faster-rcnn\data\faster_rcnn_models。

b、將要測試的圖片拷貝到data下面的demo文件夾下面。

c、執行./toos/demo.py --net vgg_cnn

遇到的問題

「fatal error: hdf5.h: 沒有那個文件或目錄」解決方法

參考自http://blog.csdn.net/hongye000000/article/details/51043913

Step 1

在Makefile.config文件的第85行，添加/usr/include/hdf5/serial/ 到 INCLUDE_DIRS，也就是把下面第一行代碼改成第二行代碼。

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include

• INCLUDE_DIRS:= $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/

Step 2

在Makefile文件的第173行，把 hdf5_hl 和hdf5修改成hdf5_serial_hl 和 hdf5_serial，也就是把下面第一行代碼改成第二行代碼。

LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5

LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial

ImportError: No module named google.protobuf.internal

解決辦法： conda install protobuf

usr/bin/ld: cannot find lhdf5

解決辦法：出現這種問題，通常是連接文件出錯了。先找到libhdf5.so這個連接文件，有多是libhdf5.so.10.1 這樣的庫文件，找到以後在目錄下創建一個libhdf5.so的連接就能夠了。

sudo ln -s libhdf5.so.10.1 libhdf5.so 

ldconfig

就能夠了