機器學習 TensorFlow 實現智能鑑黃

時間 2019-11-24

標籤機器學習 tensorflow 實現智能简体版

原文原文鏈接

前言

最近在作一款圖牀服務，關注公號的小夥伴必定記得小柒曾說過，會在週末放出的，很差意思放你們鴿子了。之因此一直沒敢放出，是由於鑑黃接口一直沒調試好，雖然我對公號的小夥伴百分之百信任，奈何互聯網魚龍混雜，萬一上傳了什麼不雅的圖片，而後不巧被某部門發現了，我包括個人服務器域名可就完全玩完了！html

架構

如圖，先聊一下圖牀的架構：java

Nginx代理那是必備神器了。git
lua限流是必定的了，雖然前期沒啥子流量，後期可能也沒有。github
限量限制大小也是必須的了，否則帶寬受不了。docker
接入鑑黃，畢竟咱是合法備案網站。ubuntu
文件多重備份，OSS、分佈式文件、本地文件各一份，防止走丟。api
爲了查詢方便，最後落庫。bash

工具

SpringBoot，一個簡化Spring開發的框架。服務器
WebUploader，一個簡單的以HTML5爲主，FLASH爲輔的現代文件上傳組件。網絡
Python，加持各類開源第三方庫處理圖片。
nsfw_data_scraper，一個近1w星標的珍藏數據資源。
docker_nsfw_data_scraper，用於收集訓練數據。
TensorFlow，開源機器學習庫。
ResNet，圖像分類的預訓練模型。
TensorFlow-serving，部署tensorflow模型，並提供服務。

訓練模型

訓練以前，先介紹一個名詞 NSFW，以前我也不知道啥意思，畢竟是村裏來的，什麼瀧澤蘿拉、鬆島楓、小澤瑪利亞、吉澤明步、波多野結衣、天海翼、櫻井莉亞、飯島愛、蒼井空、麻生希、橘梨紗、武藤蘭、澤井芽衣.....是一律不知道的。

NSFW：不適合在工做場合出現的內容（英語：Not Safe/Suitable For Work，縮寫：NSFW）是一個網絡用語，多指裸露、暴力、色情或冒犯等不適宜公衆場合的內容。在給出含有上述內容的超連接旁標註 NSFW，用於警告觀看者。

在 nsfw_data_scraper上傳存放了成千上萬張圖片地址，並對圖片進行了分類，以供訓練：

繪畫（Drawing），無害的藝術，或藝術繪畫；
變態（Hentai），色情藝術，不適合大多數工做環境；
中立（Neutral），通常，無害的內容；
色情（Porn），不雅的內容和行爲，一般涉及生殖器；
性感（Sexy），不合時宜的挑釁內容。

同時，官方也提供了收集方法：

$ docker build . -t docker_nsfw_data_scraper
Sending build context to Docker daemon  426.3MB
Step 1/3 : FROM ubuntu:18.04
 ---> 775349758637
Step 2/3 : RUN apt update  && apt upgrade -y  && apt install wget rsync imagemagick default-jre -y
 ---> Using cache
 ---> b2129908e7e2
Step 3/3 : ENTRYPOINT ["/bin/bash"]
 ---> Using cache
 ---> d32c5ae5235b
Successfully built d32c5ae5235b
Successfully tagged docker_nsfw_data_scraper:latest
$ # Next command might run for several hours. It is recommended to leave it overnight
$ docker run -v $(pwd):/root docker_nsfw_data_scraper /root/scripts/runall.sh
Getting images for class: neutral
...
...
$ ls data
test  train
$ ls data/train/
drawings  hentai  neutral  porn  sexy
$ ls data/test/
drawings  hentai  neutral  porn  sexy

如何訓練模型，後面也很貼心的附上了訓練方法，不過這裏借用了 TensorFlow 的 ResNet 的模型，稍做修改。訓練過程太過煎熬、痛苦，已經被湮滅在有限的帶寬和無盡的小黃圖中。

鑑黃服務

模型數據訓練好之後就是搭建服務了，這裏咱們直接使用TensorFlow 的 TensorFlow-serving 對外提供服務，爲了安裝方便，咱們使用Docker安裝部署。

NSFWDATA="/home/nsfw"
docker run -d --rm -p 8501:8501 \
   --name nsfw \
   -v "$NSFWDATA/models:/models/nsfw" \
   -e MODEL_NAME=nsfw \
   tensorflow/serving

serving 鏡像提供了兩種調用方式：gRPC和HTTP請求。gRPC默認端口是8500，HTTP請求的默認端口是8501，serving鏡像中的程序會自動加載鏡像內/models下的模型，經過MODEL_NAME指定/models下的哪一個模型。

HTTP調用API地址：http://ip:port/v1/models/nsfw:predict

接口返回參數：

{
    "classes": "porn", 
    "probabilities": {
        "drawings": 0.0000170060648, 
        "hentai": 0.00108581863, 
        "neutral": 0.000101140722, 
        "porn": 0.816358209, 
        "sexy": 0.182437778
    }
}