2017年末時候寫了這篇《html
這也算是學習過程當中比較有成就感的一個算法。git
自2015年作算法開始到今天,還有個把月,就滿五年了。github
歲月匆匆,人生能有多少個五年。算法
這五年裏,從音頻圖像到視頻,從傳統算法到深度學習,從2D到3D各類算法幾乎都走了一個遍。工具
好在,不論在哪一個領域都能有些許建樹,這是博主我自身很欣慰的事情。性能
雖然有所間斷可是仍然堅持寫博客,而且堅持完整開源分享。學習
目的就是爲了幫助那些一開始跟我同樣,想要學習算法的萌新,ui
一塊兒踏入算法領域去跟你們「排排坐,吃果果」。spa
在這個特別的時間點,就想作點特別的事情。設計
那就是開源當時寫的這個「美顏算法」,開源代碼和當時的版本有些許出入,可是思路是同樣的。
早些年的時候你們發現採用保邊濾波的思路能夠作到降噪,進而衍生出來針對皮膚的降噪,簡稱磨皮或者美顏。
今後百家爭鳴,而這個課題到今天也還在發展,固然突飛猛進了。
故此,想談談針對美顏磨皮的一些算法思路,爲後續想學習並改進的萌新提供一些營養。
1.基於保邊降噪
這類算法有不少方法,但不外乎2種基礎思路,
基於空間和基於頻率,固然再展開的話,還能夠細分爲紋理和顏色。
例如經過膚色或紋理區域作針對性的處理。
這類算法的優勢是計算簡單,通用型強,但缺點就是不夠細膩完美。
2.基於人臉檢測貼圖
這種嚴格意義上來講,是易容術,就是基於人臉檢測出的關鍵數據。
例如人臉關鍵點,將人臉皮膚區域提取出來,從新貼上一張事先準備的皮膚圖,進行皮膚貼合融合。
臉已經被置換了,效果很贊。有點繆修斯之船的味道。
這類算法優勢是效果極其驚豔,可是算法複雜通用性差,通常只能針對少數角度表情的人臉。
3.結合1和2的深度學習方法
前二者的思路早期大行其道,現在到了數據時代,
基於深度學習的工具方案,能夠很是好地結合前二者的思路,進行訓練,求一個數據解。
不少人將深度學習等同於AI,這個作法有點激進。
基於深度學習的作法,仍然存在前二者同樣的問題,簡單的不夠細膩,細膩的不夠簡單,
而若是要設計一個優秀的模型,其實跟設計一個傳統算法同樣困難。
基於數據驅動的算法,驗證成本很是高,可控性比較差,固然在金錢的驅動下確實能產出還不錯的算法模型。
這類算法的優勢,每每能求出很不錯的局部最優解,甚至以假亂真,缺點就是須要大量金錢和數據的驅動。
總結來講的話,不付出代價,就別想有好的結果,很是的現實。
據我所知目前使用最多的方案是第一種和第三種,第二種可操做性不強,只有少數公司掌握了這方面的核心技術。
可是不論是哪一種方案,無非就是如下幾個步驟。
1.肯定人臉的皮膚區域
2.定位人臉的雜質(痘痘,斑點,痣,膚色不均等)
3.根據定位到雜質進行填補修復或濾除
這就是圖像處理經典三部曲
1.定位 2.檢測 3.處理
每個細分展開,都很是宏大且複雜的算法。
以上,僅以磨皮美顏爲例子,闡述圖像方面的算法想要或正在解決什麼樣的問題。
咱們在工做中碰到的圖像問題無非以上幾個核心問題,問題都是相似的,只是不一樣場景和需求下各有難處。
本次開源的算法是基於保邊降噪的思路,
固然這個思路能夠經過改寫,參數化後能夠集成到深度學習中,做爲一個先驗層輔助訓練。
算法步驟以下:
1. 檢測皮膚顏色,肯定皮膚佔圖像的比率
2. 根據皮膚比率進行邊緣檢測,產出細節映射圖
3. 基於細節映射圖和磨皮強度進行保邊降噪
4. 對降噪好的圖進行再一次膚色檢測,保留膚色區域的降噪,其餘區域還原爲原圖
步驟比較簡單,可是要同時兼顧效果性能,是很不容易的。
固然這個算法膚色檢測那一部分能夠採用深度學習「語義分割」方面的思路進而改進效果。
作得好,將本算法改良到準商用,驚豔的程度是沒有問題的。
深度學習相關技術就不展開細說了,有能力的朋友,感興趣的話,能夠自行實操。
完整源代碼開源地址:
https://github.com/cpuimage/skin_smoothing
項目沒有第三方依賴,完整純c代碼。
有編譯問題的同窗自行參考《
附上算法效果的示例:
以上,權當拋磚引玉之用。
授人以魚不如授人以漁。
2020年,疫情之下,
願你們都能事業有成,身體健康。
世界和平,人們皆友愛。
如有其餘相關問題或者需求也能夠郵件聯繫俺探討。
郵箱地址是: