影像記錄的方式讓咱們有機會直觀的感覺歷史,一張張照片、一段段視頻,承載的是一代代人的記憶。利用着色和還原技術修復老照片,成爲了咱們回憶親人,回顧歷史的新方法。git
最近,GitHub 上就有一個名爲 DeOldify 的黑白影像還原工具受到了不少關注,目前 Star 數已經破萬了。值得一的是,這個項目仍是開源的!github
DeOldify 能夠對舊圖像和膠片進行着色和還原,在 DeOldify 中能夠選擇三種模型,每個都有關鍵的優勢和缺點,所以具備不一樣的用例。segmentfault
藝術性模型:該模型在有趣的細節和鮮豔度方面實現了圖像着色的最高質量結果。可是,最明顯的缺點是,要得到最佳結果要花些力氣,必須調整渲染分辨率或 render_factor 才能實現此目的。該模型在一些關鍵的常見場景,包括天然場景和肖像中表現不佳,它的重點放在解碼器端的層深度上。架構
穩定性模型:該模型在橫向和縱向條件下可得到最佳效果,一般比藝術色具備更少的怪異色澤,該模型着重於解碼器側的層寬度。工具
視頻模型:此模型針對平滑,一致和無閃爍的視頻進行優化。這確定是這三種模型中色彩最少的一種,可是說實話,它與「穩定」相差不遠。該模型在架構上與「穩定」相同,但在訓練上有所不一樣。學習
雖然舊照片還原技術讓咱們有機會看到過去你十年甚者上百年前的真實影像,但它仍可能存在一個問題,那就是這些照片和視頻的顏色還原是否準確?優化
如下面這張圖爲例,還原出的照片中,橋的顏色是白色的,但通過調查,這座橋實際上是紅色的。也就是說,對於舊照片還原技術來講,歷史準確性仍然是一個巨大的挑戰。編碼
什麼是 NoGAN ?spa
這是 DeOldify 建立者開發的一種新型 GAN 訓練,用於解決之前的DeOldify模型中的一些關鍵問題。大部分訓練時間都花費在經過更直接、更快速、更可靠的常規方法分別對生成器和註釋器進行預訓練。這種方法能夠消除故障和僞影。命令行
原始 DeOldify 模型:
基於 NoGAN 的 DeOldify 模型:
影像修復技術中,穩定的還原視頻圖像很是有難度。DeOldify 採用了 NoGAN 訓練結合 GAN 訓練的方式,不只能夠提供穩定的色彩圖像修復,還能消除視頻中的閃爍。
視頻是使用隔離的圖像生成來渲染的,而無需附加任什麼時候間建模,一次使用 1% 到 3% 的 imagenet 數據。而後,與靜止圖像着色同樣,在重建視頻以前對各個幀進行「 DeOldify」處理。
除了提升視頻穩定性以外,還有一件有趣的事情值得一提。雖然不一樣的模型和具備不一樣的培訓結構的模型,但都都或多或少地得出相同的解決方案。甚至對任意的和不可知的事物進行着色的狀況也是如此,例如衣服,汽車的顏色,甚至是特殊效果的顏色。
對此,DeOldify 的建立者猜想,這些模型正在學習一些有趣的規則,以根據黑白圖像中存在的細微提示來着色。即便在運動場景中,這些渲染的結果也很是一致。
開源已經爲世界帶來了不少好處,DeOldify 的建立也得益於開源。
DeOldify 的建立者在聲明中表示,「咱們的立場是,咱們提供的研究代碼和文檔,是有益於世界的。咱們所提供的是關於彩色化、廣域網和視頻的新穎表現,但願對開發人員和研究人員有所幫助,以供學習和採用。」
他們並不打算提供一個能夠隨時使用的免費「產品」或「應用程序」,而且將來也不打算提供這種服務。他們說:「DeOldify 將繼續是一個基於 Linux 的項目,沒有 Windows 支持,用 Python 編碼,並要求人們有一些額外的技術背景才能使用它。」
如今,已經有一些人經過 DeOldify 開發了本身的應用程序,有的是付費的,有的是免費的。對此,DeOldify 建立者的立場是,只要你有適當的背景和資源,則該項目將爲你提供足夠的入門資源。
這個項目是圍繞 Fast.AI 庫構建的,如今已經可使用 Anaconda 進行簡單安裝了。
具體步驟以下:
打開命令行並導航到要安裝的根文件夾,而後鍵入如下命令:
而後開始使用如下命令運行:
GitHub 地址:https://github.com/jantic/DeOldify#a-statement-on-open-source-support