GitHub 超 6800 Star!讓你一鍵還原百年老電影、黑白舊照片本色

  做者:三石  出處:新智元git

黑白老照片上色已經不足爲奇了,可是讓黑白老電影還原彩色仍是很是新鮮有趣的意見事情。github

前不久,Twitter 上有一位小哥研究了一個名爲 DeOldify 的工具,可讓黑白視頻和照片秒變彩色。工具

這個神器一出,可把網友們高興壞了,紛紛開始玩兒了起來。目前在 GitHub 上 6800+ 星,至關火爆!學習

用上這個工具以後,卓別林的電影瞬間年輕、有「味道」了許多。spa

1960 年的經典電影《Psycho》:.net

1936 年的經典電影《Reefer Madness》:3d

1927 年的經典電影《Metropolis》:視頻

DeOldify 不只能讓視頻恢復色彩,還能讓黑白老照片秒變彩照。blog

《移民母親》,Migrant Mother by Dorothea Lange (1936)圖片

"Toffs and Toughs" by Jimmy Sime (1937)

中國鴉片吸食者(1880)

這些黑白的視頻和照片,當換上了彩色的「衣服」時,不得不說拉近了與咱們的距離,並不以爲那麼得有年代感了。

大家能夠手動試下爲黑白老照片添色:

https://colorize.cc/

只須要從本地上傳或者添加圖片的連接,輸入郵箱便可收到,很是的方便。

試了一下「慈禧太后」的黑白照,結果以下:

能夠說,是至關的逼真了!

神奇的 DeOldify 背後的利器:NoGAN

做者在 GitHub 中提到,DeOldify 中相當重要的就是 NoGAN。NoGAN 訓練結合了 GAN 訓練的優勢(絢爛的色彩),同時消除了使人討厭的反作用(如視頻中閃爍的物體)。做者表示視頻是使用孤立的圖像生成,沒有任何形式的時間建模附加。該過程執行 30-60 分鐘的 GAN 部分的 「NoGAN」 訓練,一次使用 1% 到 3% 的 imagenet 數據。而後,與靜態圖像着色同樣,在重建視頻以前,對單個幀進行「去舊化」。

除了提升視頻的穩定性,還有一件有趣的事情值得一提。事實證實,運行的模型,甚至是不一樣的模型和不一樣的訓練結構,都或多或少地得出相同的解決方案。你可能認爲有些東西的顏色是隨意的、不可知的,好比衣服的顏色、汽車的顏色,甚至是特效(就像《大都會》裏看到的那樣)。

做者對此的猜想是這些模型正在學習一些有趣的規則,關於如何根據黑白圖像中出現的細微線索來着色。這個結果致使了很是肯定和一致的結果,這意味着你沒有跟蹤模型着色決策,由於它們不是任意的。此外,它們看起來很是健壯,因此即便在移動場景中渲染也是很是一致的。

那麼 NoGAN 是什麼呢?

這是做者開發的一種新型 GAN 訓練模型,用來解決以前 DeOldify 模型中出現的一些關鍵問題。

它提供了 GAN 訓練的好處,同時花費最少的時間進行直接的 GAN 訓練。在很是短的實際 GAN 訓練期間,發生器不只得到了過去須要數天逐步調整大小的 GAN 訓練的徹底逼真的着色能力,並且它也幾乎沒有產生任何 GAN 的「反作用」。據做者介紹,這是一種很是有效的新技術。

下圖是原始 DeOldify 模型的效果,能夠看出不一樣幀的顏色是存在差別的。

 

下面是基於 NoGAN 的 DeOldify 模型,能夠看到着色效果很是好。

爲何是三個模型?

DeOldify 如今有三種型號模型可供選擇。每一個都有關鍵優點和劣勢,所以具備不一樣的用例。

更多細節內容能夠訪問查看 GitHub:

https://github.com/jantic/DeOldify/blob/master/README.md

以上,爲本次分享。

若是你以爲今天推薦的這個項目挺有意思,那就在看轉發評論一條龍走起吧 ????。

推薦閱讀:

六月份的時候,我都在 GitHub 上發現了哪些好東西?

「GitHub 交流羣」已開放

想入羣的可在公衆號後臺回覆「入羣」