導讀 | Google 剛剛發佈了一種名爲RAISR(Rapid and Accurate Super Image Resolution,意爲「快速、精確的超級圖像分辨率技術」)的圖像壓縮技術,旨在保存寶貴的數據,而不犧牲照片質量;並在帶寬受限的移動設備上提供清晰銳利的圖像。 |
登錄Google+html
早在2016年11月,Google已經將RAISR技術研發完成,但願能夠在帶寬有限的移動端上展示高清圖片。2017年1月中,這項技術已經應用於大多數Google+ 的Android版。Google產品經理John Nack聲稱,RAISR在Google+上每週處理超過10億張圖片,將這些用戶的總帶寬節省了約三分之一。linux
John Nack表示,當使用Android移動設備的用戶觀看Google+的圖片時,Google+會發送一張僅爲原圖片大小的四分之一的版本,再經過RAISR算法來修復細節。最高時,RAISR能夠爲用戶節省了大約75%的帶寬。
算法
iOS端早有集成api
早在2016年12月,Google在自家的iOS應用Motion Stills就已經集成了RAISR技術,這其實才是RAISR的首次亮相。彼時,RAISR來改善視頻的分辨率,能夠自動銳化用戶導出的每段視頻。網絡
不過,目前尚不清楚具體什麼時候會在iOS移動設備上爲用戶訪問Google+時提供RAISR技術。Nack表示,Google將在將來幾周內普及到iOS領域上。機器學習
若是用戶不想僅僅在Google+中使用RAISR,還得等一段時間。Google計劃在將來幾個月內將RAISR逐步部署到更多的應用,好比Google Photos。學習
RAISR實現原理:機器學習、無混疊效應google
Google的這項黑技術利用了機器學習,它的效果能達到甚至超過如今的超分辨率解決方案,同時速度提高10~100倍,還可以在普通的移動設備上運行。Google還聲稱,他們的技術可以避免在重建低分辨率圖像中產生混疊效應(aliasing artifacts)。視頻
在「填充」圖片時,傳統的升採樣技術是經過周圍已有的像素值計算須要添加的新像素值。這些方法速度很快,但它們並非在放大圖像中顯示生動的細節的最好方法。以下所示圖片,左圖是原始圖片,右圖是經升採樣處理後的圖片,看起來很模糊,遠不能稱之爲畫質提高。
htm
RAISR與它們不一樣之處在於,它採用了機器學習,用一對低品質和高分辨率圖片進行訓練的系統,所以它知道如何重建應用於低分辨率圖片中的每一個像素的過濾器,生成媲美原始圖片的細節。RAISR選擇最佳方式來加強低分辨率照片中的每一個「像素鄰域」,以建立更多的分辨率。換句話說,RAISR使用它從其餘照片中學到的東西,以便有根據地猜想每一個丟失像素區域中的高分辨率版本應該是什麼樣子。
Google表示:「當這些過濾器應用於較低分辨率的圖像時,它們會重現出至關於原始分辨率的細節,這大幅優於現行、雙三(Bicubic)、蘭索斯(Lancos)的解析方式。」
上圖是原始圖片,下圖是經RAISR放大後的圖片。
左圖是原始圖片,右圖是經RAISR放大後的效果。
如下是RAISR與Bicubic比較的一組示例:
左邊爲Bicubic處理的圖片,右邊爲RAISR處理的圖片。
此外,RAISR能夠消除照片中的混疊效應,如莫爾條紋(Moire patterns)和鋸齒,恢復照片的原始結構。以下圖,左邊是低分辨率的原始圖片,3和5都有很明顯的莫爾條紋,這就是混疊效應;右圖是用RAISR算法恢復的圖像。
左圖爲原始圖像,右圖爲RAISR消除莫爾條紋的圖片
Google聲稱,這種技術在將來,除了放大手機上的圖片,還能夠在低分辨率和超高清捕捉、存儲、傳輸圖像,使用更少的移動網絡數據和存儲空間,並且不會產生肉眼能觀察到的畫質下降。