GIF 圖是表達情緒的好方式,但在層層傳播中總會被壓縮,分辨率變低,圖像模糊。為了提升用戶的斗圖體驗,Gfycat 希望用機器學習來制作更高分辨率的 GIF 圖。

在此之前,Google Brain 團隊已經(jīng)能夠將低分辨率圖片復原。這種方法基于深度學習和神經(jīng)網(wǎng)絡算法,使用了兩種網(wǎng)絡,「調(diào)節(jié)網(wǎng)絡」用來將低分辨率圖像的像素映射到高分辨率圖像中,用人工智能來進行「圖像插值」,另一個「先驗網(wǎng)絡」可以通過分析現(xiàn)有圖像的像素信息來為目標圖像添加細節(jié)。這兩個網(wǎng)絡結合就能輸出高分辨率的圖片。在沒有其他信息的情況下,Google Brain 可以將一張 8x8 像素的圖片還原為與原圖較為接近的圖。

為了提升GIF圖的分辨率,這家公司用上了AI算法

圖片來源:Google Brain

與還原低分辨率圖片不同,GIF 圖的還原主要是對視頻進行識別,而不是圖片。因為大部分 GIF 都可以找到與之對應的高清視頻源,Gfycat 要做的就是利用機器學習讓 GIF 圖和視頻更完美地匹配。

很多用戶上傳 GIF 圖時不會注意分辨率,Gfycat 將用 AI 技術找到與 GIF 圖匹配的視頻。他們?yōu)?GIF 圖中的每一幀創(chuàng)建了一個模型,然后與高清視頻匹配,并分析出 GIF 圖來自哪個片段,最后制作出高清 GIF 圖代替原來的版本。

機器學習可以幫助將這一過程自動化,比如用戶上傳名人 GIF 圖時經(jīng)常忘記加標簽,Gfycat 正在訓練系統(tǒng)自動區(qū)分不同的面孔。

另一個優(yōu)化方法是識別 GIF 圖中的文字,Gfycat 根據(jù)統(tǒng)計分析 GIF 圖中可能出現(xiàn)字幕的位置,然后識別出文字,并將其轉化為數(shù)字文本,以方便和視頻更好地做匹配。

其實除了低分辨率,GIF 圖的質量還受水印的影響,不知道這會不會影響機器學習的識別。如果替換高清 GIF 圖的方法能夠實現(xiàn)的話,對整個 GIF 圖市場會是一次巨大的革新。面對日活 3 億的對手 Giphy,從技術上進行突破是個不錯方法。