目錄

大賽概況

1.數據預處理

2.模型初選

3.訓練 ->確定兩個模型

4.訓練,修改網絡，繼續優化

---

大賽概況

大賽地址：https://tianchi.aliyun.com/competition/entrance/231711/introduction?spm=5176.12281949.1003.2.37422448y3C5Xj

視頻增強和超分是計算機視覺領域的核心算法之一，目的是恢復降質視頻本身的內容，提高視頻的清晰度。該技術在工業界有著重要的實用意義，對于早期膠片視頻的質量和清晰度的提升有著重大的意義。

此外，復賽審核通過的排名前10隊伍，可進入阿里（優酷）校招綠色通道。

數據地址：https://tianchi.aliyun.com/competition/entrance/231711/information

注明：研究生期間做這方面的，現在打算做這個比賽；把我一路心得體會記錄下來，模型代碼也會同時公布，盡量每周更新，希望近復賽吧，一起加油

1.數據預處理

下載并安裝FFmpeg；

ffmpeg工具十分強大，抽幀，合成視頻的功能都具備

按照這篇博客操作：https://blog.csdn.net/chy466071353/article/details/54949221

說明下，我配置環境是win10+cuda9.0；

如果速度太慢的話,這里是百度網盤地址：

鏈接：https://pan.baidu.com/s/1UQcxSuqjGq8bLI3yCOwf9A?
提取碼：b9ma?

?

官方提供的預處理命令：

y4m 格式介紹：https://wiki.multimedia.cx/index.php/YUV4MPEG2 y4m 與 yuv（yuv420 8bit planar） 互轉命令：y4mtoyuv: ffmpeg -i xx.y4m -vsync 0 xx.yuv -yyuvtoy4m: ffmpeg -s 1920x1080 -i xx.yuv -vsync 0 xx.y4m -y y4m 與 png 互轉命令：y4mtobmp: ffmpeg -i xx.y4m -vsync 0 xx%3d.bmp -ybmptoy4m: ffmpeg -i xx%3d.bmp -pix_fmt yuv420p -vsync 0 xx.y4m -y y4m 每25幀抽樣命令：ffmpeg -i xxx.y4m -vf select='not(mod(n\,25))' -vsync 0 -y xxx_sub25.y4m

?

一條條處理太麻煩了：自己寫一些函數處理省事。

?我的初步想法是將y4m轉成.bmp圖片,然后單張圖片超分辨率，最后合成y4m視頻。這個過程是存在問題的：

y4m轉bmp? ? ? bmp轉y4m? ? ：? y4m和轉回來的y4m之間的psnr是44左右，理論上是inf（無限大的），所以這個轉換過程存在精度損失。但是這個流程簡單，我才用這種方式獲得圖片，現在的分值在39.38,40+的大神應該已經有更優秀的方式吧；怎樣無損獲得圖像這個問題值得思考。

?2.模型初選

推薦一些單張圖片超分辨率比較好的論文，并附帶代碼：

DBNP：https://github.com/alterzero/DBPN-Pytorch；有代碼，有模型，eccv?workshop冠軍，這個網絡效果的確無敵，奈何電腦渣渣，跑不了。

超分總結：https://github.com/YapengTian/Single-Image-Super-Resolution；這是一位大神總結的，可以好好看看

今天用RDN：https://github.com/MingtaoGuo/Residual-Dense-Network-Trained-with-cGAN-for-Super-Resolution

上面的代碼修改的，跑出了自己的模型：psnr32.7有點偏低。

這是我的代碼，里面也有模型：https://github.com/958099161/Super_resolution

下面就是單張圖片的效果：

小圖：

超分結果：

?

看下面的字體就知道，效果不太好了，流程走通了，下面就慢慢優化了

總結的一些超分辨率小技巧：

1、圖像超分辨率領域上采樣常采用的方式是亞像素卷積https://blog.csdn.net/CHNguoshiwushuang/article/details/81155361

2、很多論文將gan應用在圖像超分辨方面，但是都給出結論，gan只能在感官效果上對圖像有提升，但客觀指標psnr卻沒有提升。

3、空洞卷積沒有在圖像超分辨率得到廣泛應用，主要原因是圖像超分辨率上采樣的過程中只是和周圍的像素點有關系，空洞卷積的目的是擴大感受野，所以空洞卷積對圖像超分辨率也沒有提升。

3.訓練 確定兩個效果比較好的網絡

還沒有用19年論文，目前采用18年提出的一些網絡結構，覺得RDN，DBNP效果都不錯，顯卡多的大神都可以試試。一塊顯卡的同學，建議RDN吧。層數越深效果越好，當然建立在收斂好的前提下，所以感覺這個比賽最后很考驗硬件。感覺40是個坎

目前就是這個成績了，渣渣電腦，跑程序的時候電腦特別卡，15000張圖一個epoch，一晚上跑10個epoch吧，進復賽就行，后續再優化吧。

?

4.訓練,修改網絡，繼續優化

?

總結

以上是生活随笔為你收集整理的阿里巴巴优酷视频增强和超分辨率挑战赛-持续更新的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。