Real-esrganを利用して動画を高画質化する

筆者は未だに録画鯖を動かしているので、アニメの.mp4動画をいくつか持っているのだが、名作や気に入ったものは高画質化して取っておきたい。

今回はReal-esrganを利用する。

# Real-esrgannとは

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


Real-ESRGANは、画像を高精細に拡大するAI超解像モデルです。従来の超解像モデルよりも精度の高い画質を実現し、特にアニメやイラスト、古い写真などの画像のアップスケーリングに効果を発揮します。

Real-ESRGANの特徴

高い画質: 従来の超解像モデルよりも精度の高い画質を実現し、ノイズやぼやけを抑えた鮮明な画像を生成できます。
幅広い対応画像: アニメ、イラスト、写真など、さまざまな種類の画像に対応しています。
使いやすいインターフェース: GUIツールが提供されており、専門知識がなくても簡単に操作できます。
豊富なモデル: 画質や処理速度の異なる複数のモデルが用意されており、用途に合わせて選択できます。
Real-ESRGANの用途

アニメやイラストの画質向上
古い写真の修復
低解像度の画像の拡大
ゲームのスクリーンショットの画質向上
印刷物の画質向上

といったもの。これを利用して動画を高画質化する。

# 使い方

https://github.com/xinntao/Real-ESRGAN/releasesの(現状最新の)ものを利用する

ここの

1
2


✅ We also update the ncnn.
Portable Windows / Linux / MacOS executable files for Intel/AMD/Nvidia GPU.

から自分の環境に合ったものをダウンロードする。

使いやすくするためにGUIをダウンロードし、Real-ESRGANと同じファイルに置いてもよい。

構造としては

こうする。その後、自分が高画質化したい動画を同じファイルに入れる。

これで準備はおわり

# 使い方

onepiece_demo.mp4という動画を高画質化する。例を上げる。GUIでも同じことをするだけなので今回はコマンドで行う方法を紹介する。

1
2
3
4
5
6
7
8
9


#最初に動画のフレームごとに分割し、全てjpgにする。めちゃくちゃ容量が増えるので注意
mkdir tmp_frames
ffmpeg -i onepiece_demo.mp4 -qscale:v 1 -qmin 1 -qmax 1 -vsync 0 tmp_frames/frame%08d.jpg
#この後高画質化したjpgを入れておくフォルダを作っておく
mkdir out_frames
#今回はrealesr-animevideov3というモデルを利用して高画質化する。めちゃくちゃ時間がかかる。
./realesrgan-ncnn-vulkan -i tmp_frames -o out_frames -n realesr-animevideov3 -s 2 -f jpg
#合体させる。元動画のフレームレートによって23.98のところを変更する。
ffmpeg -r 23.98 -i out_frames/frame%08d.jpg -i onepiece_demo.mp4 -map 0:v:0 -map 1:a:0 -c:a copy -c:v libx264 -pix_fmt yuv420p output_w_audio.mp4

# 終わりに

めちゃくちゃキレイになるが、めちゃくちゃ重たいし時間がかかる。

本当に大事なアニメだけ高画質化するのが良いと思う。

デカイHDD上で行うのが良いと思う。

＃PR

筆者が使っているもの、今回利用したもの

リンク