ECCV2022-RIFEと愉快なモデル

• モチベーションが足りないので実装しない

何をするもの？

• むかし Stable Diffusion で動画作ろうと思って試してたフレーム補完ツールを動かすコード
• 動画のフレーム補完をAIでいいかんじにするやつ
• animatediffのような涙ぐましい動画生成技術で足りないfpsを補うために使えそうなツール
  • EasyPromptAnime に同梱されてるらしい
• 4倍くらいに補完したいけど、ヌルヌルしてて気持ち悪いらしい？

インストール

• 本家は https://github.com/megvii-research/ECCV2022-RIFE らしい
• なぜかgoogle driveから(非公式の?)モデルをダウンロードしないと使えない
  • https://drive.google.com/file/d/1APIzVeI-4ZZCEuIRE1m6WYfSCaOsi_7_/view
  • 以前はモデルのダウンロードがなぜか baidu 経由しかなかったので苦労した
• 本家からリンクされている様々な派生製品があり、モデルの改善が続いているように見える
  • どれを選べば最善かまでは調べてない
• torch, torchvisionが古いバージョンに固定されていた問題は現状では解消されている

動作方法

• pythonで実装されているがコマンドライン版しかない
  • これを gradio や fastapi にするのがめんどくさい
• Windows用のスクリプトとバッチを配布している事例がある
  • https://qiita.com/amaman/items/743c42d365a4e3bc155f
  • これもコマンドラインを経由するのでいじるのがめんどい
  • Super-SloMo という別のツールにも対応しているのが興味深い

やりたかったこと

• 動画を投げると指定のfpsに変換してくれる space を作りたかった
• 上述の rife_video を移植するのが一番楽そうだけどかえってややこしくなりそうでもある

自分で使う予定が無いので一旦保留。