ComfyUI Ultimate SD Upscaleのアプスケ修正
ComfyUI Ultimate SD Upscaleの不具合を回避
生成AIでは、近年Illustrious-XLやNoobAI-XL (NAI-XL)といった
新モデルやその派生モデルが界隈を席巻しています。
それまで主流だった、Animagine XLやPonyと派生が追いやられるくらいの勢いです。
とはいえPony派生も男性向き創作な方向では根強い支持がありますし、非力デバイス界隈ではSD1.5も使われてますが。
よく見ると区画ごとに色がおかしくなっています。
ただ、Animagine XLやPonyで使えていたアップスケールのワークフローが
Illustrious-XLやNoobAI-XLでは、色化けや
描画不良の不具合を起こすようになり、長らく悩みの種でした。
Ultimate SD Upscaleを使ったアップスケール
自分の場合は顔修正→Ultimate SD Upscaleで再描画と拡大をおこなっていました。
前段階で顔修正されたイメージを受け取って
Ultimate SD Upscaleでモデル(RealESRGAN_4plus_anime_6b.pth)を使った
2倍のアップスケール（本来は4倍）をかける形です。
これをIllustriousやNoobで使うと
上記のように境目での描画不良や色のまだら化けを起こしたりします。
特にひどい事例が上です、コートのポケットがおかしいですし
さらに1/4ずつ色味が変わっています。
タイリング処理での拡大縮小時に、何らかの不具合がでるのかなぁ？と。
Ultimate SD Upscaler(no upscale)でワークフローの修正
とりあえず確認したところ
Load upscale modelでRealESRGAN_4plus_anime_6bを使った
単純拡大は問題なく動作しました。
ただこれだと4倍になって扱いが面倒なのと、精細感が微妙に；
Ultimate SD Upscale側でアップスケール処理を実行しないなら
問題なくいけそうかな？と推測しました。
Ultimate SD Upscaler(no upscale)というのがあったので
拡大処理は外側で行い、他の処理だけを行ってもらうように書き直してみました。
やっていることは
4倍拡大 <Load upscale modelにRealESRGAN_4plus_anime_6bとUpscale Image(using Model)>
それを2倍拡大に縮小<upscale image byで0.5倍に縮小>
そこからUltimate SD Upscaler(no upscale)に処理を投げるというかたち。
本来の挙動そのままではないのですが、とりあえずまぁいいかと妥協しています。
追記）0.5倍をbypassさせて4倍でも動作しました。
あ、そうそうUltimate SD Upscalerを使うときには
デフォルトからTiled_decodeをオンにするのを忘れないようにしましょう。
違いが分からないかもなので等倍置いておきます。
2.7MBなので注意。
ちなみにたくさんの枚数を処理したら、メモリリークして動作怪しくなりました；
4倍処理はてきとうに再起動したほうがよさそうです。
これで問題なくアップスケール処理ができるようになりました！
最近は他の手法もあるので、ちがうやり方のがいいかもしれませんが。
しかしあれですね、ComfyUIは電子ブロックみたいな感じですね（年がばれる）
余談ですが、叡知な飴玉の舐め方を繰り広げてたいへんでした；シェ〇ミーとか。
やっぱこの辺は、サンプルの偏りやタグ数によるのかなぁ。safeタグ貼らないとダメとかどんだけ。