ai超分辨率-更新

zhihuizhiguang4

上次用的proteus模型是官方推荐的，算是比较均衡的模型，但是我测了一些，感觉对8k超分效果不太好，超分后的视频细节不够锐利，边缘还是有些模糊，不过噪点和杂色处理的不错。我猜测是模型训练数据主要还是针对主流分辨率的，对8k超分支持不好。


上面的对比图是用rheaxl模型，就资源消耗来说，低于最新的星光mini（而且星光mini模型似乎不支持超分到8k），显著高于其他模型。根据cpu压力变化估算，显卡侧的压力应该是proteus模型4倍以上
效果见上面的对比图，原视频分辨率4096*2048，码率31mbps，根据对比，可以看出超分后的画面细节相当优秀，并不是简单的锐化处理，甚至能超分出发丝的质感，几乎能与流出的某些8kvr媲美。不过显然也有缺点，ai修出来的视频，某些画面有概率出现鬼脸，有时肤质细节会被重构为更均匀的表面（也就是常说的“磨皮”或“生成式光滑”效果），在某些区域（尤其原始细节不足的地方），模型会生成看起来合理但与原始不一致的细节，毛发、睫毛等在某些情况下也会被模型“合并”或“重绘”，导致细节丢失或变形。
不过就我个人而言，以及在vr视频素材分辨率还远没有到达匹配“视网膜显示器”概念（实际上8kvr才差不多能与quest3显示器达到近似点对点的效果）的前提下，以上的大部分缺点，都会被分辨率倍增而带来的巨大观感提升所掩盖。
最后，抛开上面提到基于画面的分析，最大的缺点并不在画面，资源消耗才是最大的问题，下面这张图是之前在跑上面预览图中视频时的过程

可以看到在显卡满载的情况下，19分钟的视频需要连续运行20个小时左右，一小时的视频就需要运行60小时，抛开时间成本，光电费就需要20块以上，恐怕比很多人多年来看片加起来的电费还多。再加上算力成本，4090月租900块，5080按一半，三天也将近50块，这样算下来一部1小时的vr超分成本就是70块左右（这里实际上还没有计算cpu等其他硬件成本，不过对于普通用户，cpu在不构成瓶颈的情况下其实没什么成本）。顾及到这个成本大小，普通用户找几部特别喜欢的片子超一超还是可以的，不过相较于我本地几百个视频几小时时间就能跑出中文字幕的效率还是差远了，ai生成字幕现在算是比较成熟的。
下面还是附上两张图片
demo.zip (3.46 MB)

前天 23:58 上传

点击文件名下载附件

zhihuizhiguang4

其实压制出来码率大也算个问题，1小时视频用av1压出来大概不到40g，按机械硬盘100块1t算，其实也就4块钱，与超分成本相比算个零头。与破解片更大差不多一个道理，破解高码率是为了挽救重新压制的画质损失，这里是为了给出更大的码率空间以尽可能保留超分出的细节

zhtsai1988

虽然Rhea看起来提升很好
但Rhea皮肤大机率看着会有塑胶感

用Proteus比较折衷, 转换速度较好, 硬体较不吃力
Proteus x4会比Proteus x2好
该模型在2.4 倍及以上倍率下才会被触发
所以1080升8K会比4K升8K更明显
参数也要调整
建议可将"固定压缩"设定为 30-40
"细节"设定为40-60, "锐化"设定为15-30
细节增强和锐化都可试试最大化
其他参数0或依个人视频去做调整

输出码率依个人习惯设定动态或固定
个人是习惯固定用原视频的码率
去乘上视频放大倍率
通常是用1.5倍到4倍
只是个人习惯性选择, 不会较好

hzwzc21

好哥哥艾这修复能暂停吗一直开电脑？

zhihuizhiguang4

zhtsai1988 发表于 2025-8-9 05:50
虽然Rhea看起来提升很好
但Rhea皮肤大机率看着会有塑胶感

图1左proteus改参，右rheaxl默认。图2左proteus改参，右proteus默认。
就乘2分辨率下proteus表现确实较差，感觉只修图没超分，分辨率似乎没提升，锐化带来的提升看起来也有限，下图是左proteus改参，右原视频。也许乘四效果会好点，不过我手头没有2048*1024的vr资源

zhihuizhiguang4

hzwzc21 发表于 2025-8-9 07:16
好哥哥艾这修复能暂停吗一直开电脑？

软件提供暂停功能，不过我没试过，也不太推荐，软件优化一般

1016650170

用lris我都是用这个的，你想超最好是4k视频超8k

799158253

纯技术贴，顶!

zhihuizhiguang

1016650170 发表于 2025-8-9 17:48
用lris我都是用这个的，你想超最好是4k视频超8k

Iris修人脸不错，不过感觉有点破坏景深效果，而且对除人脸外其他纹理效果不太好，比如衣服，黑丝之类的。修全裸的效果应该不错，不过我喜欢穿衣服做的