总结汇报 2025/11/11

本文属于总结性汇报（两周一次），详细内容可以参见每周一次汇报

1 第一周

详细周报链接

本周主要工作在于阅读文献，补充视频编码的基础知识，同时搜集关于主观优化方向的指标

1.1 视频编码基础

主要阅读了以下文献

1. Yang, R., Liu, D., Ma, S., Wu, F., & Gao, W. (2024). Perceptual Quality-Oriented Rate Allocation via Distillation from End-to-End Image Compression. ACM Transactions on Multimedia Computing Communications and Applications, 20(7), 1–22. https://doi.org/10.1145/3650034
2. Dong, C., Ma, H., Li, Z., Li, L., & Liu, D. (2023). Temporal Wavelet Transform-Based Low-Complexity perceptual quality enhancement of compressed video. IEEE Transactions on Circuits and Systems for Video Technology, 34(5), 4040–4053. https://doi.org/10.1109/tcsvt.2023.3316834
3. Yang, R., Liu, D., Ma, S., Wu, F., & Gao, W. (2024b). Perceptual Quality-Oriented Rate Allocation via Distillation from End-to-End Image Compression. ACM Transactions on Multimedia Computing Communications and Applications, 20(7), 1–22. https://doi.org/10.1145/3650034

其中第二篇的参考价值相对较大

Temporal Wavelet Transform-Based Low-Complexity Perceptual Quality Enhancement of Compressed Video

“感知信息”在时域低频，高频多是帧间变化残差。若只增强“低频”，即可以极低算力提升全片主观质量。作者用一个替换实验做了强验证：把压缩视频的低频帧替换为原始视频的低频帧（高频仍取压缩视频），重建后PI几乎等同原始视频，显著优于原压缩版本

主要应用的方法包括 小波变换生成高低频帧，运动估计模块来获取运动矢量

1.2 主观优化

主要调研了主观优化的性能指标，优先关注客观流程跑通，随后可以添加主观特化的模块，应用以下不同的指标来进行额外的主观优化指标

1. LPIPS
2. DISTS
3. SSIM
4. VMAF

2 第二周

本周工作集中在使用 Basic-SR 框架进行一些实操工作

详细周报链接

2.1 Basic-SR 代码理解

对 Basic SR 项目代码进行了框架性理解，主要包括 train 的入口函数程序，如何编写一些个人的数据集操作，具体内容和笔记可以参考详细周报

2.2 背景工作

本周花费了大量的时间在 熟悉新旧平台服务器的使用，以及数据处理部分

关于环境搭建主要包括两项：

1. 学习并熟悉 Docker 的使用操作，并学习在服务器上的实际部署
2. 掌握实验室服务器操作流程，包括新旧存储服务器挂载和写入

对应操作笔记可以参考：Docker 的使用 和 服务器操作指南

2.3 EDVR 网络训练

参考论文：

Wang, X., Chan, K. C. K., Yu, K., Dong, C., & Loy, C. C. (2019). EDVR: Video restoration with enhanced deformable convolutional networks. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). https://doi.org/10.1109/cvprw.2019.00247

EDVR 是 BasicVR 中的一个网络模型，主要目标是实现超分辨率，超分辨率是项目计划中后处理的一部分

训练网络直接采用了 NVDEC 的数据进行操作，没有使用 BasicSR Demo 中的 REDS，成功在计算服务器上代码跑通

然而不顺利的是训练模型规模极大，优化了很多个方向依旧不符合预期，因此计划更换后处理模型，要求使用轻量化网络

3 项目规划

3.1 下一步

1. 更换后处理模型：目前待选的网络模型还有可以是 BasicVSR，下周可以使用同量级的数据测试参数量于训练的速度。
2. 同步测试性能指标：包括常规的 PSNR 以及主观优化指标 LPIPS 等