科研动态
当前位置: 首页 科学研究    科研动态
我院大规模科学计算与人工智能课题组在彩色图像和视频修复领域取得进展


数学与计算机学院讯:日前,人工智能与模式识别领域顶级期刊《Pattern Recognition》(中国科学院大类小类双一区Top期刊,IF:7.6))上刊登发表了我院大规模科学计算与人工智能课题组的论文“Low-Rank Quaternion Tensor Function Representation with Spatiotemporal SVTV for Color Video Recovery”。论文第一作者是数学与计算机学院2023级博士研究生邹金坪,其指导老师汪祥教授为通讯作者,江西科技师范大学任欢博士、南昌大学何庆华教授、陈朦副教授为论文合作者。

1.png


期刊介绍

Pattern Recognition》是模式识别与人工智能领域的国际权威学术期刊,具有深远的学术影响力。该期刊创刊于1968 年,主要刊载模式识别、机器学习、计算机视觉、图像处理及其在各领域应用等方面的最新前沿研究成果。

论文简介

作为一种用于彩色视频恢复的新颖方法,低秩四元数张量补全将彩色视频表示为统一的四元数结构,以刻画 RGB 通道之间的相关性。然而,现有大多数方法依赖于基于离散因子结构的低秩分解策略,在捕捉随时空坐标变化的全局相关性方面存在固有局限。此外,传统平滑性先验通常基于像素级梯度构造,忽略了彩色数据中饱和度与明度变化的不同特性。为克服上述局限,研究提出一种低秩四元数张量函数表示方法,利用神经网络的隐式连续性,更准确地刻画彩色视频的离散四元数张量结构。在此基础上,进一步引入由神经表示驱动的时空SVTV正则项,以在统一的连续域中捕捉全局时空相关性,从而促进空间平滑性和时间一致性。此外,研究还证明了所提出的四元数张量补全模型至少存在一个解,并进一步从 Lyapunov 能量函数的角度建立了优化算法的收敛性。理论结果表明,所构造的 Lyapunov 能量收敛到目标函数在某一临界点处的函数值,从而说明所提出的迭代优化方案具有稳定的收敛性质。数值实验表明,在不同采样率以及多种空间和时间缺失模式下,所提出方法相比若干先进方法取得了显著更优的恢复性能。

2.png

      上述定理指出,对于所提出的四元数张量神经网络模型,在参数空间非空、有界、闭的假设下,其能量泛函(数据保真项与正则项之和)必然存在至少一个极小值点。该定理从理论上保证了模型解的存在性,为算法的收敛性分析提供了前提条件。

2. 不同对比方法获得的彩色视频补全结果


图3. 随机选取的空间位置处像素值的时间变化曲线

上图展示了所提出方法在彩色视频补全任务中的实验效果分析,主要包括视觉恢复结果和时间一致性评估两个部分。图 2 通过对比不同方法在多个测试视频上的补全结果,直观展示了所提方法在结构保持、纹理恢复和细节重建方面的优势;图 3 则选取固定空间位置 (105,170) 处的 RGB 像素值变化曲线,进一步验证了所提方法在时间维度上能够更好地保持动态变化趋势和帧间一致性。

图4 展示了两个测试视频数据在不同缺失场景下的相对误差随迭代次数变化曲线,用于评价所提优化算法的收敛行为。可以看出,在各类缺失模式下,相对误差均在迭代初期快速下降,并逐渐趋于稳定,说明所提出的方法具有较好的数值收敛性和求解稳定性。








图4. 两个测试视频数据在迭代过程中的相对误差变化曲线

值得一提的是,这是我院大规模科学计算与人工智能课题组2026年在该期刊发表的第二篇学术论文。今年1月,该课题组已在同一期刊发表了题为《A Bayesian Deep Prior-Based Quaternion Matrix Completion for Color Image Inpainting》的研究成果。该论文针对单幅受损彩色图像的修复问题,提出了一种融合贝叶斯深度先验与四元数矩阵补全的创新方法。该方法通过引入贝叶斯推断机制对深度图像先验进行正则化约束,在利用深度网络强大表征能力的同时,有效缓解了传统深度图像先验方法中常见的过拟合问题。实验结果表明,该方法在多种退化场景下均能实现更加稳定、自然的图像修复效果,尤其在纹理细节保持与颜色一致性方面表现优异。

此外,该课题组近两年来在基于四元数编码的彩色图像修复领域取得了系统性研究进展,围绕低秩表示、随机化加速、TV正则化、深度先验等方向开展了深入探索,相关成果相继发表在计算数学和人工智能领域权威期刊《Numerical Linear Algebra with Applications》、《Neurocomputing》、《Numerical Algorithms》上。

南昌大学数学与计算机学院

School of Mathematics and Computer Sciences, Nanchang University


地址:南昌大学前湖校区理科生命大楼A区四楼

电话:0791-83969506

邮箱:smcs@ncu.edu.cn

常用链接


南昌大学

南昌大学图书馆

南昌大学招生与就业工作处

微信公众号