21世纪是一个信息爆炸的时代，其中图像是日常生活中传递信息最直接有效的方式。在微信朋友圈中，我们通过凑齐九宫格晒出自己的饮食、看到的风景以及表达心情的配图。在每个人的手机中，我们会通过收藏照片来记录旅行中的风景、过年的团圆照、孩子的成长照、父母的容颜以及曾经的那个自己。但是某一天当你用双指放大过去的某个瞬间时，你是否发现曾经的那些照片由于手机摄像质量不好或者照片在保存中被压缩，导致想看的细节丢失。此时此刻，我们只能通过调取大脑中模糊的回忆来脑补曾经的那些点滴。现在，复旦大数据学院医学影像人工智能实验室（ZMIC Lab）可以通过神经网络自动复原图像中的细节，来帮助你找回曾经的“记忆”。
2022年3月29日（美国时间），相关研究成果以《通过深度建模图像先验的贝叶斯图像超分辨率》（“Bayesian Image Super-Resolution with Deep Modeling of Image Statistics”）为题在线发表在全球人工智能领域顶尖期刊《IEEE模式分析与机器智能汇刊》（IEEE Transactions on Pattern Analysis and Machine Intelligence，简称TPAMI）。该成果为无监督图像超分辨率提供了全新的研究思路。
图1. IEEE TPAMI (Eearly Access)
当你用一只手挡住半边脸时，人脑总能通过已有的认知脑补出另半边脸，这是因为我们在脑海中已经形成了人脸的原型。在玩拼图游戏时，人脑总能将各个图像块关联起来，并重新拼接为一副完整的图。那么人脑是如何将遮挡或者裁剪的图像复原的了？其实，我们能够通过半边脸复原另半边脸，是因为在大脑的认知中两边脸很像。同样地，我们能够将不同的两个图像碎片拼接到一起，也是因为在大脑的认知中它们更像。那么如何通过数学和统计方法来描述这种“像”了？为了研究这一问题，我们尝试建模图像的自相似性。所谓图像的自相似性是指相邻或者不相邻的图像块很相似，这正是人脑拼图时的一种先验认知。为了建模这种先验知识，我们从统计的角度出发，将图像建模为具有相似性的成分。紧接着，我们通过神经网络来学习这种相似性，从而重建出更加符合人脑先验认知的图像。与已有方法相比，贝叶斯图像超分辨框架可解释性强、泛化性能好，并且可以应用于真实场景。下图是贝叶斯图像超分辨率框架的示意图。
图2. 基于统计建模和变分贝叶斯的图像超分辨率示例：
(a) 概率图模型 (b) 贝叶斯推断示意图
2020年12月22日（美国时间），相关研究成果以《秩一网络：一个有效的图像复原框架》（“Rank-One Network: An Effective Framework for Image Restoration”）为题在线发表在全球人工智能领域顶尖期刊《IEEE模式分析与机器智能汇刊》（IEEE Transactions on Pattern Analysis and Machine Intelligence，简称TPAMI）。该研究为可解释的深度图像复原提供了新思路。
图 3. IEEE TPAMI (Early Access)
在拼图游戏中，我们常常通过图像块的相似性来拼接图像，但是当考虑整幅图的全局结构是我们会发现拼接错误。这是因为在图像拼接过程中，人脑过度关注了相邻图像块的相似性，而忽略了所有图像块的全局关联性。为了建模图像的全局相似性，我们从数学的角度出发，基于神经网络提出了深度秩一分解与重建框架。图像的秩一成分代表了图像的自相似性特征，这是建模图像的一种有效手段。因此，我们通过如下图所示的方式分解图像，从而一定程度上保持图像的全局相似性。
图 4. 图像秩一分解示例：左图为秩一分解示例，右图为不同方法秩一分解结果示意图
研究成果的第一作者是复旦大学大数据学院2018级博士研究生高尚奇，通讯作者是庄吓海教授。相关工作得到了国家自然科学基金和上海人才发展基金的支持。IEEE TPAMI是计算机视觉、模式识别与人工智能领域最顶尖的SCI期刊，2021年影响因子为16.389，是中国计算机协会（CCF）评选出的为数不多的人工智能领域A类期刊之一。近年来，复旦大数据学院医学影像人工智能实验室（ZMIC Lab）通过将数学、统计、人工智能与自然图像和医学影像相结合，先后在IEEE TPAMI发表了3项研究成果。
作者简介
高尚奇，复旦大学大数据学院2018级博士研究生，师从庄吓海教授攻读统计学专业理学博士学位。2015年至2018年在武汉大学数学与统计学院应用数学专业攻读理学硕士学位，研究方向为反问题计算与张量填充。2011年至2015年在西北工业大学数学系数学与应用数学专业攻读理学学士学位。当前的研究兴趣包括反问题计算、统计建模以及图像重建。曾经获得过国际大学生数学建模竞赛一等奖、硕士研究生国家奖学金和博士生研究生国家奖学金。目前在IEEE TPAMI、J Sci. Comput.和Neurocomputing等期刊上发表6篇文章，是IEEE TNNLS、Med Imag Ana.、IEEE TMI和Neurocomputing等期刊的审稿人。
庄吓海，复旦大学大数据学院教授、博士生导师，2010年在UCL获得博士学位。发表包括IEEE TPAMI、Med Imag Ana、IEEE TMI、MICCAI、IPMI、CVPR等论文100余篇。现任IEEE Trans Med Imag, Med Imag Ana、Neurocomputing.等多个期刊的副主编，以及国际学术组织MICCAI协会的理事（Board of Directors）。相关工作曾2次获MICCAI青年科学家奖提名，多篇文章入选顶级期刊Med Imag. Ana最高引用和热门下载论文。主要研究方向为医学影像、图像处理和大数据分析，涉及深度学习与计算机视觉、贝叶斯深度学习、弱/非监督学习、增量学习等在医学图像和自然图像中的研究。
论文发表
[1] Shangqi Gao and Xiahai Zhuang, Bayesian Image Super-Resolution with Deep Modeling of Image Statistics, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, DOI: 10.1109/TPAMI.2022.3163307
[2] Shangqi Gao and Xiahai Zhuang, Rank-One Network: An Effective Framework for Image Restoration, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, DOI: 10.1109/TPAMI.2020.3046476