近日，北航国新院数据科学与智能计算科教平台团队的研究论文Pyramid-Angular-Constraint Network for Light Field Super-Resolution，正式发表于国际顶级期刊CVMJ，标志着团队在全域场景中光场的结构化建模与鲁棒语义理解方向取得了阶段性突破。
论文第一作者为北航国新院博士后杨达，通讯作者为北航计算机学院/国新院数据科学与智能计算科教平台盛浩教授。
原文链接：https://ieeexplore.ieee.org/document/11363133
Computational Visual Media，简称CVMJ，系清华大学可视媒体研究中心于2015年创办，主编为中国科学院院士、清华大学胡事民教授，副主编为英国卡迪夫大学Ralph Martin教授和美国马里兰大学Ming C. Lin教授。目前，CVMJ已被SCIE，EI，DBLP，Scopus等其他20多个数据库收录。
CVMJ于2022年6月28日获得第一个SCI影响因子4.127，2025年6月18日，CVMJ的影响因子上升到18.3，位居SCI一区(“计算机科学-软件工程”类，排第1名)。根据Scopus发布的数据，CVMJ的影响因子Citescore为28.5，也排在计算机图形学与计算机辅助设计类期刊的第一名。
光场相机能够在单次曝光中同时记录场景中光线的强度和传播方向，然而，由于空间维度与角域维度间的平衡关系，光场图像的空间分辨率受到限制，因此，超分辨成为光场图像处理中的关键环节。光场图像中像素在子孔径图像（Sub-aperture Image，SAI）间遵循线性坐标映射关系，因此，在超分辨光场任意目标SAI时，随着辅助SAI与目标SAI间角域距离的增大，从辅助SAI中提取的补充信息有效性逐渐降低。团队基于角域距离约束提出了一种新型光场图像组织结构——光场金字塔LF-pyramid，根据辅助SAI在目标SAI超分辨任务中的有效性分组利用，从而显著降低有效补充信息的提取难度，提升超分辨表现。据此，团队进一步提出了用于光场图像超分辨的金字塔角域约束网络LF-PACNet，基于LF-pyramid视角图像层级，高效提取有效性互补的特征。
△LF-PACNet网络结构图
具体而言，针对层中视角数量不固定的问题，设计了一种金字塔层内特征提取模块，在互补信息提取过程中对有效性近似视角一视同仁；针对层数不固定的问题，构建了一种循环跨金字塔层级特征补充模块，用于区分性地为目标视角补充高频细节。在公开数据集上的广泛实验结果表明，该方法在视觉效果和数值指标上均显著优于其他方法，在视差较大的困难数据集上表现尤为突出。
△与其他方法的对比
数据科学与智能计算科教平台
北航国新院数据科学与智能计算科教平台围绕物联感知、数据科学、智能计算、信息安全等方向开展教学与科研工作，培养人工智能背景下“新工科”专业人才。平台主要负责北航人工智能基座“小航”的研发、建设与运维以及北航智能算力平台的研发、建设与运维等工作。
平台长期开展视觉理解、光场成像和AI医疗等领域研究，相关技术在西湖景区、重点医院等进行了推广应用。团队首先提出全域光场理论，围绕光场图像处理发表TPAMI、TIP、CVPR、ICCV等顶级期刊/会议论文60余篇（其中，高被引论文10篇，热点论文4篇）；出版国内首部领域相关教材《光场图像处理》；申请/授权专利20余项，相关专利已在西湖景区等多地落地实施；提出首个大规模光场语义分割数据集UrbanLF，是第三届国际光场研讨会LFNAT 2023 CVPR Workshop挑战赛（深度估计、语义分割）指定数据集，也是目前光场图像语义分割领域唯一公认基准数据集；所提出一系列方法长期在光场深度估计通用Benchmark位居前列，获CVPR光场语义分割国际挑战赛冠军；研究成果得到新华社、人民日报、人民网等主流媒体宣传报道。
（审核：董卓宁 陈龙飞 盛浩）
最新动态