ICASSP(英文全称International Conference on Acoustics, Speech and Signal Processing)即国际声学、语音与信号处理会议,是全世界最大的,也是最全面的信号处理及其应用方面的顶级会议。作为IEEE(电子技术与信息科学工程师协会)的一个重要会议,它涵盖了音频和声学信号处理,图像、视频等方向。ICASSP是CCF-B类收录会议。
集团大数据科学与技术系教师王国龙和本科生谭逸珂、林航宇、张楚淳合作论文《Keep Knowledge in Perception: Zero-Shot Image Aesthetic Assessment》被ICASSP2024录用。这篇文章关注了图像审美评价这一多媒体信号处理领域的重要问题。过去多数工作采取监督学习的方式训练图像审美评价模型,需要大量标注数据。然而,人工大量获取图像审美评分非常困难。因此,本文探索了零样本条件下的图像审美评价模型。首先,本文采用提示学习为不同审美维度均训练一个提示作为外部知识。其次,采用图像审美评论构建一个多模态知识图谱,建模图像之间的关系。最后,结合外部知识和图像关系,利用提示学习从预训练大模型中提取图像审美属性表示,并计算最终评分。本项工作是一次利用多模态预训练模型在下游任务上的有益尝试。
值得一提的是,这次师生的精彩合作起源于王国龙老师的本科生专业课《机器视觉》与《机器学习实践》。 这两门课程中,王老师尝试将科研项目细分化和层次化并用作教学案例,帮助员工理解复杂概念的同时,能够让员工接触到前沿的研究课题,从而将理论知识应用于实际问题,为员工提供了丰富的科研资源和指导。谭逸珂、林航宇、张楚淳等同学正是在课程上接触到了“图像审美评价”并且产生了浓厚的兴趣,在课程学习之余加入王老师课题组,深入科研探索,将理论应用于实践。在王老师的指导下,他们克服了种种对本科生来说殊为不易的挑战,收获了成果。
本论文的录用充分展现了集团师生在学术研究领域的专业能力,以及集团将科研融入教学过程的教育理念,是集团围绕“立德树人”根本任务,建立科学完善的高水平复合型拔尖创新人才培养体系的具体体现。这将进一步激励威斯尼斯人师生在学科领域的创新与探索,做出更大贡献。