2021年11月17日，伍伦贡联合研究院举办了题为“人工智能理论关键理论与应用”的技术分享会。武汉理工大学李琳教授和中国地质大学（武汉）孙琨副教授受邀为大家奉献了一场最新技术的饕餮盛宴。讲座由胡威教授组织，罗凡同学主持。联合研究院2020级和2021级研究生共同参与。

第一场技术分享由李琳教授主讲。讲座中，李老师用深入浅出的语言为大家介绍了什么是多模态数据、多模态数据分析目前所面临的核心技术挑战以及如何将机器学习的方法应用于多模态数据分析中。李老师介绍，目前多模态信息处理所面临的核心技术挑战主要包括五点：多模态表示（Representation）、对齐（Alignment）、协同学习（Co-learning）、融合（Fusion）以及模态转换（Translation）。

随后，李老师着重介绍了其课题组的近期研究进展。在其课题组发表于ICMR2020的一篇论文中，作者指出食谱中连续句子的顺序和食物图像中的噪声会影响检索结果，并在此基础上提出了一个新的交叉检索框架。在该框架下，课题组提出了三种新策略来提升检索准确率。实验表明，提出的新框架在中位数排名和召回率方面显著优于原有算法。除本文外，李老师还介绍了课题组在2021年在该领域的最新研究成果。

最后，李老师总结道，目前多模态表示和模态转换已经吸引了越来越多研究者的目光，对这些领域的研究已经并将继续产生大量新的多模态算法和多模态应用。对多模态机器学习的研究，将有助于打破各领域的隔阂，推动领域共同进步。

多模态机器学习

学生认真聆听

第二场技术分享由孙琨副教授主讲。孙老师专注于计算机视觉领域，本次分享为大家介绍了多视图特征匹配方法的相关研究与应用。

多视图特征点匹配是指从多个视角拍摄同一客体，将客体中的比较鲜明的特征点在多个图片中进行匹配。图像特征匹配是三维计算机视觉领域的基础性课题，目前已经有很多传统方法来实现这一目标，包括目标追踪（Object tracking）、光流法（Optical flow）、单应性变换（Homography）、对积几何（Epipolar geometry）等等。不过，迄今为止仍有许多挑战未能完美解决。孙老师还介绍了课题组近年来在该领域的主要工作：课题组提出了两种方法来实现多视图特征点匹配，分别为HGMM方法（Hybrid Gaussian Mixture Model）和C2F方法（Cycle Consistency Fusion of Multiple Descriptors）。

多视图特征匹配方法研究及应用

在两位嘉宾分享后，同学们为二位的精彩报告致以了热烈的掌声，讲座在同学们的讨论声中结束。会后，同学们普遍反应在本次学术分享中获益良多，并希望学院以后继续组织此类活动，拓宽大家的学术视野。

主讲嘉宾简介：

李琳，武汉理工大学计算机科学与技术学院教授、博导、日本岩手大学特聘海外研究员、CCF YOCSEF武汉2020-2021主席、CCF信息系统专委会委员、CAAI青工委委员、武汉计算机软件工程学会理事。2009年获东京大学信息理工博士学位，2014-2015悉尼科技大学访问学者。从事信息检索、推荐系统和文本挖掘等领域的研究，近年来主持国家基金2项、主持和参与日本学术振兴会项目和省部级项目等10余项。担任Web Intelligence和Human-Centric Intelligent Systems期刊编委、WWWJ的Guest Editor，发表高水平学术论文80余篇, 主编或参编英文专著2本(17,094 章节下载次数)，中文专著2本。

孙琨，中国地质大学（武汉）计算机学院副教授。中国图象图形学会（CSIG）三维视觉专委会委员、视觉大数据专委会委员。2017年6月于华中科技大学人工智能与自动化学院（图像识别与人工智能研究所）取得工学博士学位。主要研究方向为计算机视觉、图像匹配、多视图三维重建、点云处理等。在CVPR、IEEE Transactions on Image Processing、IEEE Transactions on Multimedia、Information Sciences、IEEE Signal Processing Letters、IEEE Geoscience and Remote Sensing Letters等期刊和会议上发表文献19篇；授权发明专利4项；主持国家自然科学基金青年项目、面上项目各一项。

记录：张晟睿，管璇，胡瀚文

摄影：张晟睿，曾笑，邵帅，陶兴宇

撰稿：田槐鑫

排版：耿欣悦

审校：温嘉钰