我院博士研究生卢冰硕在国际顶级期刊IEEE TCSVT上发表最新研究成果

近日，我校计算机与通信工程学院刘志刚教授团队在复杂人类动作识别研究领域取得重要进展，研究成果“MR-MAR：Multi-Layer Representation Learning for Multi-Modal Action Recognition（MR-MAR：用于多模态动作识别的多层表示学习）”发表在国际权威学术期刊IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY（中科院一区，影响因子11.1，关注多媒体、视频技术、图像处理领域）。博士研究生卢冰硕为论文第一作者，刘志刚教授为论文通讯作者，东北大学为唯一完成单位。

图1  封面图

图2  多模态多层动作识别算法

人类日常动作识别是计算机视觉领域的研究热点，在智能监控、人机交互、医疗保健等领域具有广阔的应用前景。多模态复杂动作识别面临层次表示不清晰与跨模态对齐不充分等挑战，针对上述挑战，本研究提出的多模态多层动作识别框架（MR-MAR），创新性地将对比学习用于运动原子跨模态空间对齐，并引入宽度学习策略实现高效、可扩展的多模态原子融合，同时通过隐藏状态捕获原子间的时序依赖，实现多模态复杂动作的层次化表示和识别。论文在多个权威的多模态基准数据集上展开了广泛实验评估，充分验证了MR-MAR算法的有效性，为多模态动作识别领域提供了新思路。该研究工作获得国家自然科学基金、河北省自然科学基金等项目资助。