近日，智慧国家治理实验室副主任李玉军教授团队在SCI中科院一区TOP期刊《Pattern Recognition》发表题为《Semantic matters: A constrained approach for zero-shot video action recognition》的学术文章，该期刊影响因子为7.5。

论文提出了一种语义约束CLIP（SC-CLIP）方法，利用语义信息来调整CLIP，使其适用于视频识别，同时确保其在未见数据上的性能。SC-CLIP包括一个语义相关查询生成模块和一个语义约束交叉注意模块。首先，语义相关查询生成模块对CLIP中的密集标记进行聚类，生成语义相关掩码。然后，通过使用语义相关掩码汇集经调整的CLIP输出，得出语义相关查询。接下来，语义约束交叉注意模块会将生成的语义相关查询反馈回CLIP，以探测语义相关值，从而增强其利用CLIP视觉语言匹配功能的能力。通过生成语义相关的查询，语义信息有助于区分类似的动作，从而提高在未见样本上的性能。三个零镜头动作识别基准的实验结果表明，在两种设置下，谐波平均值分别提高了1.9%和2%。

该研究为视频识别的技术应用提供了新的理论框架和技术方法。山东大学智慧国家治理实验室副主任、信息科学与工程学院副院长李玉军教授为论文通讯作者，博士生权振振为论文第一作者。