在癌症诊断领域，病理图像分析是癌症诊断的“金标准”。随着扫描技术的进步，传统病理组织标本已逐步数字化为全切片图像（Whole Slide Image, WSI），这一变革为计算机辅助诊断提供了新的机遇。然而，由于全切片图像具有超高分辨率（如单张图像可达4万×4万像素）且缺乏细粒度标注，传统深度学习方法难以直接应用。多实例学习（Multiple Instance Learning, MIL）作为弱监督学习范式，仅需图像级标签即可实现分类与肿瘤定位，成为当前研究热点。然而，MIL范式固有的弱监督信号与WSI中阴阳性实例分布失衡的双重挑战，造成模型对于阳性特征的学习不足，进而导致注意力定位偏差，影响模型性能与临床可应用性。
面对这一挑战，清华大学深圳国际研究生院王润铭团队与哈尔滨工业大学（深圳）团队携手合作，针对全切片病理图像分类中注意力机制定位不准确的难题，提出了名为“FAMIL”的新型多实例学习框架。该框架采用了双分支结构，并结合了两种创新的在线数据增强策略：基于注意力的混合（ABMix）和基于注意力的掩蔽（ABMask）。FAMIL框架中的ABMix策略强调了阳性实例的重要性，在MIL场景中推广了Mixup。而ABMask策略则灵活地识别具有挑战性的阳性实例，以优化特征学习。值得注意的是，FAMIL具备即插即用特性，可以灵活嵌入现有注意力模型，从而提升模型的性能与泛化能力。
图1 FAMIL网络架构
研究团队还选取了ABMIL、DSMIL、TransMIL三种主流注意力MIL方法作为基线模型，并在涵盖不同癌症类型的多组数据集上进行了验证。实验表明，经FAMIL优化后的所有基线模型性能均得到了显著提升。同时，研究团队还将经过FAMIL优化后模型与其他先进的MIL方法进行了比较，进一步验证了研究架构的有效性和先进性。
表1 对比实验结果
此外，FAMIL框架中的ABMix为阳性区域构建多样化阴性环境，ABMask对WSI中阳性硬实例进行灵活挖掘，两大策略共同增强了模型对阳性特征表征学习，改进了基于注意力的MIL方法肿瘤定位能力，显著改善了阳性WSI中注意力定位不准确和阴性WSI中注意力分布不平衡的问题。
图2 注意力可视化图
相关研究成果以“集中注意力：基于注意力修正的全玻片病理图像分类多实例学习”(Focus Your Attention: Multiple Instance Learning with Attention Modification for Whole Slide Pathological Image Classification) 为题，发表在期刊《IEEE电路与系统视频技术汇刊》(IEEE Transactions on Circuits and Systems for Video Technology, TCSVT)上。
该论文的第一作者为清华大学深圳国际研究生院2022级硕士生程海伦，通讯作者为清华大学深圳国际研究生院王润铭助理教授，哈尔滨工业大学（深圳）张永兵教授为共同通讯作者。论文的共同作者还包括哈尔滨工业大学（深圳）2022级博士生黄沈锦、2023级博士生蔡凌翰，清华大学深圳国际研究生院2022级硕士生徐炀帆。该研究工作得到了清华大学深圳国际研究生院交叉基金、国家自然科学基金的支持。
论文链接：https://doi.org/10.1109/TCSVT.2025.3528625
图/文：程海伦、王润铭
编辑：戴雨静
审核：聂晓梅
