腾讯开源首个3D医疗影像大数据预训练模型

自然图像领域中存在着许多海量数据集，如ImageNet，MSCOCO。基于这些数据集产生的预训练模型推动了分类、检测、分割等应用的进步。与自然图像不同的是，医疗影像大部分都是3D结构形态的，同时，由于数据获取和标注难度大，数据量稀少，此前并没有海量数据集及对应的预训练模型开源。

腾讯优图表示，这正是其开源MedicalNet的原因所在。目前，MedicalNet具备5大特性：

1、预训练网络可迁移到任何3D医疗影像的AI应用中，包括但不限于分割、检测、分类等任务；2、尤其适用小数据医疗影像AI场景，能加快网络收敛，提升网络性能；3、通过简单配置少量接口参数值，即可进行微调训练；4、提供多卡训练以及测试评估代码，接口丰富，扩展性强；5、提供不同深度3D ResNet预训练模型，可供不同数据量级应用使用。MedicalNet是如何做出来的？腾讯优图给出了解释：

MedicalNet聚集了来自多个不同3D医疗领域的语义分割小规模数据集，并提出了基于多分支解码器的多域联合训练模型来解决数据集中的标注缺失问题。这一预训练的适用性也很强，可以迁移到任何3D医疗影像应用的深度学习模型中。

为了衡量模型效果，他们将MedicalNet模型迁移到预训练时未接触过的Visceral和LIDC数据集中。并用它来完成全新的肺部分割和肺结节分类任务，并与目前常用的从零训练（train from scratch）以及Kinetics视频3D预训练模型在性能以及收敛速度上做了比较。

在肺部分割应用上，与Train from Scratch相比，MedicalNet在Dice上有16%到33%幅度的提升，与Kinetics相比有4%到7%幅度的提升。在肺结节良恶性分类应用上，与Train from Scratch先比，MedicalNet的预测准确度提升了6%到23%幅度，与Kinetics相比，提升了7%到20%。

在收敛速度上，无论是在肺分割任务还是肺结节分类任务上，MedicalNet都能为模型提供一个较低的初始化损失值，明显加快损失下降速度。腾讯在AI医疗方面沉淀已久，近年来业内名声愈盛，刷新多项世界纪录。比如今年6月，全球胸部多器官分割大赛上，腾讯优图与厦门大学王连生老师实验室联手，刷新3项全球新纪录。在此此前，双方也在肝分割、肝肿瘤分割两项技术挑战赛中斩获世界第一。

腾讯优图表示，其医疗AI已经具备进行上亿规模的模型训练及合作接入的能力。而且，他们不仅仅只是研究，技术落地也早已开始。近年来，这些医疗AI技术正在通过腾讯旗下首个医疗影像产品“腾讯觅影”持续对外输出，目前已支持宫颈癌、肺癌、糖尿病视网膜病变等癌症筛查，并在国内100多家顶尖三甲医院进行落地。