本文节选自研究报告《深度学习与医学图像分析的行业图谱》、图册《深度学习与医学图像分析的行业图谱》。研究报告《深度学习与医学图像分析的行业图谱》（以下简称“报告”）由清华大学五道口金融学院资本市场与公司金融研究中心编写。报告仅供研究使用，并非为提供咨询意见而编写。

行业图谱聚焦于科技成果这一核心要素，研究目标定位于清晰理解前沿科技成果的技术核心、科创企业的技术竞争力及科研工作者的研究进度，从而助力科技成果转化效率的提升。

行业图谱研究将以系列形式展开，选取国家战略重点科技领域的商业应用场景逐一进行，时效性较强。研究集中在人工智能、量子信息、集成电路、生命科学、生物育种、空天科技、深地深海、现代能源等前沿领域。

本报告为行业图谱的生物医药领域：深度学习与医学图像分析行业。深度学习具有多个隐层以及自主学习优良特征的能力，广泛地应用到图像处理领域。本研究通过梳理医学图像分析的特点、深度学习的基本原理，着重研究了深度学习在医学图像分析中应用的技术流程和难点，卷积神经网络模型在医学图像分析中的应用，以及手术导航在国内外的发展现状、未来趋势等。

01 深度学习与医学图像简介

人工智能（Artificial Intelligence，AI）是计算机科学的一个分支。该学科是对人的意识、思维的信息过程的模拟。机器学习（Machine Learning，ML）是人工智能的主要核心部分，主要是设计和分析一些让计算机可以自动“学习”的算法。深度学习（Deep Learning, DL）是机器学习领域中一个新的研究方向，学习样本数据的内在规律和表示层次，并可应用于搜索技术、数据挖掘、机器翻译、自然语言处理等行业。

快速医学图像处理算法的发展以及病变组织和介入对象精细定量信息的提取对于在微创介入手术中实现正确的手术指导至关重要。根据医学图像信息处理方法和处理目标的不同，医学图像分析方法主要包括图像配准、图像定位与检测和图像分类与识别。

02 深度学习在医学图像分析中的技术发展和方法流程

深度学习是机器学习领域中一系列试图使用多重非线性变换对数据进行多层抽象的算法，不仅学习输入和输出之间的非线性映射，还学习输入数据向量的隐藏结构，以用来对新的样本进行智能识别或预测。深度神经网络（Deep Neural Network，DNN），尤其是卷积神经网络（Convolutional Neural Network，CNN），是医学图像分析研究的一个主要方向。如下图所示，在头颈部危及器官自动分割任务中，经训练后的CNN网络被用于在测试组图像中对体素（体积元素）进行分类。

（1）训练深度学习模型所需要的条件及关键性技术竞争点

在开发深度学习模型当中，硬件、软件、算法（数据科学）、以及数据是不可缺少的四大部分，也是决定一个深度学习模型的优劣：

①硬件： GPU提供了多核并行计算的基础结构，提高计算速度，解决复杂的计算问题；Nvidia（英伟达）公司上市Turing架构的RTX系列的GPU卡，增加了Tensor张量计算单元，大幅提升了深度学习关键的矩阵乘法计算以及卷积计算的性能。

②软件：通过利用深度学习框架，企业可以根据自身行业的特点和场景需要，更快更便捷地开发AI应用，不再需要从0到1地搭建地基，极大提升了产业智能化的效率和水平；有了这些基础的平台和工具，我们就可以避免重复发明轮子，而专注于技术研究和产品创新。这些框架有早期从学术界走出的Caffe、Torch和Theano，到现在产业界由Google领导的TensorFlow、Amazon选择押注的MXNet、Facebook倾力打造的PyTorch、Microsoft内部开源的CNTK等等。

③算法（数据科学）：主要提高目前界内算法的提升效率、降低能耗、增加功能、提升可信度、增强鲁棒性、降低实现难度等；

④数据：实现人机协智的互联网智慧医疗模式，开展大数据人工智能跨区域、跨学科，实施精准的医疗影像标注。

（2）深度学习的挑战及其解决方案

深度学习的成功主要归功于三大因素——大数据、大模型、大计算。下面总结了对深度学习挑战和解决方案的介绍：

①从无标注数据学习解决标注数据代价昂贵问题：当前深度学习的一个前沿就是如何从无标注的数据里面进行学习。现在已经有相关的研究工作，包括生成式对抗网络以及对偶学习；

②降低模型大小解决大模型不方便在移动设备上使用的问题：现在常见的模型，模型大小差不多都在500Mb以上。如何设计一个更巧妙的算法，使得它模型变小，并且同时精度没有损失，是模型压缩的重点研究；

③全新的硬件设计、算法设计、系统设计解决大计算需要昂贵的物质、时间成本：通过一些全新的硬件设计或者算法设计，使得这种训练能够大大的加速；

④通过多模态数据结合实现从小样本进行有效学习：通过把深度学习、知识图谱、逻辑推理、符号学习等等结合起来，使人工智能更接近人的智能；

⑤通过博弈机器学习将从认知性的任务扩展到决策性任务：通过观察环境和其他个体的行为，对每个个体构建不同的个性化行为模型，最后选择一个最优策略，该策略会自适应环境的变化和其他个体的行为的改变。

（3）深度学习应用于临床试验的流程

临床试验中医学影像的标准化对于避免可能导致研究结论无效的偏见和错误至关重要。标准化在多站点临床试验中尤其重要。在这类临床试验中，涉及到不同的医疗成像设备，因为每个站点可能有来自不同供应商的MRI或CT扫描仪。这种设备的异质性会导致成像研究的获取和重建发生变化，从而导致成像生物标志物定量的不确定性。临床试验中医学影像标准化的逐步方法，涵盖了从图像采集协议的设计到使用AI技术对医学影像进行量化：

03 深度学习在手术导航系统中的应用

手术导航系统，是将病人术前或术中影像数据和手术床上病人解剖结构准确对应，手术中跟踪手术器械并将手术器械的位置在病人影像上以虚拟探针的形式实时更新显示，使外科手术更快速、更精确、更安全。本节主要针对国外四家顶尖医疗公司——BrainLAB、ClaroNav、Medtronic、Stryker的技术特点和融资历程做简要汇总，并介绍其手术导航系统及产品。

（1）BrainLAB：

BrainLAB神经外科手术导航系统与蔡司手术显微镜配合可实现镜下导航，具备先进的三维成像技术、三维显示肿瘤轮廓等，精准定位病灶。

（2）ClaroNav：

Navient是一款计算机辅助手术导航系统，配有体积小巧的可移动推车，精密度无可比拟，相关仪器可循环使用，操作流程简单，容易上手，可在外科医生进行颅内手术时提供导航服务。

（3）Medtronic：

Medtronic StealthStation S7手术导航系统通过采用立体定向手术技术，辨识出术中解剖结构、通过透视影像或数字标志物的参考坐标，实现精准治疗。

（4）Stryker：

Stryker 骨科手术导航系统使用跟踪设备提供计算机辅助导航技术，让外科医生更全面地了解患者的关节力学，确保新关节具有成功置换所需的稳定性和运动范围。