修回日期: 2020-05-17
接受日期: 2020-05-28
在线出版日期: 2020-07-08
外科医师通过软件对肝脏常规的计算机断层扫描或磁共振成像检查获得的二维信息进行三维(three-dimensional, 3D)重建后, 能更直观、形象并且多角度地显示患者肝脏体积、解剖变异、肝内脉管走行、肿瘤的部位及其与周围管道系统之间的关系. 术前3D重建和虚拟现实技术可以实现肝脏体积的测量及实施模拟肝切除术, 可以使术者进一步明确手术切除范围, 确保残余肝脏体积和残肝功能以满足患者术后需求. 通过术前和术中的虚拟手术及影像导航还可以防止术中误伤肝内的重要血管和胆管, 显著缩短手术的时间, 减少术中出血, 减少术后肝功能不全、胆漏及出血等并发症的发生.
核心提要: 三维(three-dimensional, 3D)重建技术可以实现肝脏及肝内肿瘤的术前精确诊断, 还可以协助完成术前手术规划, 3D可视化外科导航技术在肝脏外科手术中已经开始得到了应用. 虚拟手术技术现在仍处于初级研发阶段, 它仅可以对肝脏3D重建模型进行模拟的手术操作, 还不能完全展示实际的手术场景. 随着计算机技术的发展及3D重建和虚拟手术技术的进一步成熟, 其在肝脏外科手术中的应用也正展现出光明的前景.
引文著录: 李成刚. 三维重建与虚拟现实技术在肝脏外科的应用. 世界华人消化杂志 2020; 28(13): 515-518
Revised: May 17, 2020
Accepted: May 28, 2020
Published online: July 8, 2020
After three-dimensional (3D) reconstruction of the two-dimensional information obtained from routine computed tomography or magnetic resonance imaging examinations of the liver using software, surgeons can examine the volume of the liver, anatomical variation, the course of intrahepatic vessels, the location of the tumor, and its relationship with the surrounding vessels more intuitively, vividly, and from multiple angles. Preoperative 3D reconstruction and virtual reality technology can realize the measurement of liver volume and the implementation of simulated hepatectomy, which can further clarify the scope of surgical resection and ensure the residual liver volume and function to meet the needs of patients after operation. The virtual operation and image navigation before and during the operation can also prevent the injury to important blood vessels and bile ducts in the liver during the operation, significantly shorten the operation time, reduce the bleeding during the operation, and reduce the occurrence of complications such as liver dysfunction, bile leakage, and bleeding after the operation.
- Citation: Li CG. Application of three-dimensional reconstruction and virtual reality technology in liver surgery. Shijie Huaren Xiaohua Zazhi 2020; 28(13): 515-518
- URL: https://www.wjgnet.com/1009-3079/full/v28/i13/515.htm
- DOI: https://dx.doi.org/10.11569/wcjd.v28.i13.515
三维(three-dimensional, 3D) 重建技术是利用计算机对3D物体建立的一种数学模型, 该模型可以在计算机环境下进行操作、处理和分析, 此项技术也是虚拟现实(virtual reality, VR)技术中的关键技术. 常规计算机断层扫描(computed tomography, CT)或磁共振成像(magnetic resonance imaging, MRI)检查仅能提供肝脏检查的二维信息, 而通过肝脏3D重建软件能更直观、形象并且多角度地显示肝脏体积、解剖、脉管的走行、肿瘤的部位及其与周围管道系统之间的关系[1-3]. 术前对患者肝脏进行3D重建可以实现肝脏体积的测量及实施模拟肝切除术, 可以使术者进一步明确手术切除范围, 确保残余肝脏体积和残肝功能满足患者术后需求, 通过术前的虚拟手术还可以防止术中误伤肝内的重要血管和胆管, 显著缩短手术的时间, 减少术中出血, 减少术后肝功能不全、胆漏及出血等并发症的发生.
目前3D重建及VR技术已经在肝脏外科中发挥着越来越大的作用, 术前已经可以实现对肝脏肿瘤重新定位、判断肿瘤与周围血管和胆管的关系、虚拟手术切割肿瘤. 以此同时还可以测算全肝体积、肿瘤体积、拟切除肝脏体积、标准肝体积及残余肝体积[4-6]. 3D重建及VR技术可以帮助外科医生优化手术方案, 提前预判术中可能遇到的意外情况, 确保肝脏手术顺利完成.
肝脏解剖结构复杂, 肝内血管和胆管系统变异情况较多, 肝脏切除手术目前仍是一类高风险的手术, 并发症发生率与手术病死率较高. 目前肝脏外科手术前对于肝内病变的诊断和手术方案设计还主要依赖于外科医师对连续的二维图像在人脑中进行的3D重建. 人脑3D重建需要熟练的阅片经验, 并需要一定的外科手术实践经验的积累, 经过长期的专科训练才能形成. 人脑重建图像具有临时性和不稳定性, 难以呈现在整个治疗团队面前, 每个外科医师重建的结果与实际情况符合的程度也不尽相同, 与术者的经验水平显著相关. 利用3D重建软件, 可对肝脏CT或MRI影像数据进行3D重建. 此类软件系统可充分了解肝内脉管的走行情况和是否存在变异, 同时判断肿瘤与它们的空间位置关系.
基于薄层CT或MRI数据的个体化肝脏3D重建模型, 可以使外科医生更直观、清晰并且多维度地了解肿瘤位置及其与肝内脉管之间的毗邻关系. 通过3D重建技术建立的3D模型还可根据不同需要来进行肝脏、肿瘤与脉管的自由组合或适当透明化. 通过放大、缩小和旋转等功能的变化, 可使外科医生多角度、全方位观察并分析肝内脉管的分布情况, 了解其与肿瘤的空间关系, 还可以测量肝肿瘤与相关脉管的距离. 利用3D重建技术进行术前规划和模拟手术并可以实施术中引导, 有利于缩短手术时间、提高手术安全性、同时, 3D重建技术还可以自动为肝脏分段, 精确定位肿瘤所在肝段或肝叶的位置, 利用虚拟肝切除技术可计算切除肝的体积和残余肝脏的体积. 3D重建的模型具有个体化特点, 重建的图像可以永久性地呈现在治疗团队面前[7-9].
肝脏外科手术过程中需要考虑的因素主要包括以下几点: (1)肿瘤所在部位及剩余肝脏的静脉回流系统; (2)肿瘤的血供, 肝动脉和门静脉供应分支; (3)足够的肿瘤切缘; (4)足够的剩余肝脏体积等. 3D重建模型可以显示供应肿瘤的肝动脉及门静脉分支, 并可以显示相应的回流肝静脉, 帮助外科医生判断是采取规则性肝段切除还是行不规则性肝切除等手术方式, 术前即可判断切除范围等.
3D重建技术除了可以提供精确的肝脏、肿瘤及肝内脉管系统的3D影像, 其虚拟手术功能更能协助术者设计手术规划. 虚拟手术是在3D重建肝内管道系统及肿瘤解剖结构的基础上, 通过软件建立可交互操作的平台, 模拟手术操作的过程. 虚拟手术可以提前展现真实手术过程中可能遇到的重要管道结构, 以便术者事先制定必要的防范对策. 通过计算拟切除肝脏的体积和残余肝脏的体积, 判断术后肝功能不全发生的风险, 有利于制定个体化手术方案, 减少损伤肝内重要结构的风险并降低术后肝功能不全发生的风险[10-12].
虚拟手术的最大优点是具有任意性和可重复性. 术前预先模仿实际手术的操作过程, 可以提前发现在实际手术过程中可能出现的复杂险要情况. 如当设定的切除层面可能损伤肝内重要胆管和血管时, 术者可对手术切除层面作出相应的调整和修改. 经过模拟不同手术方案并进行比较后再制定出合理的个体化手术方案, 术者事先可以采取必要的防范措施确保实际手术的安全. 对于活体肝移植时供肝的切取, 虚拟手术可以通过多次模拟手术操作, 优化手术层面, 确定最佳的供肝切除范围, 可降低损伤残留肝脏血管和胆管的危险, 最大程度地保留供肝和残余肝脏的血液循环.
随着3D重建及VR技术的发展, 术中导航系统已经在整形外科、神经外科和颌面外科等专科中得到了越来越多的应用[13-15]. VR导航系统在肝脏外科手术中的应用也已开展, 术中导航联合术中超声引导在开腹肝切除手术中的使用已有报道, VR技术可以将术前规划的影像数据用于实时手术操作, 为术者引导切除过程, 使得肝切除手术的开展更加安全和便捷.
VR技术在肝脏手术中导航的应用主要是通过3D重建和VR交互技术来实现的: (1)肝脏3D模型的重建: 外科医师可以将肝脏的虚拟3D模型或采用3D打印的肝脏模型带进手术室, 在术中为术者进行肝脏手术的间接实时引导. 借助于这些模型的指导, 进行肝切除术时, 术者能够快速识别和定位关键部位, 精确定位肿瘤并确定手术切除平面, 还可以实时引导术者注意重要脉管的解剖和肿瘤的切除. 3D重建技术辅助的肝脏切除手术可有效减少损伤、降低并发症发生率从而提高手术的安全性; (2)VR交互: 虚拟的肝脏3D模型是透明化的, 但在真实肝脏手术过程中外科医生无法实时了解即将遇到的各种管道, 这将会增加意外出血和胆道损伤的风险. 如何能做到"知己知彼"对于术者来说尤为重要, VR交互技术的发展为肝脏外科医生提供了一双穿透肝脏的"透视眼".
VR交互技术能够将术前3D重建的肝脏3D模型和术中患者真实的肝脏配准融合, 术者戴上专用的头罩和眼镜就可以实时看到肝脏内部的肿瘤和管道系统, 不需要医生在图像显示器和实际手术操作区域间进行视野的切换. 这一技术的使用可以改善医生手眼不协调的问题, 为肝脏切除手术提供实时的3D术中导航, 提前使医生知道即将遇到的重要血管或胆管, 从而最大限度地保证手术安全. 但在实际的肝脏手术过程中, 通常需要游离肝脏或由于术者的操作和患者呼吸运动而引起肝脏形态发生改变, 这会影响VR匹配不准等问题. 解决此类问题需要更合适的肝脏生物力学模型构建算法、更精确的图像分割算法和导航配准算法等来共同来解决. 目前国内已有很多企业或团队正在从事这些方面的研究[16-19].
近年来, 腹腔镜和机器人肝切除术已经在越来越多的单位得到了开展. 腹腔镜和机器人手术存在着一个共同的缺陷, 那就是外科医生对直接视觉和触觉反馈的丧失, 而将VR技术引入到腹腔镜和机器人肝切除手术中则可在一定程度上解决这一问题. 以机器人肝脏手术为例, 机器人手术操作系统在术者和患者之间增加了计算机界面, 这为VR技术的应用提供了很好的平台. 通过在机器人身上安装内镜照相机等辅助设备, 可以在手术操作的同时构建实时的3D图像和虚拟模型, 从而更加精确地指导手术的实施. 已有研究者将VR技术叠映至达芬奇手术机器人的主操纵系统, 从而实现最佳的工具配位方案[20-22].
VR技术帮助实现了机器人对所有肝内管道结构的精确和快速的识别, 大大提高机器人肝脏切除手术的成功率. VR技术与机器人手术操作系统的结合将是未来外科医疗发展的一个趋势. VR技术如果想在肝脏手术导航中发挥更大的作用需要依赖于生物力学建模、显示传感技术和目标识别算法的更进一步的发展.
3D重建技术可以实现肝脏及肝内肿瘤的术前精确诊断, 还可以协助完成术前手术规划, 这对于术中精确的操作有很大帮助. 3D可视化外科导航技术在肝脏外科手术中已经开始得到了应用. 虚拟手术技术现在仍处于初级研发阶段, 它仅可以对肝脏3D重建模型进行模拟的手术操作, 还不能完全展示实际的手术场景. VR技术应用于肝脏外科, 能让我们获得更加直观具体的3D模型、更加全面的图像信息、更加通俗易懂的教学方式和医患沟通手段, 这些都将有利于更加精确地指导肝脏手术的实施和教学训练. 随着计算机科学、肝脏外科学、医学影像学的进一步交叉融合, VR技术将更好地应用于肝脏外科手术中导航及虚拟手术系统的构建, 必将给肝脏外科带来巨大的进步. 3D重建和VR技术的进一步成熟, 其在肝脏外科手术中的应用也正展现出光明的前景.
学科分类: 胃肠病学和肝病学
手稿来源地: 浙江省
同行评议报告学术质量分类
A级 (优秀): 0
B级 (非常好): B, B
C级 (良好): C
D级 (一般): 0
E级 (差): 0
科学编辑:张晗 制作编辑:刘继红
| 1. | Tang R, Ma LF, Rong ZX, Li MD, Zeng JP, Wang XD, Liao HE, Dong JH. Augmented reality technology for preoperative planning and intraoperative navigation during hepatobiliary surgery: A review of current methods. Hepatobiliary Pancreat Dis Int. 2018;17:101-112. [PubMed] [DOI] |
| 2. | Yeo CT, MacDonald A, Ungi T, Lasso A, Jalink D, Zevin B, Fichtinger G, Nanji S. Utility of 3D Reconstruction of 2D Liver Computed Tomography/Magnetic Resonance Images as a Surgical Planning Tool for Residents in Liver Resection Surgery. J Surg Educ. 2018;75:792-797. [PubMed] [DOI] |
| 4. | 范 应方, 项 楠, 蔡 伟, 方 驰华. 三维可视化技术在精准肝切除术前规划中的应用. 中华肝脏外科手术学电子杂志. 2014;3:8-11. [DOI] |
| 5. | Zhang WW, Wang HG, Shi XJ, Chen MY, Lu SC. [Significance of three-dimensional reconstruction as a method of preoperative planning of laparoscopic radiofrequency ablation]. Zhonghua Wai Ke Za Zhi. 2016;54:692-699. [PubMed] [DOI] |
| 6. | Debbaut C, Segers P, Cornillie P, Casteleyn C, Dierick M, Laleman W, Monbaliu D. Analyzing the human liver vascular architecture by combining vascular corrosion casting and micro-CT scanning: a feasibility study. J Anat. 2014;224:509-517. [PubMed] [DOI] |
| 7. | Conversano F, Franchini R, Demitri C, Massoptier L, Montagna F, Maffezzoli A, Malvasi A, Casciaro S. Hepatic vessel segmentation for 3D planning of liver surgery experimental evaluation of a new fully automatic algorithm. Acad Radiol. 2011;18:461-470. [PubMed] [DOI] |
| 8. | Herfarth C, Lamadé W, Fischer L, Chiu P, Cardenas C, Thorn M, Vetter M, Grenacher L, Meinzer HP. The effect of virtual reality and training on liver operation planning. Swiss Surg. 2002;8:67-73. [PubMed] [DOI] |
| 9. | Sauer IM, Queisner M, Tang P, Moosburner S, Hoepfner O, Horner R, Lohmann R, Pratschke J. Mixed Reality in Visceral Surgery: Development of a Suitable Workflow and Evaluation of Intraoperative Use-cases. Ann Surg. 2017;266:706-712. [PubMed] [DOI] |
| 10. | Uchida Y, Taura K, Nakao M, Uemoto S. A clinical pilot study of Resection Process Map: A novel virtual hepatectomy software to visualize the resection process, case series. Int J Surg. 2019;71:36-40. [PubMed] [DOI] |
| 11. | Takamoto T, Sano K, Hashimoto T, Ichida A, Shimada K, Maruyama Y, Makuuchi M. Practical Contribution of Virtual Hepatectomy for Colorectal Liver Metastases: a Propensity-Matched Analysis of Clinical Outcome. J Gastrointest Surg. 2018;22:2037-2044. [PubMed] [DOI] |
| 14. | Takamoto T, Mise Y, Satou S, Kobayashi Y, Miura K, Saiura A, Hasegawa K, Kokudo N, Makuuchi M. Feasibility of Intraoperative Navigation for Liver Resection Using Real-time Virtual Sonography With Novel Automatic Registration System. World J Surg. 2018;42:841-848. [PubMed] [DOI] |
| 15. | Oshiro Y, Ohkohchi N. Three-Dimensional Liver Surgery Simulation: Computer-Assisted Surgical Planning with Three-Dimensional Simulation Software and Three-Dimensional Printing. Tissue Eng Part A. 2017;23:474-480. [PubMed] [DOI] |
| 16. | Soler L, Nicolau S, Pessaux P, Mutter D, Marescaux J. Real-time 3D image reconstruction guidance in liver resection surgery. Hepatobiliary Surg Nutr. 2014;3:73-81. [PubMed] [DOI] |
| 19. | Buchs NC, Volonte F, Pugin F, Toso C, Fusaglia M, Gavaghan K, Majno PE, Peterhans M, Weber S, Morel P. Augmented environments for the targeting of hepatic lesions during image-guided robotic liver surgery. J Surg Res. 2013;184:825-831. [PubMed] [DOI] |
| 20. | Chen G, Yang SZ, Wu GQ, Wang Y, Fan GH, Tan LW, Fang B, Zhang SX, Dong JH. [Development and clinical application of 3D operative planning system of live in virtual reality environments]. Zhonghua Wai Ke Za Zhi. 2009;47:1620-1623. [PubMed] |
| 21. | Chen G, Li XC, Wu GQ, Wang Y, Fang B, Xiong XF, Yang RG, Tan LW, Zhang SX, Dong JH. The use of virtual reality for the functional simulation of hepatic tumors (case control study). Int J Surg. 2010;8:72-78. [PubMed] [DOI] |
| 22. | 周 林, 史 海达, 史 宪杰, 梁 雨荣, 郑 永根, 杜 国盛, 蒙 轩, 马 焕先, 齐 瑞兆, 金 鑫, 张 庆鹏. CT三维重建可视化系统在原发性肝癌肝切除中的应用. 中华肝脏外科手术学电子杂志. 2018;7:454-459. [DOI] |