AI研习丨计算病理及其对精准医学的贡献和价值
摘 要
本文首先详细介绍数字病理与计算病理;然后讨论计算病理如何辅助医生实现疾病的辅助预防、诊疗和预后等目标和任务,最后就计算病理对精准医学的价值和贡献进行了总结。
关键字
数字病理;计算病理;医学图像计算;精准医学
0 引言
人工智能技术对医学的发展产生了深远影响。计算病理是数字病理和人工智能技术的结合,它运用先进的机器学习和图像分析的方法定量分析高分辨率数字化病理切片,同时构建病理组学把病理医生的诊断经验和知识进行量化,以融入到人工智能辅助病理诊疗系统。病理诊断是大多数疾病诊断的"金标准",它来源于病理医生对于医学知识和临床研究的归纳学习,以及长期实践经验的总结积累,病理精准诊断是临床精准治疗疾病的依据。
我国病理医生数量不足,因此每个病理医生都承担了超常规工作量的阅片工作。计算病理能辅助病理医生处理简单重复性的阅片工作,减轻病理医生的工作量,提高工作效率。同时,运用计算病理技术能够帮助病理医生从繁重的重复性诊断任务中解脱出来,把简单重复性工作交给计算机处理,节省的时间用于处理计算机无法处理的更加复杂的任务;同时这个技术还能减少人的主观性差异,使阅片过程标准化、定量化、客观化、可重复、高通量,从而尽可能避免漏诊和误诊的发生。另外,计算病理能超越病理医生的视觉和记忆,能对人类的知识和经验进行量化建模,构建超越人的视觉水平的亚视觉特征;同时利用高性能计算机对大规模数字化切片进行训练和学习,通过归纳数据中的共性、趋势和规律,可以超越诊断的任务,实现疾病的预测和预后等更复杂问题的解决,从而推动精准医学的发展。精准医学的目标是能让患者获得更为精准的诊断和有效的治疗,从而针对每位患者的个体特征定制医学护理和治疗方案。
1 从数字病理到计算病理和精准医学
数字病理是指运用计算机技术实现的虚拟病理,通过运用全切片数字扫描技术(Whole Slide Imaging, WSI)对病理切片进行数字成像,将物质形式的玻璃切片转化为数字形式的图像,并对它进行数据管理。1994年人类第一个WSI系统BLISS System在美国诞生,2017年飞利浦的WSI系统IntelliSite和2019年徕卡的 Aperio AT2 DX先后获得FDA批准可以作为"首诊",这是数字病理领域具有里程碑意义的进展。数字病理的大规模使用,预示着拥有300多年历史的光学显微镜将可能被数字病理所取代。随着各种存储和网络技术的推动,越来越多的医院正在加快数字化病理科的建设,在不久的将来,如同目前的影像科一样,病理科也将实现全数字化,这是不可逆转的发展趋势。
切片数字化使病理医生的传统工作模式将发生巨大的变革,他们会像影像科医生一样在日常工作中使用数字化的全切片并通过高分辨率显示器来阅片和诊断。随着大规模玻璃切片被数字化,数字化病理切片每天正以指数级的数量快速增长,如何充分利用大规模数字化切片,从而推动精准医学的发展,给人工智能领域带来了巨大的研究机遇和挑战。
人类的首张数字化图像诞生在1957年。早在1965年,美国科研人员就曾尝试使用数字图像处理技术,定量分析数字化的细胞核形态,以区分不同类型的细胞核。这是最早把计算病理的技术运用于数字化病理切片的定量分析。计算病理是数字病理和以图像计算、机器学习为代表的人工智能技术相结合,并应用于数字病理切片的定量分析。它的目标是定量化分析患者的标本切片,以研究和理解疾病。同时通过病理切片的数字化和全数字化病理科的建设,计算病理技术能帮助优化有限的病理科人力资源的配置,推动分子病理领域的发展。计算病理未来还能推动病理学科和其他医学学科的多学科融合,使得病理科成为临床决策中的一个重要环节。此外,以数字病理数据为核心,可以跨模态、跨尺度融合多种数据,比如影像检查数据和分子、基因检测数据和蛋白、转录组等数据,以及临床数据、血液检查、临床表现、标本检测、免疫学检测等。这些跨模态、多尺度数据分别从不同的维度反映了疾病的全貌,它们之间的融合将能从宏观到微观更全面地展示疾病的信息,依据这些数据融合所构建的诊疗和预后模型将能更好地辅助医生制定患者最优的临床决策,推动精准医学的发展。因此,计算病理能辅助医生在准确的时间为正确的患者制定最优的治疗方案,从而回答精准医学的如下三个核心问题。
(1)谁需要治疗。通过自动检测和识别患者切片中病变区域,评估病变区域的性质等,辅助医生实现更精确的诊断。
(2)如何治疗。通过评估患者疾病的风险或严重程度、分型,并根据组织形态学特征预测可能的治疗反应为患者量身定制更优的临床决策。
(3)疗效如何。通过评估治疗前、中、后患者肿瘤标本的组织学形态特征等信息,来判断患者对治疗的反应或治疗效果及患者预后等。
2 病理图像计算
病理图像包含了丰富的图像表型信息,病理诊断之所以称为"金标准",主要是因为这些图像信息能从细胞和组织层面揭示疾病潜在的发病机理,因此基于病理图像的形态学定量分析可以用于评估疾病的恶性程度、进展,以及预测患者的生存期。实现这样的计算机辅助诊疗和预后的任务,需要从细胞、组织和切片层面构建定量的图像计算方法,如图1所示。在这里使用"计算"而不仅是"分析",包含两个层次的任务。第一个层次即病理图像分析的任务,包括基于传统的图像像素的目标识别、检测、分割等任务 ( 如图1中的1A~1E内圈所示 );第二个层次是指构建基于病理细胞、组织、切片层次图像亚视觉特征的"病理组学"。"病理组学"通过运用图像分析方法将病理图像转化为高保真度、高通量的可挖掘的高维病理形态学特征集,这个特征集涵盖组织形态学中不同细胞之间的拓扑空间关系、纹理特征、形态学特征、边缘梯度特征、生物学特性等定量特征,并将这些特征用于定量描述疾病的恶性程度、复发风险、转移风险、治疗反应、进展及患者生存 ( 如图1的外圈所示 )。此外,这个结果还能超越病理诊断,在数据上与包括血液检查、影像检查、临床表现、标本检测、分子检测、免疫学检测等数据融合,从宏观到微观整合到一起得到肿瘤病理表型组。具体包含细胞、组织和切片三个层次的任务。
2.1 细胞层次
细胞是生命的基本单元,细胞核的识别和分割是构建研究疾病辅助诊疗和预后,以及精准医学相关问题的基础,通过构建深度学习模型可以精准地识别和分割不同类型的细胞核。
图1 计算病理在细胞、组织、切片层次的计算及其在疾病诊疗和预后等精准医学问题的应用价值
如图1A所示,通过构建深度机器学习模型可以识别结直肠数字切片中癌变上皮细胞、纤维母细胞、炎症细胞及其他细胞四种类型的细胞核。我们针对结直肠全景切片对图2(a)中结直肠全景切片,可以构建深度学习模型自动识别炎症/淋巴细胞、正常上皮细胞、增生/恶性上皮细胞、成纤维细胞、肌细胞、内皮和其他类型细胞7种类型的细胞核(如图2(b)所示),从而为构建基于领域知识启发的组织形态学特征奠定了基础。此外,细胞层次的分析还可以定量化度量免疫组化切片中的生物学标记物,比如PD-1/PD-L1的表达,也可以定量计算组织切片中细胞核表达、细胞质表达、细胞膜表达,以及细胞之间的空间关系和排列。
图2 结直肠常规HE染色全景切片及其细胞核自动识别结果
2.2 组织层次
组织是具有相似结构并共同作用以执行特定功能的细胞群,它是生物学中介于细胞和器官之间的层次,由许多属于同一器官形态相似的细胞和细胞外基质组成。不同组织分工合作形成器官。因此,对于组织层次定量分析也是计算病理的基础环节。比如,在癌症的研究中仅研究癌细胞还不够,还需要研究支撑癌细胞生长的微环境,因此组织层次的分析非常重要。如图1中的1C所示,可以构建深度机器学习模型识别结直肠数字切片中10种类型的组织——背景、脂肪、粘液、上皮癌变、腺体、肌肉、基质、血管、免疫细胞、坏死区域。我们构建了针对结直肠全景切片中10种组织的自动分割模型,其流程图如图3所示。此外,组织层次的分析对于定量分析全景切片中的微血管密度、肿瘤的异质性,以及肿瘤微环境都具有很重要价值。
图3 基于深度网络的结直肠10类组织自动分割框架
2.3 切片层次
全景切片包含了数十亿像素组织切片信息,面向千兆像素的有效分析方法,使得切片层次定量分析的临床转化解决方案成为可能。针对全景切片定量分析可以实现疾病的恶性程度评估、疾病的进展,以及患者生存预后等临床问题的解决。如图1中的1D所示,通过对前列腺中不同Gleason等级区域的训练和学习,我们构建了前列腺全景切片格林森自动分级模型。此外,在全景切片层次可以定量分析细胞质免疫组化染色、感兴趣区域的免疫组化定量化。比如,肿瘤微环境中肿瘤和免疫细胞的相互作用和关系,对研究肿瘤免疫至关重要。
2.4 基于领域知识启发的组织形态学特征的构建和量化
基于上述中对细胞、组织和切片层次的定量分析结果,可以构建基于领域知识启发的组织形态学亚视觉特征 ( 如图1中的1E所示 ),定量描述疾病的恶性程度。这里的"亚视觉"特征是指人眼无法区分的微小图像变化或者图像模式,这些特征不仅归纳和总结病理医生的诊断经验和知识,而且能进行量化;同时这些特征能拓展甚至超越人的视觉水平,因此能实现超越医生视觉和记忆水平的疾病预测和预后任务。
3 计算病理与免疫组化和分子病理
免疫组化 (immunohistochemistry) 又称为免疫细胞化学,是指带显色剂标记的特异性抗体在组织细胞原位通过抗原抗体反应和组织化学的呈色反应,对相应抗原进行定性、定位、定量测定的一项新技术。分子病理是在分子水平上对疾病的研究,包括在组织、器官甚至体液中发现的分子。"分子诊断"通常就是用于描述分子病理领域的医学诊断。计算病理可以在细胞、组织和切片水平上对免疫组化进行定量分析和评估,比如,对于Her2、ER、PR、Ki67的免疫组化生物标记物进行定量计算并得到相应的定量表达,可以避免人的主观性差异。目前在分子诊断过程中对全切片中估计肿瘤细胞的比例估计主观性很强,而且很容易出现错误,这对于一些肿瘤标志物,如EGFR、RAS和BRAF 验证具有很不利的影响,同时对于发现和验证新肿瘤中基于组织生物标记物也很不利。运用计算病理方法,还可以定量评估全切片某些生物标志物的表达。通过计算整张切片中整体的细胞数量和肿瘤比例,可以应用于定量评估确定肿瘤细胞的成分,这对于分子诊断至关重要。
总之,计算病理在免疫组化、分子病理、组织分析、发现新的生物标志物等现代转化医学的研究领域将具有巨大推动能力。通过运用计算病理方法可以通过快速分析成千上万个细胞和组织样本,缩短研发周期,筛选可能的生物标记物,运用大数据驱动,更好地理解肿瘤的生物学行为等。此外,计算病理还能推动伴随诊断到伴随算法的转变,支撑未来新生物标志物的发现,同时更好地辅助医生对患者进行分层护理。
4 计算病理与药物发现和新药物开发
近年来,运用机器学习技术的药物发现和新药物开发得到很大的进展。制药公司需要了解药物治疗如何影响特定的组织和细胞,并且需要在选择临床试验候选者之前测试数千种化合物。随着临床试验数量的增加,发现新的生物标志物对于识别对特定疗法有反应的患者变得越来越重要。使用计算病理可能发现新的生物标志物并以更精确、可重复和高通量的方式获取它们,能缩短药物开发时间,使患者更快地获得最优的治疗。由于大部分患者在接受如细胞毒剂或免疫检查点抑制剂等治疗时,并不能对这些治疗有反应,因此运用计算病理技术来评判和识别那些对治疗有反应患者的研究引起了越来越多的关注。我们团队最近的研究成果表明,通过评估细胞核的形状、方向和空间排列这些特征,可以区分早期非小型细胞癌患者的复发风险,还可以评判患者对新辅助化疗疗效的效果。
5 计算病理与精准医学
精准医学的目标是让患者获得更为精准的诊断和有效治疗,通过运用先进的计算病理技术,能够实现下面三个方面的任务,从而针对每位患者的个体特征定制医学治疗方案。
(1)诊断任务。精准识别病变区域、恶性程度自动评分。
(2)预后任务。预测疾病的结果、进展。
(3)预测任务。预测患者对治疗的反应。
通过构建定量组织形态学特征,可以评估和预测疾病恶性程度、复发风险、转移风险、治疗反应、进展,以及患者生存 ( 见图1),最近我们构建了基于乳腺全景穿刺切片定量分析的新辅助化疗预测框架,如图4所示。
图4 基于乳腺穿刺全景切片组织形态学特征构建的新辅助化疗疗效预测框架
6 结束语
我国人口众多,地区经济发展不平衡,同时病理医生的数量严重不足,好的病理医生通常集中在少数发达城市,病理医生承担着超负荷的阅片工作,因此这个领域迫切需要人工智能技术的介入和支撑。
随着数字病理技术的推动,模拟的玻璃切片正在被大规模数字化,其数字化病理切片以几何级数量快速增加。如何充分挖掘这些数字化病理切片,推动精准医学的发展,将是非常有价值和前景的研究课题。当前尽管分子和基因诊断被大规模采用,但是由于肿瘤具有高度异质性,基于微观的分子及基因检测和诊断具有一定局限性,而计算病理可以在宏观图像表型上弥补微观诊断的不足。
计算病理技术通过运用机器学习和图像分析为核心的人工智能技术能减少人主观因素的影响,实现病理诊断过程的标准化、定量化、客观化、可重复和高通量;通过构建新颖的亚视觉特征能俘获人眼无法分辨的微小图像模式,从而超越人的视觉局限;通过量化基于领域知识启发组织形态学特征构建病理组学,能够挖掘出数据中的规律和趋势。此外,计算病理对于分子病理与分子诊断领域的研究和发展,新的分子和生物标志物的筛选和发现,伴随诊断的发展,药物的发现和新药物的开发等都具有很重要价值。此外,计算病理还有助于构建计算机辅助诊疗系统,帮助医生制定最优的临床决策中发挥重要作用,推动精准医学领域的研究和临床转化。
最后,计算病理还可以应用于几乎任何类型的数字化载玻璃切片定量分析中,比如细胞学、血液学、兽医和植物病理等。计算病理如一个尚未被充分开采的"金矿",充满了诱人的研究机遇,同时其研究成果具有重要的临床转化价值,最终让患者获益。这个领域正等待着人工智能领域专家和临床专家一起共同开拓与发展。
(参考文献略)
选自《中国人工智能学会通讯》
2021年第11卷第9期
智慧医疗专辑
为什么掉头发这么严重?看你的描述是掉头发厉害,那么你可能已经是脱发患者了!要更加注意了!我在脱发植发这行业做了10年了,我给你说一下头发掉的厉害的原因。咱们大家每天都会掉头发,掉头发的量没有超过100根
你见过的变态的精神患者有哪些?谢谢邀请,53岁的俄罗斯MikhailPopkov,曾经是同行眼里合格一名警察。在朋友们眼中,他风趣幽默,充满魅力。在妻子和女儿眼中,他是个完美的丈夫和父亲。可是这样一个人,却长久
投入10万元,可以不上班靠炒股生活吗?靠谱就没人上班了。你以为上班的是傻子,人家看你才是傻子。钱这东西,多了多做事,少了少做事。少做点白日梦,这行业是世界难题,几十年出一个江恩,巴菲特。不靠谱。非常不靠谱。炒股,需要有
事业单位工勤人员可以有第二职业吗?事业单位工勤人人员可以有第二职业吗?只要属于事业单位工作人员,不管你是法人还是一般工作人员,只要作为事业单位编制内的工作人员,都是不允许从事第二职业的。下面和大家分享我的个人观点。
每月工资3850元,在唐山什么水平?没奖金没其他收入?正常,不要听他们说唐山都是有钱人。唐山的有钱人在河北省来说是比较多的,但是普通老百姓更多。普通老百姓一个月三四千的收入正常。你好,我是春秋义战,现在由我来回答你的问题。这里有两个消
婴儿哭闹的时候到底要不要管?感谢邀请回答这个问题。在看待这个问题的时候是不是身边总出现这样的声音,比如哭哭哭,让他哭哭的一会累了就睡着了哭的就不哭了一哭就抱这个习惯不好或者不管孩子多少月龄,一哭,赶紧抱起来,
90的新生儿坐月子期间都会出现湿疹和上火,如何提早预防以免宝宝受罪?确实是现在很多新生儿在出生后不久都会出现湿疹,那么,想要预防宝宝湿疹的发生,柳需要母亲在孕期做好预防工作1孕期规律作息不熬夜,减少脏器功能的消耗,尤其是肝脏功能。2合理饮食不吃辛辣
影视剧中有哪些老得要死的套路?中国的电视剧,无论是古装剧还是现代剧,抗日片,还是爱情片。都走不出一些套路。自古套路得人心,接下来小编就带着大家看看电视剧里都有哪些套路。1。一呕吐必怀孕。无论什么电视剧,只要发什
王者荣耀两射手大改,孙尚香伽罗大砍,虞姬成为峡谷巅峰,你会用谁来上分?虞姬,百穿流和暴力流。现版本还是可以的伽罗,操作熟练可以上手。一般都是坑。孙尚香,改版后秒人AD。全靠走位。鲁班,现版本比较强势,唯一缺点腿短后羿,现版本一般般,伤害不如鲁班,爆发
DNF为什么总有一些玩家在怀念60版本,当年的60版本真的有这么好玩吗?DNF这款游戏从2008年至今已经有11个年头了,时间虽久但是还是很多玩家越发的怀念最初的60版本,那时候的装备没有像现在那么好,装备贵,伤害低,攻速慢,虽如此还是有很多小伙伴们玩
张捷在联想大讨论中,是不是得不偿失?绝对不是其实炎黄子孙从骨子里是向善的张捷老师最起码财富能养活自己,如果不是出于正义感,何苦得罪人呢?等一个人活明白的时候,生活上够用即可,国家利益至上,国家利益就是民族延续的根本!
女儿三年级了,拼音还是不过关,怎样给她补拼音?汉语拼音要想过关其实并不难,掌握技巧,多读多写勤练很快就能过关。汉语拼音共有三部分组成,声母韵母和整体认读音节,声母23个,韵母24个,整体认读音节16个,其中韵母有单韵母和复韵母
全球股市暴跌,将会是牛市黎明前最黑暗的时刻吗?你说的有点对。全球股市暴跌。说明他们对股市失去了信心。那他们必然会把钱转移到A股来。这样一来中国A股上万点很有可能。是中国股市腾飞之路。中国的经济实惠的崛起,快去的发展会让沉迷的A
名字非常霸气,实际确是非211的院校有哪些?感谢悟空问答小秘书头条教育邀请。我是一叶知秋有仙则名,我来回答。高校的名字相当于名片,名字响亮,更容易引起考生和家长的认同。那么,中国有哪些学校名字非常霸气,但却不是211呢?身处
台湾香港和澳门的人平时聊天都用微信吗?感谢您的阅读!台湾香港澳门可不是马化腾的粉丝,微信在港澳台可没有那么吃香。当然,有人说,他们都用Facebook,其实也是不完全对的。我们今天来聊一聊,他们都用什么软件呢?台湾用户
想买vivo手机,双十一怎么下单比较优惠?感谢您的阅读!我相信,双11的这一天大家都会去购买一些自己喜欢的产品,确实双11去购买很多产品都有很多的优惠,像vivo这个品牌的手机也有很多的优惠。一般来说我们建议到官方的viv
湖南科技大学与南华大学相比谁更好?这两者差距还是有的,显然是南华大学比较好点。南华大学的定位是省部共建大学,湖南科技大学是省属重点大学。南华大学坐落于中南重镇衡阳市,成立于1958年,是由工业和信息化部国家国防科技
让一个教过5年以上高中数学的老师用同样时间做高考卷能考到140以上吗?我是高中数学老师,从教16年,常年带高三尖刀班,我的学生有很多考入清华北大,没有试过和学生同样时间做高考卷,但是平时模拟考试监考时,会和学生一块做试卷,如果让我参加同步高考,我只能
胃食管反流病引起的咽喉部症状有什么特点?正常情况下,食物顺序通口腔和过食管进入胃肠道,通过胃的消化,食糜也顺延着排入十二指肠小肠和大肠,在小肠里和大肠里在通过消化吸收,最后形成大便通过肛门排出体外,这是一个单向过程不能反
补充褪黑素的食物有哪些?褪黑素是由松果体分泌的激素,主要作用是调节24小时的睡眠节奏,还能清除有害自由基的作用。其分泌减少会影响到睡眠质量,可能会增加患某种癌症的风险。褪黑素分泌的减少原因有年龄睡眠不规律
各地早餐特色有哪些?我减肥期最爱看的纪录片就是早餐中国北京豆汁焦圈儿炒肝儿灌肠炸酱面驴打滚豌豆黄,艾窝窝上海混沌肉粽云吞面粢饭生煎烧卖豆腐花豆浆南京小笼包蟹黄包鸭血粉丝汤山东芝麻油盐烧饼油条甜沫玉米糊
水煮鸡蛋吃多了会血压高吗?为什么?感谢邀请。鸡蛋虽然是营养极其丰富的食物,但在人们心中它总是有一点瑕疵,那就是蛋黄中的胆固醇太高,高胆固醇就会让我们联想到高血脂症或高血压的爆发,实际上多吃鸡蛋可能并没有那么严重的影