第 58 课 统计建模

第 58 课-临床预测模型的评价

围绕 统计建模 主题整理关键知识点、代码片段与应用场景。

Day_20主课

聚焦模型构建、参数设置与结果解释,便于快速查阅核心步骤。

一、C指数

C指数和ROC曲线下面积AUC差不多 一般而言,我们将 0.51-0.7 认为是低可信度、0.71-0.9 为中等可信度、> 0.9 为高可信度 - 校准度(Calibration):是指预测模型预测风险与实际风险的一致程度,是衡量模型预测绝对 风险(Absolute risk)准确性的重要维度,模型校准度较差时将低估或高估事件发生风险。 评估方式:1、Calibration图示法;2、拟合优度检验(Hosmer-Lemeshow goodness of fit test) - Hosmer-Lemeshow以合优度检验 拟合优度(Goodness of Fit)是指回归直线对观测值的拟合程度。 在通过建立的预测模型进行预测未来结果之前,我们需要尽可能的检验我们的模型与数据之间的拟合不冲突。Hosmer-Lemeshow检验P值大于0.05,说明拟合良好。

二、Calibration plot 的绘制

简单解释一下这张图,3 组对应图中的三个点,他是随机分组,当然分成 4 组 5 组也是有的,对于 Calibration plot,横坐标为模型预测得到的患者生存率,纵坐标为患者实际观察得到的生存率。理论上来讲,预测与实际两者应该是实际和预测的一致,也就是这条对角线, 但是,实际应该过程中和理论还是有差距的,三点之间的联系与虚线之间越相近,越能说明模型良好的一致性,结果是随机重复 1000 次的,有所区别也是没关系的,主要观察几个点之间的连线和对角线之间的吻合度,从而来评价模型的好坏 ### 三、DCA 曲线的绘制

解释一下结果图形的含义,在图中,横着的实线表示什么都不干预时候都获益率,为 0,而在另外两条线之间的和 None 相交的部分表示进行干预和不干预的情况,两者之间的范围表示使用该模型进行干预下患者可能的获益情况。DCA 曲线一般在文章中的训练集和验证集中都要放,这样,三个常用的指标就介绍好了。一般而言,如果文章使用了 Nomo 图,这三个评价指标是紧接使用的标配结果

← 返回训练营笔记库 去看单细胞模块 →