威尔康奈尔医学院和洛克菲勒大学研究人员的一项新研究发现，强化学习是一种人工智能方法，有可能指导医生设计循序渐进的治疗策略，以获得更好的患者结果，但在应用于临床环境之前，需要进行重大改进。

强化学习（RL）是一类机器学习算法，能够随着时间的推移做出一系列决策。最近人工智能取得了进步，包括在国际象棋和围棋上的超人表现，强化学习可以利用不断变化的患者状况、测试结果和之前的治疗反应来建议个性化患者护理的下一个最佳步骤。这种方法特别有希望用于管理慢性或精神疾病的决策。

这项研究发表在12月13日的神经信息处理系统会议论文集（NeurIPS）上，介绍了“护理情节”（EpiCare），这是医疗保健的第一个RL基准。

“基准测试推动了机器学习应用的改进，包括计算机视觉、自然语言处理、语音识别和自动驾驶汽车。我们希望他们现在能推动RL在医疗保健方面的进步，”领导这项研究的精神病学神经科学助理教授洛根·格罗森尼克博士说。

强化学习代理根据他们收到的反馈改进他们的行为，逐渐学习提高他们决策的策略。“然而，我们的发现表明，虽然目前的方法很有希望，但它们非常缺乏数据，”格罗森尼克博士补充道。

研究人员首先在EpiCare上测试了五个最先进的在线强化学习模型的性能。这五个都超过了标准护理基线，但只有在经过数千或数万次现实模拟治疗事件的训练之后。在现实世界中，RL方法永远不会直接在患者身上进行训练，因此研究人员接下来评估了五种常见的“非政策评估”（OPE）方法：旨在使用历史数据（例如来自临床试验的数据）来规避在线数据收集需求的流行方法。使用EpiCare，他们发现最先进的OPE方法始终无法准确地执行医疗保健数据。

“我们的研究结果表明，目前最先进的OPE方法无法准确预测纵向医疗保健场景中的强化学习性能，”洛克菲勒大学研究员、第一作者梅森·哈格雷夫博士说。随着OPE方法在医疗保健应用中的讨论越来越多，这一发现强调了开发更准确的基准测试工具（如EpiCare）的必要性，以审核现有的RL方法并提供衡量改进的度量标准。

Grosenick博士说：“我们希望这项工作将促进在医疗保健环境中对强化学习进行更可靠的评估，并有助于加速开发适合医疗应用的更好的强化学习算法和训练协议。”

自适应卷积神经网络解释图数据

在同一天发表的第二篇NeurIPS论文中，格罗森尼克博士分享了他的研究，即如何将卷积神经网络（cnn）应用于处理图像，以处理更一般的图形结构数据，如大脑、基因或蛋白质网络。2010年代初，cnn在图像识别任务上的广泛成功为cnn的“深度学习”和神经网络驱动的人工智能应用的现代时代奠定了基础。cnn被用于许多应用，包括面部识别、自动驾驶汽车和医学图像分析。

“我们经常对分析神经成像数据感兴趣，这些数据更像是带有顶点和边缘的图形，而不是图像。但我们意识到，对于图结构数据，没有任何可用的东西可以真正等同于cnn和深度cnn，”格罗森尼克博士说。

大脑网络通常表示为图形，其中大脑区域（表示为顶点）沿着“边缘”将信息传播到其他大脑区域（顶点），这些“边缘”连接并表示它们之间的强度。基因和蛋白质网络、人类和动物的行为数据以及化合物（如药物）的几何结构也是如此。通过直接分析这样的图，我们可以更准确地为本地和更远的连接之间的依赖关系和模式建模。

研究人员Isaac Osafo Nkansah当时在Grosenick实验室工作，也是论文的第一作者，他帮助开发了量化图形卷积网络（Quantized Graph Convolutional Networks, QuantNets）框架，将cnn泛化为图形。“我们现在用它来模拟患者的脑电图（脑电活动）数据。我们可以在头皮上安装一个由256个传感器组成的网络，读取神经元活动——这是一个图表，”格罗森尼克博士说。“我们正在将这些大图表缩减为更可解释的组成部分，以更好地了解患者在接受抑郁症或强迫症治疗时，动态大脑连接是如何变化的。”

研究人员预见了QuantNets的广泛适用性。例如，他们还在寻找图形结构的姿态数据模型，以跟踪鼠标模型的行为，以及使用计算机视觉提取的人类面部表情。

Grosenick博士总结道：“虽然我们仍在探索将尖端人工智能方法应用于患者护理的安全性和复杂性，但每一步的进步——无论是新的基准框架还是更准确的模型——都使我们越来越接近个性化治疗策略，这些策略有可能极大地改善患者的健康状况。”

作者：威尔康奈尔医学院

链接：https://www.sciencedaily.com/releases/2024/12/241217201609.htm

著作权归作者所有。

声明：海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的，并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益，请作者与本网联系，我们将及时更正、删除，谢谢。电话：152 6451 3609，邮箱：1027830374@qq.com