medical-imaging-tile

面向边缘的医疗 AI — 机器学习和医疗保健分析

为医疗保健物联网边缘的放射、诊断和临床应用构建设备,以最低的总体拥有成本实现最高的每瓦性能

概述

Xilinx 机器学习 (ML) 推断可通过识别 X 光、超声、数字病理学、皮肤病学以及眼科等方面的异常,实现对危重疾病的早期检测。其它应用还包括手术工具指导、药物发现以及基因组分析等。Xilinx 及其合作伙伴生态系统可实现对广泛医疗保健应用及设计方法的大幅改进。


面向边缘和云端的医疗保健人工智能参考设计及开放式模型

医疗保健物联网正在迅速加速实现云连接临床、诊断及放射设备资产和协作控制系统的机会,以利用机器学习来解读其全部功能。医院管理人员、IT、服务提供商和医疗设备制造商意识到这一优势,并理解集成边缘至云端解决方案的需求,这将加快其上市进程。

Xilinx、Spline.ai 和 AWS 物联网服务具有功能完备的医疗保健 AI 参考设计套件,以及运行在 Zynq® UltraScale+™MPSoC(集成在 ZCU104 平台上,作为边缘器件)上的示例 X 光检测模型,该模型具有极高的准确性以及极低的输出时延。其开发主要使用面向 Xilinx Zynq 架构的开源 Python 编程平台 PYNQ™ 以及可使这一集成轻松适用于其它临床平台的 AWS Lambda 函数。
集成在 MPSoC 中的 Xilinx 深度学习处理单元 (DPU) 可为 AWS 物联网 Greengrass 中的卷积神经网络 (CNN) 加速。边缘高性能加上云端可扩展性,可使该解决方案可以作为临床解决方案或医疗点 (POC) 解决方案在任何地方使用。该解决方案还可作为联邦学习平台,轻松与任何现有大型医疗保健应用集成。

Vitis AI 的 AI 工具套件

Xilinx 最新 AI 工具套件 Vitis™AI 版本 1.1 用于编译深度学习模型,以运行加速推断,显著降低该解决方案成本。

医疗保健 AI 入门套件

Xilinx 和 Spline.ai 利用 Vitis-AI 以及将 Xilinx ZCU104 FPGA 板作为边缘器件的 AWS 物联网 Greengrass,针对肺部感染及新冠病毒预测系统开发了一款可扩展的智能解决方案。

使用 Vitis-AI 的 X 光图像

Spline.ai 利用 Zynq UltraScale+ MPSoC 的实时功能和图像处理特性来实施肺部感染及新冠病毒检测模型,这对于了解感染程度和生成可视化热图非常有用。


VITIS AI 平台

Vitis AI 开发环境是 Xilinx 的开发平台,可用于在 Xilinx 硬件平台(包括边缘器件和 Alveo™ 卡)上进行人工智能推断。它由优化的 IP、工具、库、模型和示例设计组成。Vitis AI 以高效易用为设计理念,可在 Xilinx FPGA 和 ACAP 上充分发挥人工智能加速的潜力。

Xilinx 制定了一个完整的端到端流程,有助于软件开发人员、硬件开发人员和数据科学家充分发挥现有机器学习生态系统优势。在这个范例中,我们设计了一些工具,帮助我们的客户直接解析模型图,并训练从普及型 ML 框架中节省下来的权重。

PYNQ — Zynq 上的 Python

“PYNQ”平台支持 Python 支持的边缘分析和机器学习。PYNQ 是 Xilinx Zynq SoC 的一个软硬件框架,可利用可编程硬件预处理传感器及其它类型的数据,因此软件分析在嵌入式处理器中非常高效。PYNQ 平台支持所有主要的 python 库,如 Numpy、Scikit-Learn 和 Pandas 等。


合作伙伴解决方案

解决方案提供商
说明 支持的器件
Spline.ai 从 X 光图片进行肺部感染及新冠病毒检测 Zynq UltraScale+
ZCU104
亚马逊 Web 服务 (AWS) Xilinx Zynq UltraScale+ 医疗 AI 入门套件 Zynq UltraScale+
ZCU104

链接与参考

解决方案提供商 说明 支持的器件
Xilinx - Vitis 统一软件平台 All Xilinx 平台
Xilinx - Vitis AI 自适应实时 AI 推断加速
AI Model Zoo GitHub
All Xilinx 平台
Xilinx - PYNQ PYNQ 主页
PYNQ 社区项目
Zynq UltraScale+
Zynq-7000
AWS IoT AWS 认证的 Xilinx 产品
AWS IoT
Xilinx – AWS 研讨会
Zynq UltraScale+
Zynq-7000
用于医疗保健的 Xilinx 产品 面向医疗保健的智能解决方案:影像、诊断及临床设备 All Xilinx 平台
更多资源
medical-imaging

Xilinx 在医疗成像应用中释放人工智能的无限潜能
使用包括机器学习 (ML) 和深度学习技术 (DL) 在内的人工智能 (AI),有望成为推动医疗成像变革的力量。
了解更多 >

analytics-x-rays

X 射线分析:在边缘器件上的医疗自适应 AI
该系列网络研讨会由两部分组成,我们将讨论就地在硅胶中进行医疗保健推断的重要性。


Vitis AI ModelZoo 医疗保健模型

2D 内窥镜多类分割

数据集: EDD2020
模型:具有 ResNet18 特征提取器及多个预测头的 Xilinx 自定义特征金字塔网络
影像: 通过我们的算法得出的影像结果
模型: 下载
准确度:Dice = 80.45%, F2-score=79.15%
性能:ZCU102 79ms 时延、40fps

Vitis™ AI 皮肤损伤分类教程

数据集: HAM10000

皮肤损伤教程

模型:Github 介绍