Xilinx 机器学习 (ML) 推断可通过识别 X 光、超声、数字病理学、皮肤病学以及眼科等方面的异常,实现对危重疾病的早期检测。其它应用还包括手术工具指导、药物发现以及基因组分析等。Xilinx 及其合作伙伴生态系统可实现对广泛医疗保健应用及设计方法的大幅改进。
医疗保健物联网正在迅速加速实现云连接临床、诊断及放射设备资产和协作控制系统的机会,以利用机器学习来解读其全部功能。医院管理人员、IT、服务提供商和医疗设备制造商意识到这一优势,并理解集成边缘至云端解决方案的需求,这将加快其上市进程。
Xilinx、Spline.ai 和 AWS 物联网服务具有功能完备的医疗保健 AI 参考设计套件,以及运行在 Zynq® UltraScale+™MPSoC(集成在 ZCU104 平台上,作为边缘器件)上的示例 X 光检测模型,该模型具有极高的准确性以及极低的输出时延。其开发主要使用面向 Xilinx Zynq 架构的开源 Python 编程平台 PYNQ™ 以及可使这一集成轻松适用于其它临床平台的 AWS Lambda 函数。
集成在 MPSoC 中的 Xilinx 深度学习处理单元 (DPU) 可为 AWS 物联网 Greengrass 中的卷积神经网络 (CNN) 加速。边缘高性能加上云端可扩展性,可使该解决方案可以作为临床解决方案或医疗点 (POC) 解决方案在任何地方使用。该解决方案还可作为联邦学习平台,轻松与任何现有大型医疗保健应用集成。
Xilinx 最新 AI 工具套件 Vitis™AI 版本 1.1 用于编译深度学习模型,以运行加速推断,显著降低该解决方案成本。
Xilinx 和 Spline.ai 利用 Vitis-AI 以及将 Xilinx ZCU104 FPGA 板作为边缘器件的 AWS 物联网 Greengrass,针对肺部感染及新冠病毒预测系统开发了一款可扩展的智能解决方案。
Spline.ai 利用 Zynq UltraScale+ MPSoC 的实时功能和图像处理特性来实施肺部感染及新冠病毒检测模型,这对于了解感染程度和生成可视化热图非常有用。
Vitis AI 开发环境是 Xilinx 的开发平台,可用于在 Xilinx 硬件平台(包括边缘器件和 Alveo™ 卡)上进行人工智能推断。它由优化的 IP、工具、库、模型和示例设计组成。Vitis AI 以高效易用为设计理念,可在 Xilinx FPGA 和 ACAP 上充分发挥人工智能加速的潜力。
Xilinx 制定了一个完整的端到端流程,有助于软件开发人员、硬件开发人员和数据科学家充分发挥现有机器学习生态系统优势。在这个范例中,我们设计了一些工具,帮助我们的客户直接解析模型图,并训练从普及型 ML 框架中节省下来的权重。
“PYNQ”平台支持 Python 支持的边缘分析和机器学习。PYNQ 是 Xilinx Zynq SoC 的一个软硬件框架,可利用可编程硬件预处理传感器及其它类型的数据,因此软件分析在嵌入式处理器中非常高效。PYNQ 平台支持所有主要的 python 库,如 Numpy、Scikit-Learn 和 Pandas 等。
解决方案提供商 |
说明 | 支持的器件 |
---|---|---|
Spline.ai | 从 X 光图片进行肺部感染及新冠病毒检测 | Zynq UltraScale+ ZCU104 |
亚马逊 Web 服务 (AWS) | Xilinx Zynq UltraScale+ 医疗 AI 入门套件 | Zynq UltraScale+ ZCU104 |
解决方案提供商 | 说明 | 支持的器件 |
---|---|---|
Xilinx - Vitis | 统一软件平台 | All Xilinx 平台 |
Xilinx - Vitis AI | 自适应实时 AI 推断加速 AI Model Zoo GitHub |
All Xilinx 平台 |
Xilinx - PYNQ | PYNQ 主页 PYNQ 社区项目 |
Zynq UltraScale+ Zynq-7000 |
AWS IoT | AWS 认证的 Xilinx 产品 AWS IoT Xilinx – AWS 研讨会 |
Zynq UltraScale+ Zynq-7000 |
用于医疗保健的 Xilinx 产品 | 面向医疗保健的智能解决方案:影像、诊断及临床设备 | All Xilinx 平台 |
数据集: EDD2020
模型:具有 ResNet18 特征提取器及多个预测头的 Xilinx 自定义特征金字塔网络
影像: 通过我们的算法得出的影像结果
模型: 下载
准确度:Dice = 80.45%, F2-score=79.15%
性能:ZCU102 79ms 时延、40fps
数据集: HAM10000
模型:Github 介绍