Vitis™ 视频分析 SDK 是在 Xilinx 平台上构建支持人工智能功能的智能视频分析解决方案的完整软件堆栈。它从 USB/MIPI 摄像头输入,通过 RTSP 从文件或数据流获取视频,并使用 Vitis AI 从像素点为各种使用案例生成深度洞察,比如了解智慧城市的交通和行人、医院的健康与安全监控、自助结账以及零售分析等,从而可检查生产设施等的组件缺陷。
核心 SDK 包含多个硬件加速器插件,该插件使用各种加速器,如视频编码器、解码器、多尺度器(用于调整大小和色彩空间转换)以及用于人工智能推断的深度学习处理单元 (DPU) 等。通过在专用加速器中执行所有计算量大的操作,它可实现视频分析应用的最高性能。
对于开发者社区,Vitis 视频还提供一个通用基础架构插件形式的框架、软件加速库和一个简化的接口,可供用户开发自己的加速库,控制自定义的硬件加速器。使用这个框架,用户可轻松将其自定义加速器/内核集成在 Vitis 视频分析 SDK 中。它建立在 Xilinx 运行时 (XRT)、Vitis 和 Vitis AI 基础之上,并抽象了这些复杂的接口,有助于开发人员更轻松地构建视频分析应用。
采用 Vitis 视频分析 SDK,应用可部署在基于 Zynq® UltraScale+™ MPSoC 的嵌入式平台上,如 kia™ SoM 和 ZCU104 或 PCIe 加速平台,其中包括 Alveo U30、U50 和 VCK5000 等。
Vitis 视频分析 SDK 是一种使用开源 GStreamer 框架构建的优化图形架构。下图是一个从输入视频到输出元数据的典型视频分析应用。所有单独的模块都是所用的各种插件。所有单独的模块都是所用的各种插件。底部是在整个应用中使用的不同硬件引擎。插件之间无内存拷贝的最佳内存管理和各种加速器的使用,可确保最高性能。
定制插件
高度优化的 GStreamer 插件旨在使用 Xilinx 平台上的优化内核和 IP 提供非常具体的功能。
基础架构插件
这些是正在开发的通用基础架构 GStreamer 插件,可帮助用户将其内核集成在 GStreamer 框架中。
加速软件库
这些是为管理加速内核 /IP 的状态机而开发的优化加速软件库,可公开界面,以便将这些加速软件库连接到 VVAS 通用基础架构插件中。这些可用作开发基于 VVAS 框架的加速库的参考。
加速硬件(内核/ IP)
这些都是 Xilinx 开发的高度优化的内核。
参考平台与应用
VVAS 提供多种参考平台,以满足不同应用/解决方案的需求。
Vitis 视频分析 SDK 不仅可在边缘器件上为端到端智能视频分析应用提供一流的性能,同时还可保持部署的灵活性和最佳功耗。
Vitis 视频分析 SDK 快速上手以及 Xilinx 边缘平台选择:
了解更多信息,请访问 //m.alegre-web.com/products/acceleration-solutions/xilinx-aupera-vmss.html