概述

Vitis™ 视频分析 SDK

 

Vitis™ 视频分析 SDK 是在 Xilinx 平台上构建支持人工智能功能的智能视频分析解决方案的完整软件堆栈。它从 USB/MIPI 摄像头输入,通过 RTSP 从文件或数据流获取视频,并使用 Vitis AI 从像素点为各种使用案例生成深度洞察,比如了解智慧城市的交通和行人、医院的健康与安全监控、自助结账以及零售分析等,从而可检查生产设施等的组件缺陷。

核心 SDK 包含多个硬件加速器插件,该插件使用各种加速器,如视频编码器、解码器、多尺度器(用于调整大小和色彩空间转换)以及用于人工智能推断的深度学习处理单元 (DPU) 等。通过在专用加速器中执行所有计算量大的操作,它可实现视频分析应用的最高性能。

对于开发者社区,Vitis 视频还提供一个通用基础架构插件形式的框架、软件加速库和一个简化的接口,可供用户开发自己的加速库,控制自定义的硬件加速器。使用这个框架,用户可轻松将其自定义加速器/内核集成在 Vitis 视频分析 SDK 中。它建立在 Xilinx 运行时 (XRT)、Vitis 和 Vitis AI 基础之上,并抽象了这些复杂的接口,有助于开发人员更轻松地构建视频分析应用。

采用 Vitis 视频分析 SDK,应用可部署在基于 Zynq® UltraScale+™ MPSoC 的嵌入式平台上,如 kia™ SoM 和 ZCU104 或 PCIe 加速平台,其中包括 Alveo U30、U50 和 VCK5000 等。


Vitis 视频分析 SDK 图形架构

Vitis 视频分析 SDK 是一种使用开源 GStreamer 框架构建的优化图形架构。下图是一个从输入视频到输出元数据的典型视频分析应用。所有单独的模块都是所用的各种插件。所有单独的模块都是所用的各种插件。底部是在整个应用中使用的不同硬件引擎。插件之间无内存拷贝的最佳内存管理和各种加速器的使用,可确保最高性能。


Vitis 视频分析 SDK 核心组件

定制插件
高度优化的 GStreamer 插件旨在使用 Xilinx 平台上的优化内核和 IP 提供非常具体的功能。

基础架构插件
这些是正在开发的通用基础架构 GStreamer 插件,可帮助用户将其内核集成在 GStreamer 框架中。

加速软件库
这些是为管理加速内核 /IP 的状态机而开发的优化加速软件库,可公开界面,以便将这些加速软件库连接到 VVAS 通用基础架构插件中。这些可用作开发基于 VVAS 框架的加速库的参考。

加速硬件(内核/ IP)
这些都是 Xilinx 开发的高度优化的内核。

参考平台与应用
VVAS 提供多种参考平台,以满足不同应用/解决方案的需求。


开发流程

开发流程

  1. 下载多通道 ML 和 智能模型选择应用的预构建映像
  2. 训练教程和应用的现有功能/流水线
  3. 为您的自定义逻辑/内核开发 Vitis 视频分析 SDK 加速软件库,并将其与 Vitis 视频分析 SDK 基础架构插件集成,验证功能的正确性。
  4. Vitis 视频分析 SDK 在当前版本中提供了 16 个 AI 模型。如果您想使用不同的 AI 模型,请自带或从 Xilinx Model Zoo 下载并使用 Vitis AI 进行编译
  5. 使用新构建的 AL 模型运行您的流水线/应用

部署选项
KV260

嵌入式部署

Vitis 视频分析 SDK 不仅可在边缘器件上为端到端智能视频分析应用提供一流的性能,同时还可保持部署的灵活性和最佳功耗。

Vitis 视频分析 SDK 快速上手以及 Xilinx 边缘平台选择:


本地部署 Alveo 卡

PCIe 加速部署

Xilinx 数据中心加速卡由 Vitis 视频分析 SDK 提出支持,可高效加速智能视频分析应用的整个流水线,与现代 CPU 和 GPU 相比,可提供更高的性能和更低的总体拥有成本。

体验 Vitis 视频分析 SDK 并设置您的 Xilinx® Alveo™ 加速卡:


技术文档
开始设计
视频