2. 开发者工具
  3. Vitis 统一软件平台
  4. Vitis AI 新增功能

Vitis™ AI 新增功能

Vitis AI 1.4

Vitis AI 1.4 版的几大亮点：

  • 支持新平台，包括 Kria KV260 SoM 套件和 Versal ACAP 平台 VCK190、VCK5000；
  • 支持从版本 1.5 到版本 1.7.1 的扩展型 Pytorch 框架；
  • 新增业界一流的模型，包括 4D 雷达检测、图像-激光雷达传感器融合、3D 检测与分割、多任务、深度估算、超高分辨率与更多模型，适用于汽车、智能医疗和工业视觉应用；
  • 使用全新 Graph Runner API 实现更轻松的子图分区用户体验；
  • 性能提升；

Vitis AI 1.4 的新类别

展开以下部分，进一步了解 Vitis AI 1.4 的新特性和增强功能。

  1. 新增 16 个模型，总共提供不同深度学习框架（Caffe、TensorFlow、TensorFlow 2、PyTorch）的 108 个模型。
  2. 与 Vitis AI 1.3 相比，增加了模型的多样性：
    1. 对于自动驾驶和 ADAS 而言，增加了 4D 雷达检测、图像-激光雷达传感器融合、环绕视图 3D 检测、升级的 3D 分割与多任务模型
    2. 对于医学和工业视觉而言，增加了深度估算、RGB-D 分割以及超高分辨率等参考模型
  3. 易用性增强：提供自动下载脚本，可根据型号名称和硬件平台自由选择版本
  1. 在训练后量化 (PTQ) 过程中支持快速微调；
  2. 改进的量化感知训练 (QAT) 函数：
  3. 支持更多层：swish/sigmoid、hard-swish、hard-sigmoid、LeakyRelu 以及嵌套 tf.keras 功能及序列模型；
  4. 支持更多层：
    1. swish/sigmoid、 hard-swish、hard-sigmoid、LeakyRelu
    2. 嵌套 tf.keras 功能及序列模型
  5. 支持新型号：EfficientNet、EfficientNetLite、Mobilenetv3、Yolov3 和 Tiny Yolov3
  6. 不仅通过 subclassing tf.keras.layers 支持自定义层，而且还支持自定义量化策略;
  7. 不仅支持自定义层， 而且还支持自定义量化策略
  8. 提高了易用性，修复了漏洞

  

  1. 支持 Pytorch 1.5-1.7.1
  2. 支持激活
    1. hard-swish、hard-sigmoid
  3. 支持更多操作符：
    1. Const、Upsample 等
  4. 量化过程中支持共享参数
  5. 更强的量化分析及错误检查功能
  6. 提高了 QAT 功能：
    1. 根据 PTQ 结果提供支持训练
    2. 支持重复使用的模块
    3. 支持恢复训练
  1. 在 TF1 中支持 tf.keras API
  2. 可为模型分析提供单个 GPU 模式支持
  1. 通过简化的 API 提高了易用性；
  2. 支持 torch.nn.ConvTranspose2d;
  3. 支持重复使用的模块；
  1. 为 DPUCVDX8G 提供 ALU 支持 (xvDPU)
  2. 支持跨层预提取优化选项
  3. 支持 xmodel 输出节点分配
  4. 启用特性实现零拷贝：
    1. DPUCZDX8G (DPUv2)
    2. DPUCAHX8H (DPUv3E)
    3. DPUCAHX8L (DPUv3ME)
  5. 开源网络可视化工具 Netron 正式支持 Xilinx XIR 
  1. 在 AI 模型专区支持 16 个新模型：
    1. 11 个全新 Pytorch 模型
    2. 5 个全新 Tensorflow 模型，1 个来自 Tensorflow 2.x
    3. 1 个新的 Caffe 模型
  2. 引入了新部署 API graph_runner，特别是对于具有多个子图的模型
  3. 为 DPU 和 xmodel 调试引入了新工具 xdputil
  4. 支持全新 KV260 SoM 套件
  5. 支持 VCK190 上的 DPUCVDX8G (xvDPU)
  6. 支持 VCK5000 上的 DPUCVDX8H (DPUv4E)
  1. 支持 Versal 平台 VCK190 和 VCK5000
  2. 支持 Petalinux 2021.1、OpenCV v4
    1. 更新样本，使用 INT8 作为输入来改进 EoU，减少从 FP32 到 INT8 的转换；
  1. 支持全新 DPU IP：
    1. DPUCVDX8G (xvDPU)
    2. DPUCAHX8L (DPUv3ME)
    3. DPUCVDX8H (DPUv4E)
  2. 在 vivado 流程中支持 DPUv2 和 xvDPU
  3. 内存 IO 统计
  4. 提高了易用性
  1. DPUv2 IP 升级至 2021.1
  1. VCK190 xvDPU TRD
  2. 支持批量大小 1~6，基于 C32 模式可配置
  3. PL 支持全新 OP：
    1. 高达 256x256 的全局平均池、元素乘法、Hardsigmoid 和 Hardswish
  4. 部署更多模型
  1. 在 Vitis AI 1.4 中发布 xo
  1. 支持最新 U250 平台 (2020.2)
  2. 支持最新 U200 平台 (2021.1)
  3. 漏洞修复
  1. 通过权值预提取功能，提高了小型网络处理的 DPU 性能
  1. 在 ZCU102 上提供了多目标跟踪 (SORT) 示例
  2. 为 Versal (VCK190) 提供了分类应用示例
  3. 将现有示例更新为 XRT API 和零拷贝
  4. 提供了 U200 (DPUv3INT8) TRD
  5. 端口 U200/250 示例使用 DPUv3INT8 而不是 DPUv1
  6. xRNN 预处理加速示例（嵌入层）
  7. SSD MobileNet U280 示例现在可在硬件上加速预处理及后处理
  1. 支持所有 DPU — ZCU102/4、U50、U200、U250、U280
  2. 为边缘设备使用 Petalinux
  3. 在应用层使用 AKS 提高了吞吐量
  4. 按 python 笔记本提供 Yolov3 教程
  1. 将 DPU 内核统一成一个内核，并为 Alveo U200/250 (DPUv3INT8)、U280、U50、U50lv 增加采样