显式包切换 - 2023.2 简体中文

AI 引擎内核与计算图编程指南 (UG1079)

Document ID
UG1079
Release Date
2023-12-04
Version
2023.2 简体中文

正如多个 AI 引擎内核可共享单个处理器并以交织方式执行一样,多个串流连接也可在单个物理通道上共享。此机制被称为“Packet Switching”(包切换)。AI 引擎架构和编译器协同工作以提供编程模型,其中有最多 32 条串流连接可通向相同物理通道。

“Explicit Packet Switching”(显式包切换)功能特性允许对计算图的计算中包的生成、分布和耗用方式进行高精度控制。通常如果可将来自同一 PL 源的众多低带宽串流分发到不同的 AI 引擎目标,那么建议使用“Explicit Packet Switching”。与此类似,如果有众多低带宽串流从不同 AI 引擎源流入同一 PL 目标,那么也可以利用此功能特性。由于在多个串流之间共享单一物理通道,可以最大限度减少所使用的 AI 引擎到 PL 接口串流的数量。本节描述了用于在计算图内显式创建包切换串流的计算图构造。