企业官网建设流程全解析

说到Batch推理，我脑子里第一个蹦出来的画面，是几年前在某个智能相框项目上踩的坑。那时候我刚接触高通平台，心想“Batch越大越快”嘛，直接塞了16张图进去。结果呢？NPU直接罢工，内存爆了。嗯，从那以后我就老实了——Batch优化这事儿，真不是拍脑袋能决定的。

今天咱们就聊聊，在高通AI Engine上，怎么把Batch用明白。说白了，就是搞清楚三个问题：什么时候用静态Batch？什么时候用动态Batch？怎么在吞吐量和延迟之间找到那个“甜点”？

12.1 静态Batch vs 动态Batch：本质区别

先给个最直白的定义：

• 静态Batch：模型编译时就固定了Batch Size，比如你指定Batch=4，那模型就只能一次处理4张图。多了少了都不行。
• 动态Batch：模型在运行时可以接受不同大小的Batch，比如这次来3张，下次来8张，NPU都能接住。

你可能会问：“那肯定动态好啊，灵活！” 别急，我当年也这么想，结果被性能数据打了脸。

核心差异点：

• 静态Batch：编译时做极致优化，内存布局固定，计算流水线可以完全展开。吞吐量高，但灵活性差。
• 动态Batch：运行时动态调整，每次都要重新分配内存、重新编排计算。灵活性好，但会引入额外开销。

我个人习惯，在量产项目中，如果输入尺寸和数量都稳定，我首选静态Batch。为什么？因为高通NPU对静态形状的优化太狠了，能省掉很多动态调度的开销。

12.2 吞吐量与延迟：鱼和熊掌怎么兼得？

这是个老生常谈的话题，但在NPU上，它有个特殊的“脾气”。

咱们先看一组我在骁龙8 Gen 2上实测的数据（模型是MobileNetV2，INT8量化）：