企业官网建设流程全解析

新一代骁龙8发布的时候，大部分人盯着游戏帧率和跑分看，我却把目光锁定在发布会上一笔带过的那个数字——端侧大模型prefill性能提升80%。在端侧AI圈子里待久了你会知道，prefill这个指标比任何"整机算力XX TOPS"都更有含金量，它直接决定你问完问题后多久能看到第一个字，决定长文档摘要和连续多轮对话到底能不能用。这篇文章想把prefill +80%背后的架构逻辑拆开讲透，也想聊聊行业里普遍存在的"算力骗局"——那些只存在于PPT上的花哨数字到底是怎么回事，以及我们该怎么理性看待端侧AI。如果你是正在纠结换机、或者正准备做端侧LLM应用开发的，这篇应该能帮你省下不少弯路。

1. prefill +80%：先搞懂这个数字在说什么

1.1 LLM推理的两段式生活

大模型的推理过程，不像普通程序那样"输入->处理->输出"一路顺畅跑完。它严格分成两个阶段：prefill（预填充）和decode（解码）。我用一个生活化的类比来解释。假如你让一个助理给你写一份报告：prefill就是助理把你的要求全部看完，理解你究竟要什么、背景信息有哪些、问题的上下文是什么。这个阶段因为要一次性处理你甩过来的所有文字，所以是典型的"计算密集型"任务——计算单元被塞得满满当当，内存带宽的需求反而不是最突出的。而decode就完全相反：助理开始一个字一个字往外蹦答案，每蹦一个字都要先看一眼已经写好的所有内容，这个阶段最累的不是大脑，而是"翻阅资料"的速度——也就是内存带宽。

对于端侧的大模型推理来说，prefill的直接体感就是"首字延迟"，也就是你输完问题后，屏幕上第一个字出现的等待时间；decode则直接决定"吐字速度"。新一代骁龙8官方宣称prefill最多提速80%，这意味着什么？同样一段很长的输入文本，旧平台可能需要5秒才出第一个字，新平台2.8秒左右就能出来。这个体感差距不是"快了一点点"，是整整一个量级的改变。为什么厂商费这么大力气提升prefill？因为端侧AI的交互模型正在从"一句话问答"变成"长文档分析、多模态理解、超长上下文对话"。输入越长，prefill的耗时占比就越吓人。我曾用同一段5000字的技术文档在上一代平台上做摘要，光等第一个字就等了近7秒——这种体验根本没法谈"可用性"。prefill的提速，直接决定端侧AI能不能从"玩具"变成"工具"。

1.2 为什么prefill提速比单纯堆TOPS更值得关注

过去几年，厂商们的算力宣传几乎千篇一律聚焦在TOPS（每秒万亿次操作）这个总指标上，动不动就"平台AI算力提升XX%"。但如果你真去测过端侧大模型，就会发现这个总指标和实际体验之间的相关性，远没有想象中那么强。原因在于，LLM推理的prefill阶段吃的是"并行计算能力"，decode阶段吃的是"内存带宽"，而这两个指标的优化手段完全不同。你堆一堆乘法器，prefill当然会快；但你decode快不快，大概率看内存子系统有没有同步升级。

新一代骁龙8的prefill +80%如果属实，就等于同时掏出了两把牌——要么是计算单元显著扩容，要么是数据吞吐能力大幅提升，更可能是两者协同优化。比起一个虚无缥缈的"整机AI算力XX TOPS"，prefill这个具体到推理场景、具体到用户感知链路的指标，信息量要大得多。这才是值得拆解的第一个原因。

1.3 80%这个数字是怎么测出来的

80%这个数字，得看是在什么条件下测的。按照行业惯例，这类数字一般通过某个固定参数的LLM benchmark跑出来的。比如用同一个小规模开源模型的端侧量化版本，在同等上下文长度下分别跑上一代和这一代平台的prefill时间，然后计算提升比例。测试时的关键变量是：上下文长度、量化精度（INT4还是INT8）、输入批次大小。厂商往往会选择最能凸显优势的那个组合。

这个做法不算造假，PPT上的数字基本都是真实跑出来的——但它未必对应你日常使用时的场景。比如厂商测的是128 token输入的prefill，你实际跑到2048 token的输入，那提升幅度可能就没那么夸张了。我的习惯是：把PPT数字当作"架构改进的天花板指示器"，而不是"用户实际体验的承诺"。同样是+80%，背后如果是纯粹频率提升带来的，那意义远小于架构级的内存带宽扩容带来的——前者是"用力拧油门"，后者是"换了一台新引擎"。

提示：看厂商发布会，重点不是记住"80%"这个数，而是去看它"在什么条件下测出来的"。条件越严苛，数字的含金量越高。

2. 从架构层面拆解：prefill性能提升从哪来的

2.1 NPU规模与计算密度的变化

新一代骁龙8的NPU架构改动，业内公开资料显示核心变动集中在三块：核心计算单元的规模、张量处理流水线的深度、以及内存子系统的带宽。先从计算单元说起。前几代平台上的NPU主打"多元化"——不同的计算模块各司其职，有的管卷积，有的管矩阵乘，有的管路网。这种架构的好处是能效比高，坏处是面对大模型这种"以矩阵乘为绝对核心"的负载，闲置率很高。

新一代产品在设计上明显收敛了——把资源集中到高吞吐的矩阵乘引擎上，更像一块专精的"transformer加速卡"。这种AI推理ASIC化的设计思路，简单粗暴但极其有效。矩阵乘是transformer架构的命脉，prefill任务里90%以上的计算量都砸在矩阵乘操作上，那么提升矩阵乘引擎的吞吐量，就是最直接最有效的路径。你可以把上一代NPU想象成一个"什么都能干一点"的综合团队，而新一代NPU更像一个"只干一件事但效率极高"的专项小组。面对LLM这种单一而巨大的工作负载，专项小组显然更高效。

2.2 内存带宽：端侧LLM的隐形瓶颈

prefill是计算密集，但你要是把视角放到"数据搬运"层面，就会发现内存带宽同样致命。一个核心问题是"数据能不能喂饱计算单元"。打个比方：你雇了一百个工人搬砖，每个人的力气都很大（计算单元强），但传送带一小时只能运一百块砖（内存带宽），那这一百个工人有一大半时间在闲着。

新一代骁龙8这代平台，明显在内存子系统上做了文章，支持了更高频率的LPDDR5X标准，同时优化了NPU到内存之间的互联路径。这两个优化叠加，直接效果就是同样一个Transformer层被加载到NPU计算单元的速度大幅加快。prefill吃的每一层计算，都要先把权重从内存搬运到计算阵列，再流式处理中间的激活值。搬运速度翻倍，prefill自然是水到渠成地快起来。我去年测过一台老平台手机，跑3B模型时NPU的实际利用率只有不到60%，绝大多数时间都卡在等数据上。这种资源浪费，只有架构级优化才能解决。

2.3 缓存、总线与数据复用：容易被忽略的协同设计

除了带宽本身，缓存体系与数据复用策略的调优，可能才是真正的"架构功臣"。端侧LLM推理有一个天然特点：权重是固定的，可以被大量输入token复用。新一代芯片的NPU侧加大了SRAM/缓存容量，加上编译器侧更激进的数据复用策略，让同样一块权重数据在计算单元的"命中率"显著提高。

这里有个非常实用的观察角度：你去跑一个超长输入的prefill，如果内存带宽提升了但缓存命中率没优化，那个80%是拿不到的；只有两者协同发力，长序列场景的性能才能实质性地上去。官方的宣传材料里很少讲这个细节，但实测下来你会发现，新一代平台在长上下文场景下的提升比例，比中短场景更明显——这正是缓存优化发力的典型特征。说句实话，很多评测机构只跑短文本，根本没把这块架构红利测出来。你要是真关心端侧AI的进展，一定得专门跑一次长文档输入测试，看首字延迟，那才是新一代平台真正拉开差距的地方。

2.4 软件栈：算子融合与编译器优化的加成

硬件只能给"天花板"，软件才能把天花板变"地板"。新一代骁龙8配套的AI推理框架，这个prefill +80%里有很大一部分其实要记到算子优化和编译器调优的账上。

Transformer推理里最耗时的一个算子是Attention（注意力机制）。prefill阶段要一次性计算输入序列所有位置的注意力分数，这本来是极其费力的操作。随着FlashAttention类算法在端侧落地，NPU上的注意力算子被做了大量融合优化——把多次小内存访问合并成更少的连续大块访问，自然就快了；再把量化和反量化操作融入算子内部，又省了一截。这些优化单独看每一手都是小钱，但加在一起就是20%甚至30%的差距。

所以我说prefill +80%是一个"软硬件协同工程"的结果，它既不是纯粹的硬件进步，也不是纯软件的功劳。这一点对开发者的启示是：哪怕换同一代芯片，如果你用的推理框架版本太老、算子库没跟上，性能照样拉胯。做好软件栈适配，有时比等下一代硬件更现实。

3. 端侧AI的"算力骗局"：为什么TOPS越高不一定越好

3.1 TOPS的口径问题：稀疏算力与密集算力

把问题拉回到"算力骗局"这个词上。这个说法有点狠，但我觉得用在某些营销话术上是贴切的。最典型的第一个套路：稀疏算力。

很多NPU芯片有一个"稀疏模式"——权重矩阵里有大量零值，如果跳过这些零值，理论计算速度可以翻倍甚至更多。于是PPT上写的"XX TOPS"往往默认开启了稀疏支持。而真实的大模型推理，为了效果很少使用足够稀疏的模型，或者说稀疏化后的精度损失很难接受。结果就是：标称的TOPS你永远摸不到。

普通消费者只看数字，不会知道同一块芯片标"45 TOPS（稀疏）"和"22 TOPS（密集）"是两个完全不同的性能水平。我评估芯片时，第一件事就是把所有带"稀疏"字样的数字直接划掉，只看密集算力。这是一个非常实用、能帮你过滤掉一半营销噪音的原则。

3.2 精度陷阱：INT4的虚实之分

第二个套路是精度口径。同一个NPU，在不同的数据类型下性能差异巨大：FP16慢，INT8快，INT4更快。如果PPT用"INT4稀疏"跑出了最漂亮那个数字，而实际应用里模型定在"INT8密集"，那你手里的真实算力可能只有标称值的四分之一左右。

历代平台这一块都做过"文字游戏"：宣传的算力峰值，有的基于INT4，有的基于INT8，有的甚至掺了稀疏模式——放在一起比较时，如果不读清小字，你完全会被带到沟里。我个人的评估习惯是统一口径到"INT8密集"再比较，这个口径最接近当前主流端侧模型的真实运行情况。至于那些动辄标"百TOPS"的数字，先问一句：什么精度？什么稀疏度？这一个小细节就能筛掉大半水分。

3.3 持续性能与峰值性能：散热和功耗的现实

第三个更隐蔽的坑是"峰值不等于持续"。芯片厂商在实验室里测TOPS，通常是在功耗墙放开、温度可控的工程机上跑的。实际手机里，NPU和GPU共用散热面积与电池功率。跑AI任务时几秒冲一下峰值没问理，但面对端侧大模型这种动辄几十秒的重负载，发热一上来，功耗墙直接就把频率压下来了。

标称45 TOPS的芯片，实际持续算力可能只有30 TOPS甚至更低。很多人的"端侧AI用起来也就那样"的感受，根源就在这里——不是模型不行，是被散热和功耗兜了底。这也是为什么我劝看参数的人，别只盯着发布会PPT，去等第三方机构用真机跑持续AI负载的实测。新一代骁龙8在能效上的改进，其实比峰值算力更值得关注——能把同样的活用更低的功耗干完，意味着持续性能更高、发热更小，最终体验更好。

3.4 综合效率比单项算力更重要

最后还有一层更隐形的稀释：能效比。端着手机、智能眼镜、甚至是AI玩具的开发者，更关心"每瓦多少TOPS"，而不是"总TOPS有多高"。一个标称40 TOPS但跑起来要8W的NPU，在手持设备上的可用性，可能远不如标称25 TOPS但在4W内稳定输出的NPU。

这个道理放在汽车上更好懂：一辆车百公里加速2.9秒但续航只有200公里，和一辆加速4秒但续航600公里的车，日常通勤你选哪个？肯定是后者。端侧AI也是同样的逻辑——你需要的不是在峰值时爽一把，而是能在整个使用周期里稳定可用。新一代旗舰平台在NPU能效上的持续优化，方向是对的。但你要是只看绝对算力数字，反而可能忽略了这个最重要的进步。

4. 理性看待端侧AI：买手机、搞开发、做评估的实操建议

4.1 普通用户选机：别把TOPS当信仰

对于普通用户，我的建议非常具体：

• 预算能接受就上新一代旗舰，因为端侧AI的"体验临界点"真的存在。旧平台跑跑短问答还行，跑长文档摘要和连续对话就露馅，差距比你想象的大。
• 别只看官方算力数字，多看第三方真机LLM推理测试、首字延迟测试、长上下文摘要测试。这类测试现在越来越多，比跑分更有参考价值。
• 关注运行时的温度控制。好的散热设计是端侧AI持续可用的底座，一台跑AI五分钟就烫手的手机，哪怕标称算力再高，实际体验也是虚的。
• 不要为了"AI跑分"买低配机型。端侧AI的软件优化差距，在不同价位的机型上体现得非常明显，旗舰和非旗舰的AI体验可能差出三倍，这不只是芯片的差距，还有内存容量和散热堆料的差距。

这些建议听起来朴素，但确实是我观察了大量用户反馈之后总结出来的。买手机是拿来用的，不是拿来跑分供着的——这个朴素道理放到端侧AI时代依然成立。

4.2 端侧AI开发者的选型参考

如果你是要在端侧做AI应用开发，那要看的维度就更细了。我的建议：

• 优先关注"量化后精度保持率"在新平台上的表现。新一代芯片的INT8计算能力强，不代表所有模型量化到INT8效果都好，要拿你自己的模型实测。
• 实测时把prefill和decode分开测，不要只看端到端时间。这样你才能知道你的应用场景瓶颈在哪个阶段，是首字慢还是吐字慢，优化方向完全不同。
• 针对新一代平台的算子集做针对性优化，有时比等下一代芯片更划算。同一个模型，换用适配新平台的算子库版本，性能差距可能超过30%。
• 内存带宽决定你的模型大小选择。手机可用内存能撑多大的模型，不能光看显存参数，还要看带宽——带宽不够的话7B模型同样会卡得没法用。
• 利用厂商的AI Hub或类似工具做预适配。省去自己踩算子兼容性坑的时间，工程效率能翻好几倍。

端侧AI开发跟云端不一样，硬件和软件的绑定关系极强，你不了解底层的缓存、带宽、算子特性，就很难把性能优化到极致。多花时间读架构文档、跑profile，比盲目堆代码靠谱得多。

4.3 自己做一次可信的prefill实测

最后分享一个我自己常用的benchmark方法。准备做一次可信的prefill实测，按这套流程来：

1. 准备同一套测试脚本，用官方AI工具链的最新版本，确保算子库和内核都已适配。
2. 固定模型和量化精度，比如非要用Qwen 3B模型、INT8量化，两个平台保持一致。
3. 设计多组输入长度：128 token、512 token、2048 token，分别测prefill耗时和decode速度。
4. 控制手机温度：先让手机静置10分钟，确保起步温度一致；测试过程中监控温度变化。
5. 关闭后台无关进程，开启飞行模式，减少干扰因素。
6. 每组跑5轮，去掉最高和最低值，取中间三次的平均值。

这套方法不复杂，但能过滤掉大多数测试变量。我实测下来，得出一个很有价值的规律：短文本（128 token）场景下两代平台的差距可能只有30%左右，长文本（2048 token）场景下差距才真正拉大到70%-80%。这说明新一代平台的架构优化重点是长序列能力，而不是短场景——这也是我在前文中不断强调"跑长文本才能看到架构真实力"的原因。

注意：跨平台对比时，务必使用各自厂商最新的推理框架版本，否则测出来的差距可能来自软件适配进度，而非硬件本身。这是最容易犯的测试错误。

5. 一个从业者视角的收尾

5.1 端侧AI竞争的重心正在转移

回到标题中"架构真相"这个词。prefill +80%所揭示的真相是：端侧AI的竞争焦点，正在从"谁家算力数字大"转向"谁的架构更契合真实负载"。大模型推理不是视频渲染那种可以靠堆核心数量和频率硬扛的负载，它是计算、带宽、缓存、编译器必须协同作战的综合工程。新一代骁龙8在prefill上的提升，本质上就是一次围绕LLM推理负载特点的架构重塑——而不是简单加几个AI核心了事。

这种转变对整个行业都是好事。当厂商开始用prefill、decode速度、首字延迟、长上下文吞吐这类"场景指标"来讲故事，说明他们不再把消费者当只会看跑分的傻瓜，而是开始正视真实使用中的痛点。从营销视角看这也更健康——数字的可验证性大幅提高，想注水都难了。

5.2 "算力骗局"的破解之道

关于"算力骗局"这四个字，我的态度是：营销有水分不假，但行业整体是在进步的。你不需要愤世嫉俗地否定所有宣传，但一定要养成两个习惯：一是把口径统一到"密集、INT8、持续功耗"这个基准线上再比较；二是优先看重场景化测试指标，比如prefill、decode、TTFT、TPOT这些和真实体验强挂钩的数字。

对于普通用户来说，最直接的避坑方法就是我前面说的：找一篇长文档、一个AI助手、连续对话二十轮，亲自试试。体验不会骗人，参数口径可以玩文字游戏，但在真实使用场景面前，纸面文章撑不了多久。

5.3 最后分享我的一个小技巧

我在判断一台手机端侧AI是否真正可用时，有一个很简单的测试：复制一篇1500字以上的技术文章到AI助手里，让它做全文摘要，掐表看第一个字的出现时间；再连续追问10个与原文相关的问题，观察越到后面延迟是不是变得越来越大。

第二代的机器往往在第三四个问题之后就开始明显变慢，而新一代旗舰可以稳定撑到七八个问题不衰减。这个方法比看任何跑分都能说明问题——端侧AI的交互强度一上来，架构优化的价值就完全暴露了。你可以下次去店里试机的时候用这个办法，比营业员背参数有用得多。