☰
AI芯片调研实战笔记:从算力指标到选型落地
2026/11/4 8:12:39 网站建设 项目流程

给甲方做AI芯片调研,我整理了一份能直接用的实战笔记

入行这些年,接过不少AI芯片相关的调研需求。说实话,这玩意儿比大多数技术调研都难做:它横跨半导体工艺、计算机体系结构、软件生态、算法部署、市场竞争格局,任何一个维度单独拎出来都能写一本书。甲方爸爸通常只给一个模糊的目标——想知道该选哪家的卡、该不该自研、未来趋势怎么走——剩下全靠调研的人自己往深里挖。

我最近又完整地跑了一轮调研流程,从需求拆解到最终报告输出,整个过程踩了不少坑,也攒下了一套比较顺手的打法。这篇东西不聊空泛的概念,直接把我的调研方法、信息源、分析框架、避坑清单全部摊开,给同样在啃这个方向的同行做个参考。

1. 从需求到地图:先把AI芯片的版图摊开

1.1 需求拆解:甲方到底想问什么

做AI芯片调研,第一件事不是去翻新闻,而是把甲方的真实意图搞清楚。我遇到过的需求大概分四类:

第一类是选型型,最常见。甲方有明确的业务场景,比如要做AIGC推理、要做端侧智能硬件,想知道市面上哪款芯片性价比最高,选GPU还是ASIC,选进口还是国产。

第二类是投资型,甲方是投资机构或产业园区,想知道赛道里哪些团队值得看、哪些方向有长期价值,需要的是技术壁垒分析和竞争格局判断。

第三类是战略型,甲方是大型企业或研究机构,考虑要不要自研芯片,需要知道自研的话投入多大、周期多长、成功率如何。

第四类是情报型,甲方想了解特定竞争对手的产品路线图和真实落地情况。

不同类型决定了报告的重心和颗粒度。我见过最惨烈的翻车案例,是给一个做端侧智能摄像头的团队甩了一份云端大模型算力分析——方向完全错位,整个报告等于白做。所以拿到需求后我会先花半天时间确认三件事:业务场景、决策层级、交付形式。业务场景决定技术坐标系,决策层级决定报告深度——给CTO看要讲架构和生态,给CEO看要讲成本和ROI,给投资人看要讲格局和壁垒。

1.2 建立坐标系:一张表看懂AI芯片全景

和甲方对齐需求后,我会先画一张“AI芯片产业坐标系”。这张坐标系由三个轴构成:技术架构轴、部署位置轴、应用场景轴,它们交叉形成AI芯片的全景地图。

技术架构轴包括通用芯片和专用芯片两大类。通用芯片主要包括GPU、CPU和FPGA,专用芯片主要是ASIC,以及各种NPU、TPU、VPU。我见过不少调研报告把GPU和AI芯片对立起来,这是个很大的误解——GPU是当前AI算力的绝对主力,它就是AI芯片这个大类里的重要成员。

部署位置轴分为云、边、端三级。云端追求绝对算力和高吞吐,边缘侧需要在算力和功耗之间找平衡,端侧则把低功耗、低延迟和成本控制放到首位。应用场景轴覆盖训练、推理、多模态大模型、自动驾驶、智能制造、具身智能等方向。三者交叉下来,芯片的竞争力评价标准完全不同——一款云端训练芯片的核心指标是算力密度和互联带宽,一款端侧芯片的核心指标却是单位功耗算力和内存带宽,拿错尺子去量会闹笑话。

1.3 竞争对手与技术路线图同步梳理

建完坐标系之后,下一步是把主要玩家和对应技术路线放进图里。这一步我会做一个“玩家-架构-产品-状态”四列矩阵,把英伟达、AMD、英特尔、谷歌、亚马逊、华为昇腾、寒武纪、壁仞科技、燧原科技、摩尔线程等厂商一一归档,注明各自产品的技术架构、制程工艺、算力参数、量产状态。技术路线图方面,顶级芯片厂商的产品路线图通常覆盖未来两代产品,调研时要把尚在纸面上的规划版本和已量产的版本严格分开,不然很容易被市场宣传带偏节奏。

2. 硬核指标拆解:算力、带宽、互联、能耗怎么看

2.1 算力指标:TOPS和TFLOPS那么多,到底看哪个

AI芯片最常被引用的数据是算力。但算力这个数字背后有巨大的坑——不较真单位,会被厂商宣传带偏。

算力单位至少分三种:稠密算力、稀疏算力、峰值算力。稠密算力指所有矩阵计算都是满负荷的有效计算,稀疏算力则是利用权重矩阵里的零元素跳过部分计算获得的加速比。厂商通常会宣传稀疏算力,因为数字更好看。业内有个不太好听的共识:英伟达的官网数据通常标注“含稀疏”,国产芯片厂商更喜欢用FP16稠密算力来对标,因为比出更大的数字。

单位方面要看清楚是INT8还是FP16还是FP32。不同精度的算力数值差异极大——同样一块卡,FP16算力可能是FP32的两倍,INT8可能是FP32的四倍。大模型训练通常用FP16或BF16,推理场景普遍用INT8甚至更低精度。比对的时候一定要把所有数值统一到相同精度和相同稀疏性定义下,否则比较毫无意义。

2.2 内存带宽与容量:大模型时代的一切瓶颈

很多刚入行的人盯着一块芯片的TOPS值使劲看,却忽略了另一个要命指标:内存带宽。大模型推理是典型的内存带宽敏感场景——算力再高,数据来不及从内存送到计算单元,芯片也只能空转。

以LLaMA-7B这样的小参数量模型为例,加载完整权重就需要14GB显存,推理过程中每生成一个token都需要把全部权重从头到尾读一遍。假设每秒想生成20个token,那么光读取权重就需要至少280GB/s的带宽,这还完全没算KV Cache和其他开销。把规模放到175B参数的GPT-3级别,模型权重就要350GB,单卡内存都装不下,更别提带宽需求。这就是为什么H100具备3.35TB/s的HBM3带宽、A100具备2TB/s的HBM2e带宽——它们不约而同地把内存带宽作为核心设计目标。

容量同样关键。当前主流旗舰卡的显存已经从40GB向80GB、144GB甚至192GB迈进,原因是超大模型的参数和KV Cache把显存越吃越紧。调研时我通常会把“模型大小+KV Cache开销+服务并发数”代入公式,先测算显存需求,再反推需要什么规格的卡。太多调研报告只写“XX卡支持XXGB显存”,完全不算够不够用,这种报告在懂行的人面前是经不起追问的。

2.3 互联能力:单卡很猛,集群拉胯是通病

AI芯片调研如果只看单卡指标,会严重失真。真实的大模型训练是千卡、万卡集群协同的工作负载,单卡计算完要频繁交换梯度,互联带宽决定了集群规模能拉到多大、线性加速比能保到多少。

英伟达目前用NVLink做卡间高速互联和NVSwitch做节点内全互联,H100的NVLink带宽是900GB/s,到了最新的B200已经提升到1.8TB/s。如果把视野放大到节点之间的Scale-Out网络,那就是InfiniBand和RoCEv2的战场了。AMD做对应的方案是Infinity Fabric,带宽和生态目前都还有差距。国产芯片层面,华为昇腾通过HCCS互联方案实现了卡间高速通信,但平心而论距离英伟达的NVLink体系还有距离,光模块和交换机依赖也在逐步解决中。

调研互联能力时我会重点看三个数字:卡间互联带宽、节点内互联拓扑、跨节点时延。还要去翻真实用户的评测报告,比如大模型训练时的MFU(模型浮点利用率)。同样的GPU,集群规模越大、训练框架优化越好,MFU数值就越高。很多厂商鼓吹的算力指标在单卡测试时很好看,一上集群就暴露互联短板,这也是国产芯片在训练集群场景下口碑两极分化的主要原因。

2.4 能效比与功耗:电费才是算力的长期成本

芯片的纸面算力再高,如果功耗控制不住,数据中心会先崩溃。H100的TDP是700W,B200更是到了1000W以上,单机柜功耗密度越来越高,散热方案从风冷被迫转向液冷,追踪芯片调研时甚至要考虑数据中心的电力容量规划。

能效比指标要看的单位是“瓦特每TFLOPS”或者“每瓦每秒能处理多少token”。这个指标在端侧芯片和边缘场景中优先级极高——低功耗意味着电池续航更长、温控更简单、部署成本更低。端侧AI芯片但凡标称算力高得离谱,但功耗控制不住,通常都是靠牺牲制程功耗优化达成的,或者跑分数字有猫腻。我一般会把功耗和算力绑在一起看,单看任何一方都会得出错误选型结论。

3. 主流玩家的产品矩阵与竞争力评估

3.1 英伟达:从GPU厂商到全栈算力平台

英伟达是任何AI芯片调研都绕不开的基准线。这家公司的厉害之处在于,它不仅硬件强,而且是目前唯一一个做到了“从芯片到网络到软件生态到预训练模型”全栈打通的厂商。硬件层面,从V100、A100到H100、H200再到2024年的B200,每一代都保持代际性能和显存的显著提升。网络层面,NVLink和InfiniBand的组合让万卡集群变成工程上可落地的方案。软件层面,CUDA生态积累了近二十年,从底层驱动到框架适配到算子库到分布式通信库,几乎做到“什么模型都可以直接运行”。

调研英伟达时我特别看重两个数据点:一是CUDA开发者数量,这是生态护城河的核心指标;二是其在各大数据中心真实部署的覆盖率,这决定了它业绩的确定性。产品序列还要关注推理专用产品,比如基于Ampere架构的A30、基于Hopper架构面向推理优化的L40S等,它们在大模型推理场景的性价比各有差异,需要按实际用途对比。

3.2 AMD与英特尔:追赶者手牌原理不差,落差在生态

AMD在MI300系列上做了很激进的架构创新。MI300X采用Chiplet设计,把CPU和GPU芯粒拼装在同一基板上,最大内存容量做到了192GB,带宽也压到了H100同档。纸面指标相当能打,不少机构评估认为MI300X在纯大模型推理场景已经具备与H100掰手腕的能力。AMD的ROCm软件栈这几年进步明显,但同CUDA相比仍有关键短板,特别是在算子库覆盖面和框架兼容性上。

英特尔的Gaudi系列选择了一条差异化路线——在HBM带宽上堆料,同时把价格压到同级别英伟达产品的三分之二到一半。Gaudi 3在部分推理负载实测中表现还不错,但真正制约它的是软件生态和客户信任度。英特尔在CPU市场的优势反而让它获得了一个独特卖点——如果你本身就有大量英特尔CPU服务器,上Gaudi整体架构决策会更顺滑。调研时对这两家的评价要分开看:硬件潜力是实打实的,生态短板也是实打实的,具体选不选取决于甲方对生态容忍度。

3.3 国产芯片的生存空间与真实水平

给甲方做调研,国产芯片是绕不开的话题。昇腾910B系列在2023年底到2024年初掀起过一波热潮,不少头部云厂商和AI公司开始批量采购。从实测数据来看,910B在FP16算力上逼近A100水平,但集群训练的稳定性和互联性能仍然有差距。后面推出的昇腾910C在多个指标上做了改良,主要补齐了互联和内存带宽。华为昇腾的优势是全栈自研、软硬件协同深度优化,加上CANN软件栈和MindSpore框架的配合,在国内市场接受度提升很快。

除了昇腾,寒武纪的思元系列、壁仞科技的BR100系列、燧原科技的云燧系列各有侧重。寒武纪在端侧和推理侧部署案例更丰富,壁仞在大算力训练方向上做了尝试,燧原在互联网客户的推理场景中有了规模化验证。调研这部分的关键是区分“送测样片”和“规模量产”两个状态——相当多国产芯片产品还停留在流片成功和小批量送测阶段,距离大规模量产和稳定交付还有很长的路。真正的落地验证要看是否进入头部云厂商的数据中心,或者是在大模型推理的真实业务中长期稳定运行。

3.4 谷歌TPU与亚马逊Trainium:云厂商自研的鲶鱼效应

谷歌TPU是云厂商自研芯片里历史最久、技术最成熟的一个。TPU从v1到v4再到最新的TPU v5p和Trillium,每一代都在强化互联能力和内存容量。TPU不单独售卖,而是通过Google Cloud以云服务方式提供,生态封闭但好用——配合JAX和TensorFlow框架,在谷歌云内部的一致性体验非常好。调研TPU的价值在于理解AI芯片的另一种商业模式:从卖卡转向卖算力服务。

亚马逊Trainium和Inferentia走的是更务实的路子——不追求通用性,聚焦深度学习训练和推理中的常见算子做深度优化。Trainium2在成本上有明显优势,配合亚马逊自家云的弹性计费模式,吸引了不少有成本压力的公司。云厂商自研芯片的整体逻辑是:把算力成本结构重新梳理一遍,用自研芯片取代部分英伟达采购,从而在建数据中心和云服务定价上掌握更多主动权。

4. 软件生态与落地场景:芯片之争的本质是生态之争

4.1 CUDA生态的护城河到底有多深

很多非技术背景的调研需求方不太理解,为什么英伟达芯片算力不一定是最高,但市场地位却难以撼动。核心就在CUDA生态。CUDA早在2007年就推出了,十几年积累下来,全球数百万开发者的代码、工具、学习路径、调试习惯都长在CUDA之上。任何新芯片想取代英伟达,硬件达到8成水平容易,但要在软件层面让客户平滑迁移,难度要高出两个数量级。

具体点说,一个完整的AI软件栈包括底层驱动、算子实现库、深度学习框架适配、分布式训练通信库、推理优化工具、集群调度平台。CUDA生态在每个层面都有对应的成熟组件——cuBLAS、cuDNN、NCCL、TensorRT、Triton Inference Server,这些组件经过无数生产环境的打磨,bug少、文档全、社区主动分享踩坑经验。新芯片的软件栈即便齐全,离“开箱即用”也差得很远,通常还需要甲方自己投入工程师一起做适配优化。

4.2 国产芯片软件栈的“最后一公里”问题

国产芯片的软件生态这几年进步很快,但“最后一公里”问题依然真实存在。昇腾的CANN在算子覆盖率和性能上逐年逼近CUDA,但它的设计哲学是深度优化自家硬件——算子实现贴合自家芯片架构,迁移进来后部分模型确实能跑出不错的性能,问题是一旦模型结构比较新、包含不常见算子时,需要手工编写或调优算子,这个工作量是不少算法团队不愿意承担的。

寒武纪的基础软件平台和壁仞的BIRENSUPA也都在拼命补齐生态短板。调研国产芯片时,我每次都会追问三个问题:常见的开源大模型(LLaMA、Qwen、ChatGLM)在这套生态上能不能直接跑通?主流框架(PyTorch、MindSpore)的适配版本支持是否完善?如果要用一个CUDA生态里的高级特性,需要多少额外开发成本?这三个问题能把软件栈的真实成熟度测出七八成。

4.3 端侧AI芯片的火爆:手机、车机、机器人、眼镜

只盯着云端大算力芯片,会漏掉AI芯片市场里增长最迅猛的一块——端侧。手机端NPU已经是标配,高通骁龙、联发科天玑、苹果A系列和骁龙平台里的NPU单元都在持续迭代,端侧大模型应用也开始从语音助手扩展到实时翻译、图文生成。车端的高通8295、英伟达Orin和Thor、地平线征程系列,属于自动驾驶的算力核心。机器人、AI眼镜、智能家居,是新一波端侧AI需求的爆发点。

端侧芯片的调研逻辑和云端完全不同。云端看的是绝对算力和集群规模,端侧看的是单位功耗下的推理能力、内存带宽、延迟、成本。以AI眼镜场景为例,芯片要在不到1W的功耗约束下完成实时视觉理解,同时成本要压到几十美元以内,这个约束条件会把绝大多数云端芯片直接排除。选端侧芯片时,我还会特别关注各家对INT4、INT8精度的支持效率,因为端侧模型压缩后普遍用低精度做推理,低精度算力指标才更能反映真实性能。

4.4 大模型推理的经济学:RASIC和Chiplet的想象力

调研到这一层,我通常会追问一个更前沿的问题:现有架构还有多少优化空间?答案芯片行业正在两条截然不同的路线上探索。一条是更激进的架构创新,例如特斯拉的Dojo和部分创业公司押注的RASIC(可重构ASIC),它们想在通用性和专用性之间找到新的平衡点——按计算模式动态重构,兼顾大模型的矩阵算力需求和传统负载的兼容性。另一条是系统级整合,Chiplet技术把计算芯粒、内存芯粒、IO芯粒灵活拼接,既缓解了先进制程成本飙升的压力,又让不同功能的芯粒可以独立迭代升级。调研报告中我会把这部分单独成章,它的意义不是马上回答“选哪家”,而是帮甲方看清未来3-5年的技术演进方向。

5. 调研方法工具箱:信息源、评估框架、避坑清单

5.1 信息源分级与可信度打分

AI芯片调研最难的环节之一是信息源的筛选。厂商发布的新闻稿水分最重,很多宣传数字经不起推敲;媒体和自媒体的评测报告质量参差不齐,有的连算力单位都没搞清就敢对产品下结论。我的做法是信息源分三层:

第一层是厂商官方技术白皮书和开发者文档,这些是数据准确性的基准,但要看懂宣传口径背后的统计方法。第二层是独立机构测评,MLPerf的官方榜单,那些多次参与系统评测的实验室公开数据。半导体行业研究机构如IDC、Gartner、TrendForce的季度报告覆盖产业动态和大盘数据,用来建立宏观框架很有价值。第三层是GitHub和知乎上的开发者实测讨论,特别是那些贴出真实训练日志、实测吞吐数据的内容,往往比任何官方材料都更接近真实性能。

5.2 四步评估法:纸上谈兵到落地评估

信息收集完成后,我有一个固定的四步评估流程:

第一步是把所有芯片的指标统一口径。算力统一到指定精度和稀疏性定义,显存统一按有效带宽计算,功耗统一按实际运行场景取值。第二步是代入甲方的真实业务负载做测算——甲方要跑的是7B还是70B参数的模型,推理并发是多大量,训练集群预期多少卡,算力需求用具体模型代入而非抽象数字参照。

第三步是做成本和供应链分析。单卡采购价、服务器整机成本、机房电力改造费用、散热成本、维保成本,全部放进去算整体拥有成本。供应链层面看芯片的获取难度、交付周期、是否有贸易合规风险。第四步是POC验证——有条件的甲方一定要拿真实模型在候选芯片上做小规模实测。纸上参数再好看,不如实际跑一遍训练、压测一轮推理来得可靠。

5.3 调研报告的常见坑位

总结经验教训,AI芯片调研报告里翻车率最高的坑位大概是这几个:

第一,被“峰值算力”带节奏。单纯看峰值数字选型,忽略了真实业务的有效算力远低于峰值,差距可能达到30%到50%,取决于模型结构、框架优化程度、混合并行策略。

第二,拿英伟达做唯一对标。英伟达是基准,但不能只看英伟达,AMD、谷歌、国产芯片各有各的生存空间,要按业务场景匹配。

第三,忽视互联生态的隐性成本。很多报告算准了芯片单价,却不把网络设备、集群调优人力、分布式框架适配成本算进去,最后预算偏离一大截。

第四,对国产芯片“一刀切”。国产化和自研是个复杂的谱系,有全自研的、有基于国外IP做集成的,有真正量产的、有还在PPT阶段的,笼统判断远不如逐个产品做技术拆解。

第五,忽略功耗与散热的连锁反应。换用高功耗芯片不只是多交电费,还涉及机柜改造、液冷部署、机房承重等一系列问题,常常是一票否决项。

6. 未来趋势判断与结论如何落地

6.1 三个确定方向:系统级优化、边缘推理爆发、异构计算走向主流

基于调研信息,我会给甲方提炼几个趋势判断。第一个是系统协同优化成为主战场。单芯片性能提升速度正在放缓,系统级优化——高速互联、内存池化、集群调度——成为性能倍增器。第二个是边缘推理的市场增速将长期高于云端训练,端侧大模型应用会持续拉动低功耗AI芯片的需求,这类市场存在大量卡位机会。第三个是异构计算走向主流——CPU、GPU、NPU、FPGA各司其职,并非单一芯片包打天下,数据中心和端侧设备都会朝着混合架构演进。

6.2 对三类角色的差异化建议

针对不同角色,我的结论建议会完全分开写:

给技术选型决策者的建议是:清晰定义负载类型,是训练为主还是推理为主、大模型为主还是传统CV/NLP为主,再匹配芯片类别。给投资和产业研究者的建议是:除关注旗舰芯片的指标外,多关注量产能力、客户真实复购率和生态建设速度,这些是更具含金量的指标。给战略决策者的建议是:自研芯片门槛极高,无论是人才、投入还是时间周期都远超一般预期,多数情况下与头部芯片厂商深度绑定合作比自己造芯片更务实,真要自研,也要从场景驱动的小芯片切入而非一上来就对标旗舰训练芯片。

7. 写在调研之后

这份调研方案并不是一套放之四海皆准的模板——每个甲方的业务背景和决策诉求都不相同,调研侧重也必然不同。但方法和框架是通用的:先拆解需求,再建立坐标系,然后统一口径做硬指标对比,接着穿透软件生态和系统能力,最后落到成本、风险、业务适配的综合评估。沿着这条路径走下来,AI芯片调研基本上不会跑偏。

我个人的感受是,AI芯片领域是少有的“信息差即决策质量差”的行业。纸面参数背后藏着大量不可见的细节,例如集群实际效率、软件栈成熟度、供应链韧性——这些恰恰是决定成败的关键。带着这一套框架去看任何一款AI芯片,至少不会被发布会上的光鲜数字带着走,也能给决策层交付一份真正经得起追问的分析。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询