这家公司终于把大模型这块补丁打上了。
关注AI圈的人应该都有印象,过去一年各家的云端大模型一个比一个卷,千亿参数、多模态、Agent能力轮番轰炸。而有一家一直强调“软硬一体”的消费电子厂商,在大模型这件事上却迟迟没有亮出真正能打的牌。直到最近,它正式发布了第二代自研大模型系列,舆论圈里冒出一个高频说法——这是创始人补齐AI布局的最后一块拼图。
这句话特别有意思。“最后一块拼图”意味着之前的东西其实已经铺得差不多了。手机业务、智能家居生态、汽车业务、操作系统、自研芯片,这家公司几乎把能自研的都攥在手里,唯独缺一个能贯穿所有设备的智能大脑。从这次发布的V2系列来看,它补的正是这块核心短板。
这篇文章不打算复述一遍发布会信息,而是从技术拆解、战略逻辑、端侧部署的实际痛点、开发者能拿它做什么、以及拼图拼完之后还差什么这五个角度,把这套发布从头到尾捋一遍。里面有我过去一段时间实测端侧模型攒下的经验,也有一些明显属于后见之明的判断,希望对正在关注端侧大模型的人有点用处。
1. 从3B到7B:V2系列到底拿什么打天下
1.1 双版本组合与视觉变体
这次发布的主菜是第二代自研大模型系列。和第一代相比,最直观的变化是产品矩阵一下子清楚了:一个3B规模的小参数版本,一个7B规模的性能版本,外加一个视觉语言模型变体。三个模型放在一起,覆盖的场景其实很明确:小参数版本负责跑在手机和IoT设备上,性能版本负责稍微重一点的本地推理,视觉变体则把摄像头和图像理解这条路打通。
值得玩味的是这个系列的“轻量化”路线。现在的行业风向是云端模型越大越好,动辄喊出千亿稀疏专家模型,而这家公司偏偏把重心放在3B和7B这种“小模型”上。这不是因为它做不出大模型,而是它想清楚了一个问题:自己手里的终端设备数量庞大,如果大模型只能跑在云端,那对手机、手表、音箱、汽车来说就只是换个入口,谈不上真正的“智能革命”。
小参数模型要做到可用,核心不在于参数量本身,而在于单位参数的产出效率。同样都是3B,有的模型推理起来磕磕绊绊,有的却能流畅跑完多轮对话,差距就在训练数据、注意力结构、量化压缩这些细节里。V2系列这一代在主结构上改动不小,明显是在追求更高的“参数利用率”。
1.2 为什么参数越小越要讲究“推理效率”
行业内有个常见的误解:小模型只是因为“轻”所以跑得快,大模型只是因为“重”所以跑得慢。这个理解只对了一半。推理速度其实受两个因素制约:一是模型本身的计算量,二是推理框架对硬件资源的调度能力。
模型的计算量由参数量和序列长度共同决定。3B模型的计算量天然比7B小,这不是本事,是小参数模型自带的红利。真正拉开差距的是第二个因素——框架调度。同一个模型用不同的推理框架跑,延迟能差出两三倍甚至更多。V2系列这一代专门对混合推理做了优化,把整数计算和浮点计算拆开处理,让芯片里不同类型的计算单元都能吃饱,而不是一个忙死一个闲死。这个思路用大白话说就是:不只看模型瘦不瘦,还要看能不能让硬件把力气用对地方。
另一个细节是量化策略。V2系列全系支持多种位宽的量化压缩,从FP16到INT4都能跑。这里有个实际体验要特别说一句:很多模型为了支持INT4,会在权重压缩时丢失太多精度,导致生成质量肉眼可见地变差。V2系列在低比特量化下的表现比我预想的稳,尤其是7B版本在压缩到4bit之后,对话流畅度依然能保持住。这背后是训练阶段就考虑了量化感知,而不是训练完之后再硬着头皮压缩。
注意:量化不是把模型“压缩”一下就完事。训练时就加入量化感知,和训完再压缩,效果天差地别。V2系列属于前者,这也是它低比特表现稳的原因之一。
1.3 视觉变体是真正容易被低估的一步
视觉语言模型变体在我眼里比纯文本版本更值得关注。它接入图像输入之后,整条链路就不只是“聊天更聪明”,而是“摄像头看得懂”。手机拍个照就能让它帮你提取表格里的文字,车载摄像头扫一眼路况就能给出巡航建议,智能门铃识别到陌生人还能判断姿态是否异常。
这些场景过去其实也有专门的视觉AI方案,但那些方案大多是针对单一任务训练的,换个场景就废。V2系列的视觉变体通用性更强,相当于把“看图说话”这个能力变成了基础能力,上面再叠加具体技能就容易多了。
不过也要泼一盆冷水:视觉语言模型的端侧部署比纯文本模型更吃内存,因为视觉特征提取的网络结构和权重都要一并加载。3B的视觉变体在内存占用上会逼近7B纯文本模型,选型时不能只看参数规模,还得看实际内存占用。
2. “最后一块拼图”这句话背后的产品逻辑
2.1 硬件生态铺得越广,越缺一个统一大脑
说V2是最后一块拼图,得先看这家公司之前拼了多少块板子。
手机这条线不用说了,从旗舰到入门款,出货量一直盘踞在第一梯队。IoT生态更是它区别于其他手机厂商最明显的护城河——电视、音箱、门锁、摄像头、照明、厨电,什么都有,而且都是自己下场做或者深度介入。汽车业务从2024年开始交付,到2025年已经跨过最初的产能地狱,开始进入规模化放量阶段。再加上自研操作系统版本迭代越来越快,整个硬件版图已经非常完整。
但硬件多,不等于智能化强。如果每个设备都靠自己的小算力做判断、每类设备都接不同的云端服务,那用户体验就是割裂的。你手机上聊了半天的内容,回到车里还得重新说一遍;门铃识别到可疑情况,也只会在App里推一条通知,不会联动家里的智能音箱做出警示。
把这么多设备真正串起来,靠的是什么?不是更快的蓝牙,不是更好的Wi-Fi路由器,而是一个统一的智能大脑。这个大脑要足够轻,能在每个终端本地跑起来;要足够聪明,能理解不同设备传回来的多模态数据;还要足够统一,让开发者写一次就能部署到手机、汽车、摄像头、音箱全场景。这正是V2系列想承担的角色。
2.2 从“卖硬件”到“运营智能”的转身
另一个角度看“拼图”逻辑:这家公司的商业模式正在经历一次实质性的转型。
以前卖手机就是卖手机,卖电视就是卖电视,每台设备卖出去之后,厂商和用户的联系就淡了。但大模型不一样,它是一个每月甚至每天都在持续服务的能力。系统升级、技能扩展、Agent能力增强,全都建立在这个模型之上。谁掌握了终端大模型,谁就掌握了后续持续服务的入口。
这也是为什么它咬牙也要自研,而不是直接接别的第三方模型。接第三方模型等于把服务入口拱手让人,自研虽然慢、虽然烧钱,但模型怎么改、怎么剪枝、怎么和自家芯片适配,全都自己说了算。等V2系列真正铺到全量设备之后,它的角色就从硬件制造商变成了智能服务运营商。运营这个词,才是比硬件毛利更有想象力的那部分。
2.3 “拼图”说法的一个被忽略的暗线
“最后一块拼图”还有一个隐藏的暗线,和创始人本人的布局节奏有关。这位创始人过去几年反复强调一个观点:AI是未来十年最大的机会,但AI必须附着在真实的设备上才有价值。他一直在等一个合适的时机,等算力成本降到够用、等自研芯片的NPU性能足够强、等操作系统的基础够牢靠,再点亮大模型这盏灯。
从这个角度看,V2系列不是突然冒出来的,而是整个体系水到渠成的一环。芯片、系统、硬件生态全都在之前几年陆续定好了调,大模型是最后一个能和所有环节产生化学反应的变量。拼图这个比喻,用到这儿其实还挺准确。
3. 端侧部署的硬约束:内存、功耗与延迟的三方博弈
3.1 内存墙:最容易被低估的瓶颈
跑端侧大模型,第一个卡脖子的是内存带宽。这句话我说得轻巧,但真上手部署过模型的人都知道这是什么体验。
先算一笔账:一个3B模型,用FP16精度存储,权重大约6个GB;用INT4量化之后,权重降到1.5GB到2GB。这个数字看起来不大,手机内存现在起步都是12GB甚至16GB,但问题在于模型权重必须常驻内存,不能像普通App一样用完就释放。你一边开着聊天窗口让模型在后台待命,一边还要跑地图、刷视频、拍照,这么一挤,后台应用被杀的情况立刻变严重。
V2系列能成为“最后一块拼图”,恰恰是因为它敢把INT4作为官方主推形态。1.5GB左右的内存占用,对当前旗舰机来说勉强可以接受,对汽车的车机系统来说更是轻松。如果是7B模型压到INT4,大概4GB左右,放车载娱乐系统和高端手机上也能运行,只是后台保活会更紧张一些。
提示:选型端侧模型时,优先看量化后的实际内存占用,而不是参数规模。3B FP16和3B INT4,占用差了接近4倍,体验差别也很大。
3.2 功耗与发热:本地推理不是免费的
本地推理最大的卖点是数据不出设备,但代价是发热和耗电。模型在推理时需要大量调用CPU、GPU和NPU,高负载下跑个几分钟,机身就能明显感觉到升温。
V2系列在功耗控制上有一点做得比较聪明:它的推理任务分成了好几个档位,轻量任务跑在低功耗核心上,复杂任务才拉起高性能核心。这就像家里用电,电视和空调不会同时满负荷运转。再加上它在量化上保持了较高精度,很多任务只需要跑一遍就能得出稳定结果,不像有些模型因为精度不够要反复迭代,结果功耗翻倍。
实测场景里,一个3B模型跑多轮对话,连续十分钟左右会温热,但不至于烫手;7B模型跑视觉理解任务,发热会更明显。所以这个系列在手机上的定位还是“辅助算力”,重度任务仍然倾向于抛给云端,端侧只处理低延迟、隐私敏感的那部分。
3.3 延迟感知:端侧体验的生死线
云端大模型的延迟再低,也要经过网络传输,哪怕只有几十毫秒的RTT,加上排队和流式返回的时间,首字响应轻松超过一秒。端侧模型把推理放在本地,芯片越快,首字延迟越能压到几百毫秒以内。而V2系列在官方数据里强调的“高吞吐”,落到使用者体验上就是:打字快的时候,它接得住;连续对话的时候,它不会越说越慢。
延迟还会影响一个关键体验——语音助手。语音交互对响应时间极其敏感,超过一秒就会让人产生“它在卡壳”的感觉。端侧模型最大的贡献是把语音助手从“先上传再等待”变成“本地直接理解”,这一下就把可用性拉高了一个量级。
当然,端侧也有延迟对手。和自家硬件的协同,和NPU的底层指令集适配度,都直接决定跑起来顺不顺。V2系列因为是自己家的东西,天然适配自己的芯片,这是第三方模型很难短期追上的优势。
4. 开源之后,开发者最容易忽略的几个前提
4.1 别急着下载,先确认你的目标设备支撑得起
V2系列走的是开源路线,模型权重公开发布,这点对开发者非常友好。但我见过太多人兴冲冲把模型拉下来,跑到本地一推理,发现要么内存不够,要么NPU不兼容,白折腾一场。
选型前先回答三个问题:
- 目标设备的可用内存有多少?模型量化后的权重加上运行时开销,能不能塞进剩余内存?
- 目标平台有没有对应的推理框架适配?不是所有框架都天然支持这个模型的结构。
- 业务场景能不能接受“本地为主、云端兜底”的混合模式?纯端侧和纯云端体验都做不好,混合才是现实解。
如果你的目标设备是旗舰手机或者开发板,那3B INT4版本的优先度最高;如果是车机、平板这类散热和内存都相对宽裕的设备,7B版本值得一试。
4.2 量化不是“无损压缩”,要实测你的任务质量
我前面说过量化感知训练让V2系列在低比特下表现更稳,但这不说明量化后的模型效果等同于原版。具体到什么程度,要看你的任务类型。
简单做三道题的评测型对话,INT4和FP16可能没什么肉眼可见的差别。但涉及逻辑推理、代码生成、多步骤指令理解的任务,低比特量化带来的精度损失就会放大。我的建议是:把你的业务任务做成固定测试集,在同一份数据上分别跑INT4和FP16,对比输出质量之后再决定到底用哪个档位。不要想当然,也不要只看跑分。
4.3 端侧模型不是云端精简版,别用云端的思路做端侧
很多开发者拿到端侧模型,习惯性按云端那套来做——想要能力更强就换更大的模型,想要更准就把温度调低,甚至直接在提示词里堆一大堆指令。这个思路在端侧完全行不通。
端侧的约束是硬性的:内存就那么多,算力就那么多,模型再大也大不到哪去。你需要的不是更大的模型,而是把场景切碎——一个端侧智能体只负责一件事,比如“提取短信验证码”“识别快递单”“判断行车视角的安全风险”。把复杂任务拆成多个简单子任务,用端侧模型做第一层理解,不确定再上云端,这才是端侧模型的正确用法。
我之前在一个模拟项目里做了一个“运动动作计数”的工具,最初想让模型同时识别深蹲、开合跳和俯卧撑三种动作,结果效果很勉强。后来换成三个独立的小模型分别处理,每个模型每次只判断一种动作“有或无”,准确率明显回升,推理速度也更快。端侧模型就适合做这种“单点突破”的事情。
5. 拼图合拢之后:端侧大模型的下一战场
5.1 端云协同会成为真正的常态架构
V2系列发布不代表这家公司要放弃云端大模型,恰恰相反,它需要云端模型和端侧模型配合工作。
端侧模型扛高频、低延迟、隐私敏感的轻量任务;云端模型扛复杂推理、知识问答、跨领域整合的重活。两边之间的分工要靠一套聪明的路由机制,端侧判断自己是行还是不行,不行再上云。这个路由做得好,用户无感,体验丝滑;做得不好,就会频繁转菊花,反而比纯云端方案更难受。
从V2系列的表现看,这家公司对“端云协同”的理解是到位的,但真正的考验在量产推送之后的海量真实负载。一定会有很多没预料到的边缘case,等着它用系统更新去填坑。
5.2 开发者生态才是真正的护城河
开源模型人人可以下载,但能不能形成一个生态,是另外一回事。V2系列迈出了开源这一步,后面更重要的是工程工具链、部署文档、典型示例、社区支持这些看起来不酷、但开发者每天要用的东西。
如果一个模型没人维护、文档写得潦草、部署示例跑不通,那技术再强也只是躺在仓库里的代码。反过来说,如果开发者愿意拿它做二次开发,把各种稀奇古怪的场景都跑一遍,模型的边界和坑位就会被迅速摸清楚,这种来自社区的经验反馈,是任何官方团队都替代不了的。
“最后一块拼图”能不能变成“整盘棋的胜负手”,最终取决于有多少第三方开发者愿意在这块拼图上继续往上搭积木。
5.3 和同行的竞争已经不在“参数大小”
过去是千亿参数的军备竞赛,现在风向已经变了。能不能在手机、汽车、家电这些真实的终端里把模型跑起来,跑得稳、跑得快、跑得省电,可能才是更重要的竞争维度。
V2系列发布的时机卡得很准。海外厂商的端侧方案也在这段时间集中发力,但大多数走的是闭源路线,开发者只能等官方适配。V2系列一开源,相当于把端侧模型的竞争拉到了开放生态这个纬度上来。谁能吸引更多开发者入场,谁就能积累更多的场景数据,然后反哺模型迭代,这个正向循环一旦转起来,后来者想追就很难了。
从我在几个实际项目里体验到的效果来看,这套以3B和7B为核心、搭配多模态的端侧矩阵,已经足够支撑起很丰富的本地智能应用。真正缺的,不是模型能力本身,而是围绕它的工程生态和时间。拼图已经合拢,剩下的就是让这张拼好的图价值最大化。
个人体会是,V2系列让我印象最深的不是某个惊艳的跑分,而是它对“够用就好”这四个字的坚持——3B老老实实做好轻量任务,7B认真扛起复杂推理,不硬上规模,不堆参数,把该省的内存省下来、该提的速度提上去。端侧大模型这条路,很多时候比的就是谁先想明白“不需要什么”。如果你正准备在自己的项目里落地端侧模型,我的建议很直接:先拿3B INT4版本试水,挑一个最核心的场景做深,跑通了再往四周扩。别一上来就想做一个全知全能的本地助手,那不现实,也没必要。