1. 引子:从云端到口袋的 AI
现象
2026 年 6 月,Apple 在 WWDC 发布 Apple Intelligence 2.0,首次支持100% 端侧运行 70B 大模型(在 A19 Pro + 12GB 统一内存的 iPhone 17 Pro Max 上,通过 4-bit 量化 + 推测解码实现 28 token/s)。这是 LLM 第一次跑在手机上达到实用级速度。
同一时间,高通发布 Snapdragon 8 Gen 4 for AI,NPU 算力 200 TOPS,在 16GB LPDDR5X 内存上跑 Llama 3.1-70B 4-bit 量化的速度是 24 token/s。联发科 Dimensity 9400 NPU 120 TOPS,跑 7B 模型 50 token/s。
这意味着 LLM 不再是云端专属。手机、PC、车机、智能家居——L7 终端 AI 是 2026 年新的增长极,L1-L4 云端算力的"反向补充"。算力产业链从"云端 100%"变成"云端 + 终端二八开"。
为什么边缘 AI 重要
- 低延迟:本地推理 50-200 ms vs 云端 200-1000 ms(网络往返)
- 隐私:本地数据不出设备,GDPR/数据出境 完美规避
- 低成本:用户跑 LLM 不付云费用(模型推理无云调用费)
- 离线可用:无网络场景(飞行模式 / 卫星通信 / 应急)可用
2. 手机 NPU 三强对决
Apple A19 Pro:M 系列架构 + 统一内存
Apple A19 Pro(2025 H2 发布)采用 M 系列架构 + 统一内存架构(UMA),关键规格:
- CPU:6 性能核 + 6 能效核,3nm 制程
- GPU:6 核 G18,2.0 TFLOPS
- NPU:16 核 Apple Neural Engine,38 TOPS(INT8)
- 内存:12 GB LPDDR5X UMA(975 GB/s 带宽)
- LLM 推理:70B 4-bit 量化 28 token/s,7B 全精度 90 token/s
Apple 的最大优势是统一内存架构(UMA)——CPU/GPU/NPU 共享 12GB LPDDR5X,带宽 975 GB/s,远超手机传统 LPDDR5X 68 GB/s 的"独立内存"带宽。这是 70B 模型能跑在手机的关键。
Qualcomm Snapdragon 8 Gen 4
Snapdragon 8 Gen 4(2025 H2)采用 自研 Oryon CPU + Adreno GPU + Hexagon NPU:
- CPU:2 × Oryon Prime(4.0 GHz)+ 6 × Oryon 性能核,3nm 制程
- GPU:Adreno 830,2.4 TFLOPS
- NPU:Hexagon v79,200 TOPS(INT8)
- 内存:LPDDR5X-9600,16 GB(68 GB/s)
- LLM 推理:70B 4-bit 量化 24 token/s,7B 全精度 70 token/s
Qualcomm 的优势是 NPU 算力 200 TOPS——是 Apple A19 Pro 的 5.3 倍。原因:Qualcomm 把 NPU 设计为专用矩阵乘法(不是 GPU 的 SIMD),效率高 3-5 倍。
联发科 Dimensity 9400
Dimensity 9400(2025 Q3)采用 全大核设计 + APU 6.0 NPU:
- CPU:8 × Cortex-X930(全大核,3.6 GHz),3nm 制程
- GPU:Mali-G720 Immortalis,2.2 TFLOPS
- NPU:APU 6.0(890),120 TOPS(INT8)
- 内存:LPDDR5X-9600,16 GB
- LLM 推理:70B 4-bit 量化 12 token/s,7B 全精度 50 token/s
联发科的优势是 性价比——同样 200 TOPS NPU,联发科手机价格比 Qualcomm 便宜 30%。但全大核设计带来高功耗(整芯片 12W vs 高通 9W),影响续航。
三大手机 NPU 对比
| 指标 | Apple A19 Pro | Qualcomm SD8G4 | 联发科 D9400 |
|---|---|---|---|
| NPU 算力(INT8) | 38 TOPS | 200 TOPS | 120 TOPS |
| 内存 | 12 GB UMA | 16 GB LPDDR5X | 16 GB LPDDR5X |
| 内存带宽 | 975 GB/s | 68 GB/s | 68 GB/s |
| 70B 4-bit(token/s) | 28 | 24 | 12 |
| 7B 全精度(token/s) | 90 | 70 | 50 |
| 代表机型 | iPhone 17 Pro Max($1199) | Xiaomi 15 Pro($899) | Vivo X200 Pro($799) |
关键 insight:Apple UMA 架构在 LLM 推理上超越 Qualcomm 高算力 NPU——内存带宽比 NPU 算力更重要。LLM 推理瓶颈是读权重(70B 4-bit = 35 GB),不是算矩阵乘。
3. PC NPU:Intel Core Ultra 200V vs AMD Ryzen AI 300
Intel Core Ultra 200V(Lunar Lake)
Core Ultra 200V(2025 H1)首次把 NPU 4 集成到 x86 CPU,关键规格:
- CPU:4 P 核(Redwood Cove)+ 4 E 核(Crestmont),无超线程
- GPU:8 xe2(Arc Battlemage),2.0 TFLOPS
- NPU:NPU 4,48 TOPS(INT8)
- 内存:片上 LPDDR5X 32-64 GB(Lunar Lake 重大创新)
Intel 的"NPU 4"是 同档次 NPU 中唯一支持 60B 模型全片运行的——64GB 片上内存 + 200 GB/s 带宽,跑 Llama 3.1-70B 4-bit 量化 15 token/s。代表产品 ASUS Zenbook S 14($1399)。
AMD Ryzen AI 300(Strix Halo)
Ryzen AI 300(2025 H2)采用 超大 APU 集成:
- CPU:12 Zen 5 核 + 24 线程,4nm
- GPU:16 × RDNA 3.5,2.8 TFLOPS
- NPU:XDNA 2,60 TOPS(INT8)
- 内存:256-bit LPDDR5X 64-128 GB(桌面级内存带宽)
AMD 的优势是 内存——128GB LPDDR5X 是 256-bit 通道,带宽 480 GB/s,超过 Apple 的 975 GB/s只有 2 倍,但 AMD 支持桌面级 128 GB(Apple UMA 最多 32 GB)。代表产品 ASUS ROG Zephyrus G16($2299)。
Qualcomm Snapdragon X Elite 2
Snapdragon X Elite 2(2025 H2)是 专为 PC 设计 的 ARM 笔记本芯片:
- CPU:12 × Oryon Prime,3nm
- GPU:Adreno X1,2.5 TFLOPS
- NPU:Hexagon 80 TOPS
- 内存:LPDDR5X 16-64 GB
Qualcomm 的优势是 NPU 算力 80 TOPS,但核心问题是 x86 软件兼容性——目前仍然依赖微软 Prism 模拟器,跑 Llama.cpp 时 有 20-30% 性能损失。
PC NPU 对比
| 指标 | Intel Core Ultra 200V | AMD Ryzen AI 300 | Qualcomm SD X Elite 2 |
|---|---|---|---|
| NPU 算力 | 48 TOPS | 60 TOPS | 80 TOPS |
| 内存 | 32-64 GB 片上 | 64-128 GB 外部 | 16-64 GB 外部 |
| 内存带宽 | 200 GB/s | 480 GB/s | 150 GB/s |
| 70B 4-bit(token/s) | 15 | 12 | 9 |
4. 车机 NPU:Orin / Thor / MDC 810
NVIDIA Orin:2024 主流,Thor 接棒
NVIDIA Orin(2024)是车机 NPU 主流,254 TOPS,150+ 车厂搭载。NVIDIA Thor(2026 H1 量产)规格:
- 算力:2000 TOPS(INT8),是 Orin 的 7.9 倍
- CPU:14 × Arm Cortex-A78AE
- GPU:RTX 5030,2.5 TFLOPS
- 工艺:Samsung 4nm
- 功耗:120 W
Thor 是 自动驾驶"标准"——蔚来 ET9 / 理想 L9 / 极氪 007 全部搭载 2000 TOPS Thor,代替 Orin。Thor 跑端到端自动驾驶(VLM + BEV 模型)延迟 < 50ms。
华为 MDC 810
MDC 810(2024)是华为自研车机 NPU:
- 算力:400 TOPS(INT8)
- CPU:12 × Kunpeng
- NPU:2 × 昇腾 310 + 1 × 昇腾 910
- 代表车型:问界 M9 / 智界 S7 / 阿维塔 11
车机 NPU 对比
| 指标 | NVIDIA Thor | 华为 MDC 810 |
|---|---|---|
| 算力(INT8) | 2000 TOPS | 400 TOPS |
| 功耗 | 120 W | 200 W |
| 代表车型 | 蔚来 ET9 / 极氪 007 | 问界 M9 / 阿维塔 11 |
| 特点 | 端到端 VLM | 多 NPU 协同 |
5. 端云协同:Apple Intelligence / Microsoft Copilot+ PC / 鸿蒙 AI
Apple Intelligence:Private Cloud Compute
Apple Intelligence 2.0(2026)是端云协同的标杆:
- 小任务(70% 推理):端侧完成,延迟 50-200ms,数据不出设备;
- 复杂任务(30% 推理):PCC(Private Cloud Compute)处理,延迟 1-2s;
- PCC 隐私保护:Apple 自研 M2 Ultra 服务器 + T2 加密 + 透明服务器侧 AI 代码;
- 用户控制:用户可强制关闭云端,只走端侧。
Microsoft Copilot+ PC
Copilot+ PC(2025-2026)是Windows 端云协同的方案:
- Recall:本地截图 + 端侧 OCR/LLM 索引,延迟 < 100ms;
- Live Captions:端侧语音转文字 + 翻译,40+ 语言;
- Restyle Image:端侧扩散模型生成;
- 复杂任务:卸载到 Azure OpenAI(用户授权)。
华为 HarmonyOS AI
HUAWEI HarmonyOS 5.0 + 盘古端侧:
- 端侧:HarmonyOS 5.0 内置 7B 模型,麒麟 9010 / 9020 NPU 跑 50 token/s;
- 云端:HarmonyOS Cloud + 盘古 5.0 大模型;
- 跨端:手机/平板/PC/车机/智能家居共享同一个 AI Assistant。
6. 风险与展望
风险
- 功耗:端侧 LLM 推理 5-15W,占手机总功耗 30%+,续航缩水;
- 发热:70B 量化推理时 iPhone 17 Pro Max 表面温度 42°C;
- 软件生态:LLM 框架(llama.cpp / MLX / Core ML)碎片化,开发者适配成本高;
- 内存:70B 4-bit 量化要 35GB 内存,2026 年笔记本 64GB 顶配还不够大;
- 车规认证:车机 NPU 需 ASIL-D 认证,Thor / MDC 都需 24 个月验证。
展望
- 2026 H2:Apple iPhone 18 系列片上 LPDDR5X 升级 18 GB,跑 100B 模型;
- 2027 H1:Qualcomm SD X Elite 3 + Oryon v2,NPUs 150 TOPS;
- 2027 H2:PC 片上内存 96 GB,跑 120B 模型;
- 2028:车机 NPU 5000 TOPS,L4 自动驾驶普及;
- 2030:端云协同"7-3"——70% 推理在端侧,30% 卸载云端。
参考资料
- Apple A19 Pro 技术白皮书(2025)
- Qualcomm Snapdragon 8 Gen 4 数据手册(2025 H2)
- NVIDIA Thor 车机 NPU 白皮书(2026)
- AMD Ryzen AI 300 / Intel Core Ultra 200V 评测(2025-2026)
- Apple Intelligence 2.0 + Private Cloud Compute(2026)