端侧 AI 是部署方式的转变，而非云端 AI 的终结 #
第一波生成式 AI 投资主要集中在云端训练和数据中心推理。下一波则越来越关注 AI 的落地位置：PC、车辆、摄像头、工业控制器、机器人，以及其他需要在真实运行环境中感知并做出响应的设备。
这让端侧 AI 具备了战略意义，但并不意味着云端会消失。训练、车队级学习以及最大的模型，仍然适合放在云端。设备端则承担那些受益于低延迟、本地数据、离线运行、可预测的服务成本，或需要对传感器和执行器直接控制的任务。因此，许多成功的产品会采用云-边-端架构，而不是只选一端。
| 工作负载位置 | 最适合 | 主要优势 | 主要限制 |
|---|---|---|---|
| 云端 | 训练、超大模型、共享企业服务 | 规模和模型容量 | 网络依赖、延迟、服务和数据治理成本 |
| 边缘服务器或网关 | 工厂单元、门店、园区和多摄像头系统 | 本地聚合，功耗范围可控 | 基础设施和维护 |
| 设备 | 机器人、摄像头、车辆、PC 和离线助手 | 响应快、隐私性好、可用性高 | 内存、功耗、散热和软件限制紧张 |
| 混合 | 需要本地响应加云端智能的产品 | 灵活的工作负载放置 | 系统和生命周期管理更复杂 |
政策方向支持这一转变。中国的2025 *AI Plus* 行动计划设定了目标，即到2027年，下一代智能终端和智能体的采用率超过70%。2026年1月发布的多部委 *AI Plus Manufacturing* 行动计划也指出，实时运行、端侧部署和可靠性是工业模型的要求。这些是采用目标和政策信号，并不证明每个 AI 终端项目都能达到商业规模。
为什么芯片选型规则在设备端发生了变化 #
峰值 TOPS 有参考价值，但不足以构成完整的采购规格。边缘平台能否胜任，取决于所选模型是否适配其内存、支持的算子、精度模式、延迟目标和功耗范围。摄像头输入、视频编解码器、ISP 能力、安全岛、实时控制和操作系统支持，可能比加速器的标称数字更关键。
对工程师来说，真正的基准测试是让已批准的模型在目标输入尺寸、上下文长度、批大小、精度和散热条件下运行。对采购者来说，对应的问题是：确切的处理器、内存、PMIC 和模块配置能否在设计验证到量产期间持续供货。
中国边缘 AI 平台：五种不同定位 #
以下公司不宜强行放在同一排名中比较。它们面向不同的功耗范围、认证体系和软件环境。规格均为厂商公布数据，应在设计批准前用客户自己的模型进行验证。
| 平台路线 | 公开声明的定位 | 高度契合的项目 | 必须验证的内容 |
|---|---|---|---|
| Rockchip RK3588 和 RK182X | RK3588 集成 6 TOPS NPU；RK1820/RK1828 在主机 SoC 之外增加专用模型加速 | AIoT、视觉、工业终端、服务机器人和紧凑型本地助手 | RKNN 模型转换、主机配对、内存容量、持续散热和确切的 SDK 版本 |
| Horizon Robotics Journey 和 Starry | Journey 是可扩展的汽车计算系列；5 nm Starry 芯片标称最高 650 TOPS BPU 算力和 273 GB/s 带宽 | 量产 ADAS、座舱和车辆智能体平台 | 功能安全范围、OEM 软件基线、传感器接口、汽车生命周期和已批准的模块设计 |
| Black Sesame Huashan A2000 | A2000 系列面向物理 AI 和辅助驾驶层级，该系列最高型号标称最高 1,000 TOPS | 座舱 AI、城市 NOA 和更高级别的车辆计算项目 | 哪个型号已提供样品或量产就绪、模型工具链、安全证据、内存和项目进度 |
| Moore Threads MTT E300 / “Yangtze” SoC | E300 模块提供最高 50 TOPS 稠密 INT8 算力，并集成 CPU、GPU、NPU 和媒体引擎 | 工业视觉、边缘服务器、本地智能体和多模态终端 | 模块功耗、工作温度版本、MUSA 软件兼容性、内存选项和模型吞吐量 |
| Hygon CPU/DCU 生态 | 从数据中心向边缘和工业系统延伸的通用 CPU 和加速器路线 | 工业 PC、安全工业基础设施和具有现有软件栈的边缘服务器 | 确切的处理器/模块供应情况、工作负载可移植性、系统厂商支持和部署级基准 |
Rockchip：主控 SoC 加 AI 协处理器 #
当产品同时需要嵌入式接口和本地 AI 时，Rockchip 的路线很有吸引力。RK3588 集成了 Arm CPU 核心、视频功能和 6 TOPS NPU。较新的 RK182X 方案将 RK1820 或 RK1828 加速器与 RK3588 或 RK3576 等主机配对。Rockchip 于 2026 年 3 月发布的 RKNN3 版本报告称，在其声明的测试条件下，Qwen2.5-3B 在 RK182X 上的解码速率为每秒 102.01 个 token。
这个数字只代表厂商测试过的某一种配置，不能当作通用的 LLM 速度来用。提示长度、量化方式、内存、采样设置和散热条件都会明显影响延迟和持续吞吐量。因此，询价时应同时写明主机 SoC、加速器、内存配置和软件基线。
Horizon Robotics：汽车边缘 AI 实现量产规模 #
Horizon Robotics 表示，截至 2025 年 8 月，Journey 系列累计量产出货量已突破一千万台。2026 年 4 月发布的 Starry 是一款 5 nm 车载智能体处理器，BPU 算力最高 650 TOPS，内存带宽 273 GB/s，通过物理隔离同时承载座舱和辅助驾驶工作负载。
汽车采购不能只看处理器型号。计算板是否已通过认证、安全方案、内存与 PMIC 的搭配、软件版本以及整车项目的时间节点，都属于设计的一部分。“650 TOPS”并不能作为直接替换另一款汽车 SoC 的理由。
Black Sesame Intelligence：面向物理 AI 的汽车产品系列 #
黑芝麻智能推出华山A2000N、A2000L、A2000U和A2000X，构成面向座舱智能体、城市NOA、L3功能和Robotaxi级应用的分级产品系列。该公司表示，该系列最高算力可达1,000 TOPS，并支持多芯片协同。
以上是路线图和系列级定位说明。采购前，工程师应确认具体的可订购器件型号、芯片与软件成熟度、支持的精度、内存子系统、功能安全交付物，以及适用于自身项目的里程碑。只拿最大的TOPS数值去和别家芯片对比，并不能说明实际性能。
摩尔线程：一颗异构SoC，覆盖从边缘模组到AI PC #
MTT E300采用摩尔线程的“长江”智能SoC，集成了CPU、 GPU、NPU、视频和其他引擎。官方规格表明，该模组最高可达50 TOPS 稠密INT8算力，工作温度范围为-20°C至+65°C。 同样的SoC策略也出现在该公司的AIBOOK和AICUBE产品中。
采购模组的好处是系统集成更快，但模组本身会变成受控的BOM物料。内存容量、连接器与机械版本、散热、操作系统、驱动程序以及MUSA工具链版本，量产时都必须冻结。
海光：走边缘系统路线，而非低功耗终端SoC #
海光更适合定位为工业和边缘计算平台，而不是低功耗摄像头SoC的直接替代方案。在现有工业应用、安全要求和系统集成至关重要的场景中，CPU兼容性、加速器支持和国产计算生态可能很有价值。
项目应比较完整系统和经过验证的工作负载。所谓近乎零迁移成本、几乎兼容所有模型之类的宽泛说法，不能替代应用测试、驱动程序验证以及系统供应商的支持承诺。
端侧AI对元器件BOM的影响 #
AI处理器只是最显眼的一项物料。把推理迁移到设备中，可能会提高周边BOM的要求。
| BOM领域 | 需求变化的原因 | 工程和采购检查项 |
|---|---|---|
| LPDDR/DDR内存 | 模型权重、KV缓存、视觉缓冲区和共享CPU/NPU工作负载 | 容量、带宽、封装、温度等级和合格供应商清单 |
| eMMC/UFS/NAND/NOR | 操作系统、模型、日志和OTA镜像 | 耐久性、数据保持、托管NAND固件、生命周期和安全启动支持 |
| PMIC和DC/DC | 加速器会产生快速、大电流的负载瞬变 | 电源轨时序、峰值电流、效率、散热和参考设计批准 |
| 以太网、PCIe和SerDes | 摄像头、传感器、存储和协处理器传输更多数据 | 通道数、数据速率、协议、信号完整性和连接器设计 |
| 时钟和定时 | 高速计算和传感器需要稳定的参考 | 抖动、输出格式、温度等级和时钟树批准 |
| 散热和机械部件 | 峰值推理和持续推理是不同的负载 | 持续基准测试、气流、散热器、外壳和环境温度 |
所以，处理器短缺并不是唯一的供应风险。即便项目已经锁定AI SoC，仍可能因为某一款具体的LPDDR器件、托管NAND、PMIC、连接器或量产批准的模组版本而卡住。
工程选型检查清单 #
- 在比较加速器之前，先确定模型、框架、输入尺寸、上下文长度和所需精度。
- 在目标硬件上测量首 token 时间、持续 token 速率或帧率、端到端延迟、内存占用和实际功耗。
- 确认每个所需算子都得到支持，不会大量回退到 CPU，也不需要无法维护的自定义实现。
- 测试热稳定后的性能，而不只是短时演示中的性能。
- 平台比较中要纳入 ISP、编解码器、传感器、实时控制、安全和功能安全需求。
- 确定量产验证所用的操作系统、驱动程序、编译器、模型转换工具链和固件版本。
边缘 AI 平台 RFQ 检查清单 #
- 确切的处理器、加速器或模组可订购代码——不能只写系列名称。
- 目标数量、样机和量产日期，以及预期项目寿命。
- 所需的工作温度范围，以及任何汽车或工业认证。
- 内存密度、组织方式、速度等级和合格制造商。
- 存储类型、容量、耐久性和托管 NAND 固件限制。
- 平台供应商或客户认可的 PMIC 和功率级型号。
- 包装、日期码窗口、批次一致性、可追溯性和存储条件。
- 与已验证硬件绑定的 SDK、BSP、驱动程序和模型工具链版本。
采购前必须确认当前库存、日期码、批次状况和交期。 对于路线图器件，应索取供应商当前的产品状态和 项目文档，而不是把发布公告当作 不受限制的量产可供货证据。
结论：机会在于本地智能，而非TOPS竞赛 #
端侧AI很可能成为云训练建设之后最重要的部署方向之一， 因为真实产品需要本地感知、 快速响应、隐私和离线运行。胜出的架构通常 是混合式的：设备执行即时推理和控制，而 云端提供更大的模型、更新和车队级智能。
对工程师而言，成功来自模型与硬件的匹配以及稳定的软件 栈。对采购团队而言，成功来自控制完整的平台 BOM和生命周期——而不是购买标称数值最大的处理器。
主要参考资料 #
- 中国国务院：人工智能+行动方案
- 工信部：人工智能+制造行动方案
- Rockchip RK3588 产品页面
- Rockchip RKNN3 用于 RK1820/RK1828
- 地平线 Starry 公告
- 地平线 Journey 出货里程碑
- 黑芝麻智能 A2000 系列
- 摩尔线程 MTT E300