今日，Edge0-145B 和 Edge0-120B 正式开源，配套的统一推理框架和部署工具同步上线。作为全球首款拥有 1450 亿参数的开源端侧 AI 模型，Edge0-145B 将媲美前沿云端模型的编码、推理和智能体能力引入个人电脑。

长期以来，端侧 AI 需在模型能力与硬件限制间妥协：大模型消耗大量内存、带宽和电力，小模型难以处理复杂任务，而云端方案则涉及持续性费用、数据隐私顾虑及网络依赖。此次发布通过以下突破解决上述限制：

  • 打破硬件瓶颈：145B 模型可在兼容笔记本电脑上本地运行，峰值内存仅 29GB，解码速度超 80 tokens/s。
  • 媲美云端性能：在编码、推理和指令遵循方面，表现可与特定前沿云端模型相抗衡。
  • 全能智能体：支持规划、编写并运行代码，调试错误，以及对 3D 场景、游戏、硬件程序和 PCB 设计进行视觉检查。
  • 本地化优势：无云端 Token 或 API 费用，数据留存本地，核心功能支持离线运行。

百亿参数模型如何落地个人电脑

Edge0-145B 实现了 1450 亿参数模型在笔记本上的实用化。其关键性能指标如下：

  • 内存：峰值 29GB，无需服务器即可在 MacBook Pro 等兼容设备上运行。
  • 提示词处理：预填充速度超 1,100 tokens/s，可快速处理数十页代码长文本。
  • 生成速度：解码速度超 80 tokens/s，快于人类阅读速度。
  • 功耗：典型功耗约 120W，可持续运行不降频。
  • 长上下文：支持 128K–256K 上下文，处理长输入时速度稳定。

相比之下，此前发布的 Edge0-35B 手机端版本峰值内存低于 2.5GB，在 iPhone 18 Pro Max 上提供 37+ tokens/s 的性能。Edge0-145B 参数量约为前者四倍，但通过架构优化实现了高效的笔记本端部署。

突破“内存墙”的四层架构设计

在 2026 年 9 月之前，内存限制使大多数端侧模型保持在 10B 参数以下。Edge0 团队通过模型与推理引擎的协同设计，突破了这一限制：

  1. 架构优化：采用稀疏专家混合（MoE）架构，每 64 个专家组共享两个大型矩阵，每次推理仅约 100 亿参数参与计算，大幅减少权重存储与移动。
  2. 原生训练：从训练初期即内置端侧部署约束，避免后期压缩带来的性能损失。
  3. 流水线加载：GPU 内存、系统内存和 SSD 访问重叠进行。热专家驻留 GPU，约 40GB 专家库位于系统内存，约 48GB 词表数据存于 SSD，按需调入。
  4. CPU-GPU 协同调度：GPU 计算缓存专家，CPU 并行处理剩余任务；结合推测解码技术，将权重读取成本分摊至更多输出 Token，支撑高解码率。

性能对标：媲美前沿云端模型

基准测试显示，Edge0-145B 在多项关键指标上与云端旗舰模型具备竞争力：

  • 编码能力：DeepSWE 1.1 得分 64.6，高于 Qwen3.8-Flash-Next（58.7）和 DeepSeek-V4-Flash-0731（54.4）。
  • 推理与知识：GPQA-Diamond 得分 90.4，接近 DeepSeek-V4-Flash-0731（90.8）和 Claude-Opus-4.6 (Max)（91.3）。
  • 指令遵循：IFBench 得分 80.6，优于 DeepSeek-V4-Flash-0731（79.2）和 Claude-Opus-4.6 (Max)（62.5）。
  • 智能体任务：Terminal-Bench 2.1 得分 86.52，超越 Qwen3.8-Flash-Next（83.3）、DeepSeek-V4-Flash-0731（82.7）和 Claude（78.2）。

与主流端侧基线 Qwen3.8-27B 相比，Edge0-145B 在 Terminal-Bench 上提升 18.5%，在 DeepSWE 上提升 53.1%。同时，其 29GB 的实测峰值内存仅为 Qwen3.8-Flash-Next 估计内存占用（约 70GB）的 40%，在六个基准测试中取得 72.8 的平均分，实现了高效率与高性能的平衡。

本地智能体实战：从代码到硬件控制

Edge0-145B 支持复杂的本地工作流，无需云端交互即可完成多轮规划、执行、调试和视觉检查：

  • 视频制作：一小时内生成特斯拉 Roadster 解说视频，涵盖技术研究、剧本、资产生成和编辑。传统流程需多人协作一个月，云端 AI 工作流成本高昂，而本地推理零 Token 费用。
  • 3D 建模：一小时内构建曼哈顿 3D 场景，并在 Blender 中调整材质灯光。手动创建类似场景成本约 1.2万-1.8万美元，云端模型单次生成费用超 150 美元，Edge0-145B 本地完成且无额外费用。
  • 游戏开发：从零构建奇幻 RPG 中世纪首都，渲染 20 秒高质量飞行镜头。模型自主规划城墙、房屋、喷泉等细节，并自我纠正几何错误。传统艺术团队需数周时间及数千美元投入。
  • 硬件控制：根据指令编写无人机程序，实现自主穿越障碍并寻找红色背包。无需人工编码或云端调用，直接将自然语言转化为真实设备控制逻辑。
  • PCB 设计：在 KiCad 中从零设计电路板，布线双层板，并导入 Unreal Engine 5 生成制造装配动画。保护商业秘密的同时，替代了硬件工程师与 3D 设计师的繁琐交接。

全栈解决方案与生态布局

Edge0 发布了四大模型家族，涵盖从语音交互到复杂智能体任务的全场景需求：

  • Edge0：专注复杂智能体任务和氛围编程，包含笔记本端 145B/120B 及手机端 35B/8B 模型。
  • Audio8：负责听与说，包含 ASR、TTS 及端到端语音交互模型。
  • Decision0：专注快速决策，多模态决策时间约 40 毫秒。
  • Embedding0：负责记忆，支持多模态嵌入及本地 RAG。

目前，Edge0 产品组合已覆盖 Qualcomm、NVIDIA 等 95% 的主流芯片平台，部署设备超 500 万台，服务客户组织超 11 万家。开源模型三个月内下载量破 1500 万次。Edge0-145B 首日支持 macOS、Windows 和 Linux，兼容 Apple M 系列及 NVIDIA RTX 4090/5090 等平台。

从“云端优先”到“端侧优先”

随着本地模型能力提升，AI 工作负载分工正经历三个阶段演变：

  1. 2026 年 9 月前：云端优先，端侧辅助。本地仅处理有限任务，重负载依赖云端。
  2. Edge0-35B 发布后：日常任务本地化。某知名耳机制造商已在端侧处理 92% 的 AI 请求。
  3. Edge0-145B 时代：走向“端侧优先”。复杂任务如氛围编程可在本地运行，云端仅作为补充。

尽管云端 AI 在跨设备长期记忆和实时信息搜索方面仍有优势，但 Edge0-145B 证明了本地执行在处理繁重工作、保护数据隐私和控制成本方面的实用性，推动 AI 向“零距离智能”迈进。

开发者可通过 Hugging Face 获取模型权重，在 GitHub 查看推理框架，或下载 Edge0 App 体验离线核心功能。