llama-modchip (v2.4.0) 正式推出，旨在打破传统 GPU 依赖与内存瓶颈。该工具实现在纯 CPU 环境下，无需 GPU 即可在 256K 上下文窗口中运行参数量高达 284B 的 DeepSeek-V4-Flash（内存占用低于 59 GiB）及 30B MoE 模型（解码速度最高达 111 tok/s）。

核心技术突破

llama-modchip 通过三大范式突破，在现有 CPU 工作站上实现实时前沿模型与智能体推理，且完全基于内存，零 NVMe 交换：

  • 64GB 内存运行 284B 前沿 MoE：利用解析式 SwiGLU-H2 二阶海森压缩、Fractal-64 (Q2_0, 3.75 bpw) MLA 转码、四级寄存器分块及 L2-求积 MoE 剪枝技术，将 DeepSeek-V4-Flash 从原本会导致 64GB Linux 系统 OOM 的 76.87 GiB 缩减至磁盘 56.56 GiB、完整 256K 上下文下 VmRSS 57.61–58.9 GiB。实测 Prefill 速度为 44.36 tok/s，纯 CPU Decode 速度为 9.06–10.74 tok/s，配合 PVS 可达 11.5–14.7 tok/s。
  • 纯 CPU 实现 GPU 级推理速度：针对 30B MoE 模型，通过 1.64 MB Stockfish-PVS v2 + RouteCrack L2/L3 草稿生成器（接受率 96.4%）及 L3 缓存隔离技术，在 16 核 Zen 5 处理器上以 14.35 GiB 内存运行 NVIDIA-Nemotron-3.5-30B-A3B，速度达 25.0–60.4 tok/s。在 Threadripper 上可达 111.6 tok/s，AMD Vulkan 混合模式下达 80.8 tok/s，AWS Graviton3 ARM64 上达 44.97 tok/s。
  • 零 API Claude Code 集成：通过 /dev/shm Slot-0 KV 热恢复技术（Nemotron-30B 耗时 18.9 ms，DeepSeek-284B 耗时 13.1–32.6 ms），消除了 45 秒的 CPU 智能体提示词重新评估瓶颈，并激活全部 40 个 Claude Code 工具。

硬件适配与性能表现

该工具针对不同硬件平台进行了深度优化，支持从开发者笔记本到高性能工作站的多种配置：

  • 开发者笔记本/迷你 PC (16–32 GB 内存)：推荐运行 Nemotron-3.5-30B-A3B (14.35 GiB)，速度 25.0–60.4 tok/s。采用 46 层 Mamba-2 SSM 及 1.64 MB L3 Stockfish-PVS 草稿生成器。
  • 64 GB 台式机/服务器：可运行 DeepSeek-V4-Flash 284B (56.56 GiB)，Prefill 速度 44.4 tok/s，Decode 速度 9.1–14.7 tok/s。SwiGLU-H2 技术减少 20.31 GiB 占用，确保整个模型及 256K 上下文驻留内存。
  • 混合台式机 (CPU + 16 GB GPU)：运行 Nemotron-30B/Qwen3-30B，速度达 80.80 tok/s。热点注意力主干位于 GPU，冷路由 MoE 专家位于 CPU DDR5。
  • 8 通道工作站 (Threadripper)：运行 DeepSeek-284B/Nemotron-30B，30B 模型速度高达 111.62 tok/s。利用 8-CCD AVX-512BW 寄存器分块饱和 8 通道 DDR5 内存带宽。

安装与使用

Linux & macOS：支持一键自动化安装与聊天。

git clone https://github.com/synchopate/llama-modchip.git
cd llama-modchip
./modchip chat

Windows 10/11：提供一键混合 GPU + CPU MoE 包。运行 windows/AVVIA_MODCHIP.bat 或 Git Bash 中的 ./modchip start，系统将自动检测硬件并配置最佳分割比例。

常用命令：

  • ./modchip chat：交互式终端聊天，实时显示遥测数据。
  • ./modchip web：打开深色模式 Web 聊天界面。
  • ./modchip bench：运行基准测试并生成记分卡。
  • ./modchip claude：启动 Claude Code CLI 连接本地引擎。

兼容性注意：Fractal-64 模型使用自定义 GGML_TYPE_Q2_0 (类型 ID 40)。在未修补的 llama.cpp、Ollama 或 LM Studio 中打开会失败。请使用 bundled 预编译二进制文件或 ./modchip 命令。

社区与基准测试

用户可通过运行 ./modchip bench 提交基准测试记分卡至 GitHub Issue，加入官方社区 CPU 排行榜。目前已有 AMD Threadripper PRO 7985WX、Ryzen 9 7945HX3D、Apple M4 Pro 及 AWS Graviton3 等多款硬件的性能数据上榜。

llama-modchip 证明了现代多核 CPU 配合 64–128 GB DDR5 内存，可在本地以完整 256K 上下文运行 284B 前沿 MoE 及 30B 混合 MoE，降低了企业对昂贵多 GPU 硬件的依赖。项目方正与硬件制造商及云硅团队合作，验证特定架构的内核补丁。