用户 Anemll 分享了一段在 iPhone 上本地运行大语言模型的实测视频。测试显示，在配备 A20 芯片的设备上，Apple Neural Engine 展现了极高的推理性能。
核心配置与性能数据
- 模型规格：Qwen 3.8-27B
- 量化策略：KV Cache 采用 int8 量化，Delta Net 保持 FP16 精度
- 上下文窗口：支持 24K context
- 推理速度：针对易于预测的上下文场景，解码速度峰值达 70 tok/s；整体解码速度维持在 15-60 tps
模型技术细节
该测试使用了 PrismML 的 Bonsai-2 作为基座模型，经过 requantize 处理至 1.5 bpw（每4个权重6位向量量化）。同时，引入 draft model dflash-2（约 2.8 bpw，采用混合2-4位向量量化），尽管接受率略有下降，但有效辅助了推理过程。