在华硕 ROG Flow Z13 的使用初期,其内置的神经网络处理单元(NPU)长期处于闲置状态,任务管理器显示占用率始终为 0%。由于 Radeon 8060S 集成显卡足以运行本地大语言模型,且 Copilot+ 功能缺乏吸引力,NPU 的价值一度被忽视。直到引入 AMD Lemonade(集成 FastFlowLM)与微软 Foundry Local 后,这一局面才得以改变。经过数日针对聊天、语音转录、文档搜索及代码补全的测试与功耗记录,结果显示 NPU 虽能工作,但表现未达预期。

无需 Copilot+,NPU 生态初现雏形

长期以来,PC 端 NPU 主要服务于微软 Copilot+ 功能,英伟达 RTX Spark 等方案也类似地低调处理 NPU。AMD 推出的 FastFlowLM 作为专为语言、语音和嵌入模型设计的“NPU 优先”运行时环境,已被纳入 ROCm 项目。在 Lemonade 中,它与 llama.cpp 后端、AMD ryzenai-llm 运行时及 whisper.cpp NPU 版本并列。微软 Foundry Local 则默认将 11 个模型(含三个代码微调版 Qwen)指向 NPU。Lemonade 支持的 FastFlowLM 模型超过 40 个,两款工具均可通过命令行快速部署。

配置波折与性能倒挂:集显能效碾压 NPU

实际配置过程并非一帆风顺。Lemonade 在下载 gpt-oss-20b 模型时出现数据不完整及文件占用问题,且 ROCm 后端在无提示情况下将负载回退至 CPU。切换至 Vulkan 模式后,负载才正确转移至 Radeon 8060S。

在电池供电下的基准测试中,集成显卡展现出显著优势。Radeon 8060S 在 Vulkan 支持下运行 llama.cpp,每秒生成 53.8 个 token,每千 token 能耗约 460 焦耳。相比之下,NPU 上的 FastFlowLM 每秒仅生成 9.5 个 token,最佳能耗约 1200 焦耳;ryzenai-llm 速度为 8.8 token/s,能耗高达 1700 焦耳。即便是回退至 CPU 运行,其速度(23.6 token/s)和能耗(990 焦耳)也优于 NPU。此外,集成显卡的首字延迟仅为 0.44 秒,而 FastFlowLM 高达 4.1 秒,体验差距明显。

功耗数据显示,NPU 电路本身功耗增加不足 1W 至 2.4W,但整机功耗在生成期间增加 14W 至 15W,这部分额外能耗未体现在单一组件读数中。由于集成显卡能以五倍速度完成任务,其单位 token 能耗反而更低。任务管理器在此场景下参考意义有限,其在 NPU 高负载时显示占用率为 0%,而在 GPU 高效运行时仅显示 19%。

转录场景:NPU 的唯一高光时刻

在语音转录测试中,NPU 展现了其核心价值。使用 FastFlowLM 的 Whisper 模型处理五分钟音频,耗时 78 秒(比实时快 3.8 倍),整机功耗仅增加 8.7W,且全程独占 NPU,CPU 和 GPU 保持空闲。相比之下,whisper.cpp NPU 版虽更快(33.6 秒,能耗 450 焦耳),但会导致 CPU 与 NPU 交替工作,CPU 功耗波动在 5W 至 8W。FastFlowLM 的优势在于以低功耗处理后台任务,避免干扰 GPU 游戏渲染或 CPU 其他高负载工作,尽管其整体能耗略高且速度较慢。

搜索与补全:嵌入模型存在准确性缺陷

在文档搜索测试中,FastFlowLM 的嵌入模型表现不佳。针对 AMD Ryzen AI Halo 用户手册的查询,该模型无法正确识别 LED 故障相关段落,反而将 SSH 设置、Windows 激活密钥甚至烤蔬菜食谱列为高匹配项,且对相同输入返回不一致结果。相比之下,小型 llama.cpp 嵌入模型排序准确。解决方案是引入传统关键词评分机制,结合后 qwen3.5-4b 模型能在七秒内正确回答问题并提供引用。

综上,在 ROG Flow Z13 上,NPU 在实时聊天场景中败于集成显卡和 CPU,其主要优势在于低功耗处理非即时性后台任务,如会议转录。随着 FastFlowLM 嵌入功能及 Foundry Local 补全功能的完善,未来表现值得期待。对于经常录制会议的 Ryzen AI 笔记本用户,当前版本的 FastFlowLM Whisper 功能已具备试用价值。