金融科技巨头 Revolut 宣布,通过停用 Claude 并转向自托管模型,其 AI 编程推理成本降低了约 90%,实现十倍成本削减。

在纽约举行的 AI Engineer 大会上,Revolut 运营与基础设施负责人 David Abitbol 透露,在向约 2,000 名工程师推广 AI 编程工具后,公司编码时间缩短 60%,开发周期(Lead Time)缩短 70%。目前,Revolut 使用 56 块 Nvidia B200 GPU 托管 GLM-5.3 模型,此前曾依次试用 GLM-5.1、Gemini 及 Claude Code。

成本困境与自托管突围

Abitbol 指出,公司在 2025 年初部署 Gemini,并于 2026 年初尝试 Claude Code,但对 AI 成本保持高度警惕。“我们目睹工程师每月花费 1,000 美元甚至 10,000 美元,但投资回报率并不理想,因此设置了严格的预算限制。”他说。

受限于令牌(tokens)高昂成本,Revolut 转向研究自托管模型。数据显示,自托管 GLM-5.1 每百万输入/输出令牌成本仅为 0.30 美元,约为 OpenAI Codex 或 Anthropic Claude Code 成本的十分之一。极低的令牌成本让工程师不再纠结用量,而是更自由地利用 AI 进行调试和处理 Jira、Confluence 等工单任务。“拥有无限令牌意味着你可以放手去做这些工作,无需再为季度末或最困难的任务节省令牌。”Abitbol 补充道。

硬件部署与性能调优

GLM 系列模型由中国开放权重模型开发商 Z.ai 开发。以 GLM-5.1 为例,其总参数量约 7,540 亿,加载权重需约 380 GB GPU 显存。为大规模服务 GLM-5.3,Revolut 部署了 56 块 Nvidia B200 GPU,相当于七套八卡 DGX B200 系统的算力规模。

Abitbol 强调,最大的性能提升并非来自增加 GPU 数量,而是通过对模型超参数调优、切换至 NVFP4 量化技术、实现预填充(prefill)和解码(decode)分离,以及优化上下文长度来实现。他警告称,“长上下文是个陷阱”,虽然支持百万令牌窗口,但实际 25.6 万令牌才是真正需要的范围。

经过优化,Revolut 在约 25.6 万令牌的上下文窗口下,实现了首字延迟低于 3 秒,生成速度约为每秒 200 个令牌。Abitbol 认为这是软件工程师的最佳体验区间:“一旦超过 5 秒,Slack 消息就会爆满。每秒 200 个令牌在交互性上已经足够,因为人们的工作方式已变为并行运行任务并在完成后检查结果。”若担心吞吐量,下午 5 点后登录的工程师实际体验到的生成速度可接近每秒 800 个令牌。

混合架构与安全考量

GLM 并未完全取代 GPT 或 Claude。由于 GLM 仅支持文本处理,Revolut 采用模型路由机制,将视觉查询请求分发至 Gemini 或 GPT Luna 等模型,代码生成则继续运行在 GLM 上。

“开源现在是 Revolut 的重点,且经济效益良好。账单是固定的,月底不会出现意外的巨额账单。”Abitbol 总结道。针对隐私和安全担忧,他强调主要风险在于通过中国境外的 API 访问模型,若在本地或区域云资源上运行,则无需担心安全问题。