
按令牌计费的定价模式在重度使用场景下成本高昂,而自有容量则随团队用量增加显现出规模效应。当然,自有容量并非零成本,电力、运营、维护及折旧均需纳入考量。评估效率的关键指标,应是每次合并拉取请求(Pull Request)的全口径成本。
自有容量还具备一种隐性价值:对敏感代码的控制权。当代码生成与测试在本地运行时,专有代码留存于企业内部,仅经批准的规划提示词和受管例外情况通过组织控制的网关发送至外部模型。这一机制打通了因安全顾虑而受阻的敏感仓库,释放了其中的收益潜力。
测试运营模式
惠普企业(HPE)的实践提供了参考。其混合AI平台将来自150多个内部应用程序的常规工作负载,路由至运行于本地的开源权重模型(包括HPE私有云AI)。结果显示,令牌成本降低了30%至50%。
这正是混合模式的精髓:借助HPE私有云AI,拥有推理能力并不意味着放弃前沿模型。大部分工作量在自有容量上运行,网关仅处理最复杂的任务。
数据表明,驱动支出的是使用量而非许可员工数。前5%的用户产生了大部分消耗,重度用户的使用频率约为轻度用户的450倍(在同一许可下)。若重度用户从少数群体增至员工总数的一半,在人员数量不变的情况下,月度支出可能上升约4.4倍。具体情境各异,因此度量至关重要。
HPE跟踪并建议客户关注两项指标:一是每位活跃开发者的成本,避免平均计算掩盖重度用户的影响;二是每次合并拉取请求的成本,将AI支出与最终交付软件挂钩。
建议在改变基础设施前,先为这两项成本建立基线,随后在自有容量上运行完整开发周期。若随着用量增长,这两项指标未获改善,则当前模式可能仍是更优选择。
为采用而建,而非配给
自有容量并不适用于所有场景。低使用率或需求不可预测的情况更适合API模式,避免资本锁定在闲置基础设施上。只有当持续需求保持设备忙碌时,自有容量的投资回报才会显现。
大多数企业将采用混合模式:对需求高或间歇性工作使用前沿API,对可重复的大批量工作使用自有容量。通过受控网关决定数据流出,企业既能获得前沿模型能力,又不失代码主权。