OpenAI正式向所有用户开放Decisions API，标志着其大举进入快速增长且成本低廉的智能决策市场。这一领域近期因初创公司TypeSafe而备受瞩目，该公司由前前沿实验室研究员创立，估值已达76亿美元。
TypeSafe推出的Jev模型开创了一种新型深度学习类别，充当“超级分类器”：在给定选项后快速做出选择并提供置信度评分。开发者发现，这类“System One”决策模型能在多种工作流中以更快速度和更低成本替代大型语言模型（LLM）。
基于Luna重构，速度提升十倍
OpenAI APIs产品负责人Nikunj Handa透露，团队在看到Jev模型后意识到其巨大潜力，随即加速推出自有版本。与TypeSafe不同，OpenAI并未专门构建经过校准的决策模型，而是对ChatGPT Luna进行重新配置，以优化推理速度并降低成本。
“Decisions API的最大突破在于速度。”Handa表示，处理时间已从1至3秒缩短至100到180毫秒。他补充称，虽然未来可能会进行专门训练以进一步优化表现，但目前普通的Luna模型已能胜任工作。
该API于9月29日的开发者日上宣布，并于周四面向所有客户开放。公开版新增了对语音和视觉模态的支持，并通过全球范围内的推理资源针对性部署，致力于降低各地延迟。
客户实测：延迟从秒级降至毫秒级
在与Box、Datadog、Ramp和Speak等客户的初步试验中，工程师利用该API以更高吞吐量替代了原有的LLM。AI语言导师平台Speak首席技术官Andrew Hsu指出，Decisions API将其操作响应时间从1.4秒大幅缩短至0.13秒。OpenAI自身也利用该产品提升了Dots语音助手的响应速度。
尽管效果显著，但对于何为优秀的决策模型，行业尚无统一标准——在智能、成本、校准和速度之间的权衡似乎因工作负载而异。TypeSafe首席执行官Diogo Almeida对基准测试持怀疑态度，呼吁用户在实际工作中试用，但该公司仍在发布最新Jev模型时公布了自身排名数据。
基准测试与多模态优势
在AIM System One Index和Artificial Analysis Decision Index等公开基准中，Liquid发布的D1 Ultra和Base Lab的Elephant-1往往占据优势。最新Jev模型在这两项指数中分别位列第七和第三，而OpenAI的决策模型则分别排在第八和第十四位。不过，TypeSafe的产品目前在OpenRouter上的查询量最为广泛。
值得注意的是，在名为JevMan的吃豆人游戏基准测试中，最新Jev模型位居榜首。开发该基准的Opper AI首席增长官Felix Wunderlich解释称，这款经典游戏包含不间断的快速高风险决策，模型必须在几百毫秒内决定去向，是极佳的测试用例。
相比之下，OpenAI的模型可能在多模态方面更具竞争力。Handa指出，在图像分类方面，“Luna极其强大，并显示出更好的校准效果”，且客户希望Decisions API能更灵活地接受图像作为输出。
Handa还观察到，速度的进一步提升将催生新场景：“如果我们将速度提升至60毫秒左右，就可以想象出一个针对视频每一帧进行调用的API。”随着这些产品变得更快、更便宜，正如Handa所言，那些隐藏在显而易见之处、直到决策模型出现才被揭示的“疯狂应用场景”有望成为现实。