10月,Vercel的AI模型路由中,超过四分之一的请求被发送至决策模型,而非传统大型语言模型(LLM)。对于这种问世仅月余的新兴AI形态而言,这一占比相当可观。

决策模型不生成输出标记,而是利用通用智能在预设选项间快速、低成本地做出判断,并输出置信度。在生产环境中,其快速决策能力往往比前沿模型复杂的推理更具实用价值。

巨头入场与初创突围

TypeSafe凭借Jev系列模型成为估值75亿美元的独角兽。数据显示,该系列模型上周在OpenRouter等平台处理的查询量超过15亿次,占据主导地位。

随着构建门槛降低,数十款同类模型相继涌现。亚马逊工程师曾在周末内开发出一款原型,各大云厂商也纷纷跟进。周二,微软CEO萨蒂亚·纳德拉宣布,Azure已立即全面推广其决策模型Microsoft-Decision-1.1。

与此同时,生态另一端也在活跃。英国AI初创公司Sqwish今日宣布完成300万美元种子前融资,并推出名为“kettei fat”的决策模型。联合创始人乌什尼什·森古普塔和费德里卡·弗雷迪在剑桥大学攻读研究生期间相识,他们发现原本用于小型LLM的架构可重构为高效的决策模型。

数据校准与实战为王

数据质量是决定模型表现的关键。TypeSafe CEO迪奥戈·阿尔梅达指出,构建Jev最难点在于利用统计调整后的合成数据精细校准判断力。Sqwish同样使用合成数据,但其独特优势在于内置后训练工具,允许客户上传自有生产数据,持续优化模型在特定任务上的表现。

“让我们区别于普通商品的是,我们赋予客户同样的能力。”森古普塔表示,“他们可以像我们训练模型一样,通过不断上传数据来优化模型。”

相较于难以排名的基准测试,开发者更看重实际替换后的表现。微软高级工程副总裁阿钦特·斯里瓦斯塔瓦也认同这一观点,他指出:“‘刷榜’模型在企业实战中往往迅速失效。Microsoft-Decision-1.1和Jev是少数在准确性、可靠性、速度和成本效率四个维度均表现强劲,且在未见基准测试中依然出色的模型。”

面对超大规模云厂商的竞争,Sqwish视其为机遇。弗雷迪预测,未来系统将呈现“系统一”(决策模型)与“系统二”(前沿LLM)协同工作的格局。她认为,即便在OpenAI等巨头瞄准万亿美元市值时,“系统一”本身仍是一个数百亿美元的市场机会,而这正是初创公司专注的核心领域。”