SiMa.ai正式发布Palette 3.0,这是其Modalix AI芯片配套软件的最新版本。这家位于圣何塞的初创公司表示,新版软件使芯片上的语言模型文本生成速度提升3.5倍,同时保持功耗基本不变。

这一性能飞跃主要得益于投机式解码(speculative decoding)技术。该技术通过一个小而快的草稿模型并行提出多个词元(tokens),再由主模型统一校验。Palette 3.0集成了EAGLE3、DFlash和Gemma 4多词元预测三种实现方法。

3.5倍提速实测数据

据SiMa.ai发布的白皮书显示,该数据对比了同一芯片上投机式解码与标准解码的效果。在功耗均为约7.5W的条件下,阿里巴巴Qwen3.5 9B模型配合DFlash技术表现最佳,生成速度从每秒11.98个词元提升至41.75个词元,单token能耗从0.627焦耳降至0.182焦耳。

在涵盖数学证明和Python脚本编写等五个固定提示词的测试中,四种模型的加速倍数介于2.21至3.49倍之间。SiMa.ai指出,此举旨在测量有利条件下的性能增益上限。

在更贴近实际的车载助手场景中,系统需将“我冷了”等自然语言指令转化为函数调用。测试显示,所有900次请求均返回正确结果,投机式解码使处理速度提升1.35至2.06倍。由于该方法不加速提示词处理,整体增益相对较小。

强化设备端部署能力

SiMa.ai代理软件与生成式AI负责人Manuel López Roldán表示,Palette 3.0的核心在于强化设备端模型运行能力。它支持将多个模型直接发送至芯片加速器,无需后台服务介入;支持在芯片上运行独立Docker容器;并能在16GB Modalix模块上运行OpenAI GPT-OSS-20B等大型混合专家(MoE)模型。

回顾版本迭代,Palette 1.0曾在首款芯片上运行视觉模型;2025年12月发布的Palette 2.0为Modalix芯片引入生成式AI功能;今年6月推出的Palette Neat则增加了能根据自然语言请求编写并部署应用的AI代理。

针对无人机和机器人领域,SiMa.ai提供了参考平台,支持每秒30帧的1080p视频分割及约38毫秒的视觉里程计计算,并已适配ROS 2和Nav2等机器人软件。印度工程公司Mistral Solutions是此次发布的合作伙伴。

目前,相关代码已在GitHub开源,文档可通过SiMa.ai开发者中心获取。所有性能数据均源自SiMa.ai内部测试。

资本层面,SiMa.ai于今年9月完成1.5亿美元融资,估值达14.5亿美元。边缘AI芯片赛道持续升温,ADI同意收购Alif Semiconductor,Syntiant也已提交IPO申请。