英伟达今日正式推出可定制的 Nemotron 3.5 Super VL 大型语言模型,专为全天候人工智能代理设计;同步发布面向本地系统的 Bolt 系列模型。这三款新模型旨在覆盖从大型企业服务器到边缘设备及本地硬件的全方位代理部署场景。

Nemotron 3.5 Super VL:开源与高性能并重

Nemotron 3.5 Super VL 是一款拥有 1200 亿参数的开源模型,由英伟达与 Nemotron 联盟合作构建,旨在服务于高精度多模态代理任务。该模型具备指令遵循、工具使用、多步业务流程处理及视觉理解能力。英伟达表示,其性能可与公司最大的推理模型相媲美,但体积仅为后者的五分之一。

凭借全新的架构,Super VL 的生成速度比同类其他模型快近五倍。与封闭的前沿模型不同,英伟达公开了 Super VL 的权重,允许组织利用自有数据进行后训练,并部署在自有基础设施上。这一举措使企业能够将模型置于防火墙之后,确保数据主权、隐私和安全。

在训练数据方面,英伟达使用了约 26 万亿个令牌进行预训练和继续预训练,均采用开放数据和开放方法。此外,还包含 380 万个后训练样本以及在 100 个开放环境中进行的强化学习,以微调模型。同期,英伟达还在 Hugging Face 上发布了一系列开源数据集,涵盖代理工具使用、金融、指令遵循、长上下文、安全性、公平性以及视觉语言理解等领域。

Bolt 系列:赋能本地与边缘计算

Bolt 74B-A9B 24GB 是一款基于 Super VL 构建的较小模型,旨在本地运行代理任务。它采用混合专家模型(Mixture-of-Experts)架构,每次激活 740 亿参数中的 90 亿,并结合 2-bit 量化技术,将内存占用控制在 24 GB 以内。这使得该模型能够在企业工作站或个人电脑的 GPU 上流畅运行,用户无需将工作负载发送至云端,即可处理代码编写和调试等日常项目。

此外,英伟达计划于本月晚些时候推出更小的 Bolt E4B 4GB 模型。这款微型模型专为 GeForce RTX、Jetson 以及 RTX/GTX Spark 等边缘部署场景设计,旨在让物理人工智能和对话式代理在可穿戴设备、家用电器、服务终端、汽车仪表盘及设备助手等嵌入式接口中发挥作用,驱动交互式角色、对话式界面以及可本地化或个性化定制的智能用户界面。