
Snowflake正式推出全新的自主数据工程和实时分析产品组合,旨在为依赖实时、受治理数据的AI代理企业提供基础设施支持。此次更新的核心在于自动化处理数据管道构建、维护及修复中的重复性工作,同时将最终生产决策权保留在工程师手中。
自主代理重塑数据工程
新发布的Snowflake CoCo是专为数据团队打造的编码代理。其中,CoCo Cloud Agents允许团队在Snowflake管理的云环境中运行编码会话,摆脱对本地笔记本的依赖;CoCo Automations则支持安排定期检查管道健康状况或调查失败作业等周期性任务。
工程师可通过自然语言描述任务、设置运行频率并设定操作限制。若检测到管道问题,CoCo能追踪潜在原因并提出修复方案,供工程师在代码进入生产环境前审核。此外,Snowflake通过“Snowflake for Slack”将CoCo引入消息通道,并利用GitHub集成确保代码变更符合现有审查流程。
在管道创建方面,Snowflake Pipeline Builder提供了可视化编辑器,用户既可手动操作,也可指令CoCo自动组装管道步骤。目前,auxmoney和New American Funding等客户已启用上述功能。
Snowflake产品副总裁Christian Kleinerman指出,随着数据量飙升及代理承担更多工作,依靠手工维持数据准确性的传统模式已难以为继。新平台将自主代理引入数据工程,使团队能从基础架构修补中解脱,专注于上层构建。
客户实践:效率与成本优化
欧洲数字借贷平台Auxmoney表示,Pipeline Builder帮助其将分散的工作连接成端到端数据管道。通过将更多数据处理迁移至Snowflake,实现“计算靠近数据”,从而加速洞察触达业务。
New American Funding工程副总裁Dian Xu称,Snowflake CoCo在其现代化数百个遗留管道和报告的过程中承担了繁重工作,Pipeline Builder则提供了构建可信赖管道的一致方式,让工程师更专注于借款人和贷款官员的产品开发。
聚焦实时分析与Spark迁移
在实时分析领域,Snowflake整合了摄取、转换和服务环节。Snowpipe Streaming作为数据入口,Datastream则允许Apache Kafka用户无需管理额外代理即可发送数据,Streaming Transformations随后对数据进行基于SQL的处理。官方数据显示,平台支持高达每秒20 GB的数据流式传输,从摄取到分析就绪的中位时间仅为三秒。
Interactive Analytics功能支持直接从Snowflake为面向客户的仪表板、应用及AI代理提供服务,减少对独立服务数据库的需求。Cboe Global Markets透露,其每天通过Snowpipe Streaming导入近2000亿行市场数据,查询响应时间从隔天缩短至秒级或分钟级。
针对Apache Spark工作负载,Snowflake更新了Snowpark Connect及相关工具,支持以更少代码更改将写入Apache Iceberg表的Spark管道迁移至Snowflake,并可直接加载JSON、CSV和Parquet文件。CoCo还可审查并重写现有Spark代码。据客户Klarent披露,迁移重型Spark工作负载后,其总拥有成本降低60%,最长管道运行时间从10小时以上缩短至不足3小时。