你用过的 AI 视频对话,基本都是 “你停、它想、它说” 的回合制。
字节直接把回合制,打成了实时对线。
11 月 19 日,火山引擎正式开放 SeedRealtime 1.0 API—— 这套端到端实时音视频通话模型,早在8月5日就已经悄悄装进了豆包 App。用户在对话框点 “打电话” 就能进入视频通话界面,现在外部开发者调用的,是完全同一套能力。
声音、画面、节奏、表达,全塞进同一个模型里处理,边看边听边说,不用等一句话说完才反应。
光看参数太抽象,官方演示里,它已经能做不少 “眼里有活” 的事。
冲咖啡场景:你整颗豆子倒进手柄,它立刻提醒要先研磨;萃取结束,它盯着油脂和出液量,当场给出缩短时长的建议。
机场场景:旁边人闲聊它不搭话,你问航班,它能用上刚才瞟到的大屏信息;转头看见网约车指示牌,顺嘴告诉你上车点在哪。
当然,这些都是厂商挑选过的典型场景,实际普适性如何,还没经过第三方复测。
但别觉得操作简单,机场那一幕的难度,比冲咖啡高了一个量级。
航班信息在屏幕上闪一下就消失,模型得精准记住;周围人声嘈杂,它得分清哪句是说给自己听的。换做老方案,大概率要么漏信息,要么乱搭话。
之所以能做到这份顺畅,核心是换了一套技术逻辑。
过去做实时音视频,是流水线打法:语音转文字、模型理解内容、再合成语音输出,三步串成链,还得靠额外模块判断谁在说话、什么时候该接话。
环节越多,延迟越久,信息损耗也越多。
SeedRealtime 走的是端到端路线:语音识别、视觉理解、决策、语音合成,全揉进一个模型里,对着连续的音视频流同步处理。省掉了中间转手的功夫,也省掉了转手的损耗。
效果提升有多少?字节自己测了一组数。
官方人工评测显示,和传统级联方案比,这套模型把对话节奏问题砍了差不多一半 —— 抢话、反应慢、被背景音误触发的情况明显减少,整段对话的顺畅度有提升。只是官方没公开测试样本量和具体评判标准,参考着看就好。
对做产品的人来说,这件事的意义不止于体验升级。
以前搭一个视频助手,得自己凑齐语音识别、视觉模型、语音合成、轮次判断、实时传输一堆组件,搭起来麻烦,调顺更难。现在接一个 API,就能落地语音助手、智能硬件、陪伴应用、实时客服这类场景。
这套能力在豆包里已经跑了三个多月,不算从零开始的半成品。计费规则也简单,按通话时长结算,具体单价和配额以控制台为准。SeedRealtime的全双工能力,建立在豆包实时语音模型3.0(Seeduplex) 之上。Seeduplex是一款原生全双工端到端语音大模型,在纯语音链路上已经验证了“边听边说”的可行性。
有意思的是,字节开放 API 的前后脚,海外两家也同步亮出了底牌。
11 月 19 日,Google 把 Genie 4 世界模型放进 Gemini API,键盘操控画面延迟 0.2 到 0.5 秒,文字改场景 1 到 2 秒,折算下来约 0.1 美元 / 秒。
11 月 20 日,OpenAI 在 Live API 上线 GPT-Live-1.1 全双工语音模型,能识别停顿、打断和语速变化,活跃状态 0.05 美元 / 分钟,待机 0.02 美元 / 分钟。
三家各说各的指标:一家比延迟,一家比指令遵循,一家比对话流畅度。口径不一样,高下暂时还分不出来。
端到端实时交互,正在从各家的演示 Demo,变成开发者伸手就能用的基础能力。
谁先把体验做稳、把成本打下来,谁就能先抢到下一波入口的位置。
来源:星河商业观察