ChatGPT 和 Claude 等 AI 助手虽已普及,却难以触及团队会议、客户通话等私有场景中的关键信息。初创公司 Clipto Inc. 推出 AI 聊天机器人记忆平台 Clipto Studio,旨在填补这一空白,使 AI 能够监听、搜索并分析电话会议、演示文稿及团队讨论内容。

Clipto 指出,尽管 AI 能快速处理邮件和企业数据库,但最具价值的商业洞察往往沉淀在非结构化的音视频文件中。这些记录重大决策的原始数据因处理成本高昂,长期处于“黑盒”状态。Clipto Studio 基于模型上下文协议(Model Context Protocol)开发,作为原生技能集可直接集成至 ChatGPT、Claude 等主流助手,并由用户在 Mac 或 Windows 电脑上本地运行的专有模型提供支持。

将音视频转化为结构化知识

该软件通过预先索引语音、说话人声纹、面部表情及屏幕视觉元素,将原始视频片段转化为针对 AI 优化的结构化数据集。当用户查询近期甚至两年前的对话细节时,系统可通过检索元数据快速定位答案。

Clipto 创始人兼首席执行官 Henry Kang 表示,互联网公开信息已被 AI 充分掌握,但存储于个人硬盘中的太字节级音视频数据仍待挖掘。“下一代 AI 需理解那些从未形成文本文档的对话与经验,利用亲眼所见、亲耳所闻的信息完成现实工作。”他说。

在实际应用中,Clipto Studio 类似一种“即时回放”服务。管理顾问可指令 ChatGPT 回溯六个月的话务记录,精确定位项目范围变更的时间点;研究人员可让 Claude 分析数千通客户电话,提取特定产品问题的直接引语以评估严重程度;用户还可要求系统从数十小时的活动录像中自动剪辑精彩集锦。

引入前谷歌科学家强化多模态能力

伴随产品正式发布,Clipto 聘请前谷歌研究科学家 Dr. Mei Han 担任首席科学官。拥有卡内基梅隆大学机器人学博士学位的 Han 将领导轻量级多模态 AI 架构的开发。她认为,Clipto 的使命在于让 AI 像人类一样通过视听感知环境,其技术挑战不仅在于识别语音或屏幕内容,更在于连接数千段录音中的信息以理解语境,从而使音视频对 AI 而言如同文本般易用。