
在迈阿密海滩举办的MAX大会Sneaks环节,Adobe展示了10项前沿研究项目。这些项目旨在让创作者通过画笔、拖拽或手势直接编辑内容,而非依赖传统的文本提示。目前,公众可在新的Adobe Labs Playground中体验其中部分功能。
Sneaks环节由演员特里·克鲁斯主持,展示内容涵盖视频、音频、图像和设计领域。Adobe在官方博客中强调,Sneaks属于研究预览性质,并非正式产品,公司尚未公布哪些项目会转化为最终商用工具及其发布时间表。这些研究成果将为下一代工具开发提供技术储备。
为何要超越“提示词”交互
Adobe Labs在题为《Beyond the prompt》的研究文章中阐述了其设计理念。研究人员指出,聊天界面虽是生成式AI的主流交互方式,但在需要高精度的视觉创作中显得力不从心。创意人员往往倾向于通过实际操作来明确意图,而非事先进行详尽的文字描述。
该结论基于2024年至2026年间对82名在职及 aspiring 创意专业人士的8项调研,并回顾了27篇相关论文。作者同时说明,样本更偏向视觉学科,不能完全代表所有创意工作者。
视频与音频的实时可控性
视频领域展示了四个项目。Project Scene Sweep可将单次编辑应用于多镜头序列,确保修改效果在剪辑点和视角变化间保持一致,为此团队专门训练了多镜头视频编辑模型。Project Live Set允许在视频播放过程中实时更改主体、场景或摄像机设置。Project On Cue则用于控制生成片段中特定事件(如闪光)的发生时机,支持手绘时间信号或从音视频中提取信号。Project Screen Test用于构建虚构角色的外观、声音和性格,创作者可与其对话以测试不同场景下的反应。
音频方面,Project Sound Bender是唯一项目。创作者描述一种声音后,工具能将其从已完成混音中分离,并在交互式画布上显示变体,支持实时塑造声音形态或使其与视频动作匹配。
图像设计的直接操控
图像和设计类项目侧重于直观的画布内编辑。Project Deep Brush将照片分解为形状、颜色和光照图层,笔触可跟随表面轮廓,添加光照时能保留自然阴影。Project Hands On分析图像并在画布上构建控制点(如马克杯把手),创作者通过拖拽而非重写提示词来重塑细节。Adobe表示,该项目源自Firefly的“编辑对象”工具,此前因模型速度限制未能实现。
Project Rinse Repeat可将一处编辑复制到另一区域并自动适应,利用原生Photoshop工具重建以确保可编辑性。Project Link Up将拖拽操作转化为指令,例如将车辆拖入插画风格停车位后,系统自动调整透视、比例和风格,结果仍为可编辑矢量图形。Project Sight Span则能将单张图像转化为三维空间,允许创作者“步入”其中并从新视角构图。
当前可体验与未来展望
随发布会同步开放的Adobe Labs Playground提供了Deep Brush和Hands On的早期预览,以及Project Custom Filters(将文本描述转化为带独立滑块的实时Photoshop滤镜)。Adobe还预告了即将推出的对话式角色工具和声音提取工具,用户可通过labs@adobe.com提供反馈。
此次预览紧随Adobe MAX版本发布之后,新版本包含规划工作的Firefly代理、Photoshop全新Relight工具及对外部AI代理的支持。借助与迪士尼的合作,Adobe正进一步将Firefly技术深入影视行业。对于Hands On等项目,Adobe视其为从文本编辑向图形界面过渡的关键一步,希望通过Playground验证其对创意人员的实际价值。