LAVE: LLM-Powered Agent Assistance and Language Augmentation for Video Editing
关键字：大型语言模型（LLMs） 视频编辑 LAVE系统 代理辅助 语言增强编辑 自动化语言描述生成 用户研究
Ｍeta在论文中提出了一个创新的系统LAVE，它通过集成大型语言模型（LLMs）来简化视频编辑流程，特别是对于初学者而言。LAVE系统利用LLMs自动生成用户视频镜头的语言描述，这不仅为视频内容的理解提供了基础，也使得LLMs能够有效地协助编辑任务。当用户明确提供编辑目标时，LAVE的代理能够规划并执行相应的操作来实现这些目标。此外，LAVE提供了通过代理或直接用户界面操作两种编辑视频的方式，增加了灵活性并允许用户对代理执行的动作进行手动微调。通过包含从新手到熟练编辑者共八名参与者的用户研究，验证了LAVE的有效性，并探讨了LLM辅助编辑范式对用户创造力和共同创作感的影响。
一、论文目标是探索如何将大型语言模型（LLMs）集成到视频编辑工作流程中，以降低编辑的入门难度，提高编辑的灵活性和效率。
文中实现的LAVE系统能够自动生成用户视频的语言描述。
同时根据用户提供的编辑目标，LAVE的代理可以智能规划并执行相关操作。
此外系统还支持直接用户界面操作和代理操作两种编辑视频的方式。
二、LAVE系统的核心在于利用大型语言模型（LLMs）来辅助视频编辑。具体方法包括：
语言描述生成：系统自动为用户的视频镜头生成语言描述，这些描述随后用于LLM的进一步处理。
代理规划与执行：用户给出编辑目标后，LAVE的代理会规划一系列动作并执行，以实现用户的编辑目标。
用户界面：LAVE提供了一个用户界面，用户可以通过它直接操作视频，或者利用代理来执行编辑任务。
论文中还介绍除LAVE外相关的研究工作：
ExpressEdit：研究了使用自然语言和草图进行视频编辑的方法。
单视点多剪辑视频编辑：提出了一个框架，通过模拟单个静态摄像机的平移-倾斜-缩放运动，自动生成多个适合视频编辑的剪辑。
移动环境中视频编辑的实证观察：研究了移动设备上视频编辑的挑战和可能性。
三、为了验证LAVE的效果，Meta实验同时招募了八名不同水平的编辑者，让他们使用LAVE系统完成视频编辑任务。最终实验结果显示：
LAVE能够有效地辅助视频编辑，降低编辑的入门难度。
用户对LLM辅助编辑范式的接受度较高，认为它能够提升创造力和共同创作感。
代理操作和直接用户界面操作的灵活性对于不同水平的编辑者都很重要。
Meta新近提出的LAVE系统，通过结合大型语言模型的能力，为视频编辑领域带来了创新。它不仅减少了非专业用户编辑视频的复杂性，还通过代理助手提供了一种新的交互方式，允许用户以更直观和自然的方式编辑视频。用户研究的结果为未来的用户界面设计和人工智能集成提供了宝贵的见解。
论文地址
LAVE: LLM-Powered Agent Assistance and Language Augmentation for Video Editing
