腾讯联手多所大学推出StyleCrafter 可用于视频模型训练
近日，腾讯 AI 实验室近日联手清华大学和香港中文大学，共同推出一种名为 StyleCrafter 的通用方法，可帮助通过风格控制适配器增强预训练的视频生成模型。
论文表示，依靠 StyleCrafter ，模型可以根据参考图像生成不同风格的视频。为了促进内容与风格的分离，研究团队删除了文本提示中的风格描述，并使用解耦学习策略仅从参考图像中提取风格信息。研究团队还设计了一个规模自适应融合模块，以平衡基于文本的内容特征和基于图像的风格特征的影响，这有助于在各种文本和风格组合中实现泛化。
实验显示，StyleCrafter 能高效生成高质量的风格化视频，这些视频既与文本内容一致，又与参考图像的风格相似。