DreaMoving

📋 分类信息

LOGO图标

🖼️ 查看图片

SuoLie索猎-权威分类

智能Al工具 » AI编程工具 类

索猎权威多元分类

IT,综合,科研院所研发,互联网/科技/软件开发,AI,人工智能

线上/线下

线上

内容类型

网址导航,平台链接,资源/工具

中国地区

其他地区

链接地址http(https)://

https://dreamoving.github.io/dreamoving/

DreaMoving是什么：

DreaMoving是一个基于扩散模型的可控视频生成框架，旨在生成高质量的定制化人类视频。具体来说，给定目标身份和姿势序列，DreaMoving可以生成目标身份在任何地方跳舞的视频，由姿势序列驱动。为此，DreaMoving提出了一个Video ControlNet用于动作控制，以及一个Content Guider用于身份保持。该模型易于使用，并且可以适应大多数风格化的扩散模型，以生成多样化的结果。

• 高质量视频生成：能够生成高质量、高保真度的视频，给定指导序列和简单的内容描述（例如文本和参考图像）作为输入。
• 身份控制：通过面部参考图像实现精确的身份控制。
• 动作操控：通过姿势序列实现精确的动作操控。
• 视频外观控制：通过指定的文本提示实现全面的视频外观控制。
• 强大的泛化能力：在未见过的领域也表现出强大的泛化能力。

• Video ControlNet：用于动作控制，通过在每个U-Net块后注入运动块来处理控制序列（姿势或深度），生成额外的时间残差。
• Content Guider：将输入的文本提示和外观表达（例如人脸，服装可选）转换为内容嵌入，用于交叉注意力。
• Denoising U-Net：一个用于视频生成的Stable-Diffusion U-Net的衍生版本，包含用于视频生成的运动块。

• 身份控制：给定一个女孩的面部参考图像，DreaMoving可以生成她在不同场景中跳舞的视频，保持身份的一致性。
• 动作操控：通过输入不同的姿势序列，DreaMoving可以生成目标人物在不同场景中执行特定动作的视频。
• 视频外观控制：通过指定的文本提示，如“一个女孩，微笑着，在法国小镇跳舞，穿着浅蓝色长裙”，DreaMoving可以生成符合描述的视频。