DreaMoving，一種基于擴散的可控視頻生成框架，用于生成高質量的定制人類舞蹈視頻。具體來說，給定目標身份和姿勢序列，DreaMoving 可以生成目標身份在姿勢序列驅動下在任何地方跳舞的視頻。為此，我們提出了一個用于運動控制的視頻控制網絡和一個用于身份保留的內容指南。所提出的模型易于使用，并且可以適應大多數風格化的擴散模型以生成不同的結果。

DreaMoving項目地址：https://dreamoving.github.io/dreamoving

DreaMoving 概述：

Video ControlNet 是在每個 U-Net 塊之后注入運動塊的圖像 ControlNet。Video ControlNet 將控制序列（姿態或深度）處理為額外的時間殘差。Denoising U-Net 是一種衍生的 Stable-Diffusion U-Net，帶有用于視頻生成的運動塊。內容導覽器將輸入文本提示和外觀表達式（如人臉（布料是可選的））傳輸到內容嵌入中，以便交叉注意。

結果：

DreaMoving 可以生成高質量和高保真度的視頻，給定指導序列和簡單的內容描述，例如文本和參考圖像作為輸入。具體來說，DreaMoving 通過人臉參考圖像、通過姿勢序列進行精確運動操作以及由指定文本提示提示的全面視頻外觀控制來展示身份控制的熟練程度。