MotionClone

MotionClone是一個訓練無關的框架，允許從參考視頻進行運動克隆，以控製文本到視頻的生成。它利用時間注意力機制在視頻反轉中表示參考視頻中的運動，並引入了主時間注意力引導來減輕注意力權重中噪聲或非常微妙運動的影響。此外，為了協助生成模型合成合理的空間關係並增強其提示跟隨能力，提出了一種利用參考視頻中的前景粗略位置和原始分類器自由引導特徵的位置感知語義引導機制。

需求人群：

" MotionClone適合視頻製作者、動畫師和研究人員，因為它提供了一種無需訓練即可快速生成視頻內容的方法。特別是對於那些需要根據特定文本提示生成視頻的專業人士， MotionClone提供了一個高效且靈活的工具。"

使用場景示例：

動畫師使用MotionClone根據劇本快速生成動畫視頻草圖

視頻製作者利用MotionClone根據腳本生成視頻內容的初步版本

研究人員使用MotionClone進行視頻生成技術的研究和開發

產品特色：

無需訓練即可從參考視頻克隆運動

使用時間注意力機製表示視頻中的運動

主時間注意力引導減輕噪聲或微妙運動的影響

位置感知語義引導機制輔助生成合理的空間關係

增強視頻生成模型的提示跟隨能力

適用於文本到視頻的可控生成

使用教程：

1. 設置代碼庫和conda環境

2. 下載Stable Diffusion V1.5

3. 準備社區模型，包括從RealisticVision V5.1下載的社區.safetensors模型

4. 準備AnimateDiff運動模塊，推薦下載v3_adapter_sd_v15.ckpt和v3_sd15_mm.ckpt.ckpt

5. 執行DDIM反轉

6. 執行運動克隆

7. 如果需要，引用MotionClone相關的論文