什麼是InstantDrag ?
InstantDrag是一個創新的過程,僅使用圖像並將指令作為輸入來增強交互性和速度。該技術由兩個精心製作的網絡組成:FlowGen,該網絡從阻力條件下產生光流,以及Flow-Fiffusion,該流量基於光流,從而創建了運動條件的圖像。通過將任務分解為運動生成和圖像編輯, InstantDrag從現實世界視頻數據集中學習了運動動力學,可以在沒有掩碼或文本提示的情況下快速且逼真的編輯。這使其非常適合交互式實時應用程序。
誰可以從InstantDrag中受益?
InstantDrag非常適合需要快速,精確的圖像編輯的設計師,攝影師和視頻編輯。這對於尋求專業環境或個人項目中實時交互式編輯體驗的用戶特別有用。
示例場景:
設計人員可以使用InstantDrag快速調整圖像中的對象位置以滿足設計需求。
攝影師可以通過InstantDrag調整構圖來微調鏡頭。
視頻編輯器可以在使用InstantDrag的後期製作過程中迅速糾正元素位置。
關鍵功能:
快速,現實的編輯而無需優化。
簡化的輸入只需要圖像和拖動說明。
兩個網絡FlowGen和FlowDiffusion共同努力提高效率。
FlowGen使用Pix2Pix框架將稀疏流量轉換為密集的光流。
Flow -Fiffusion基於穩定的擴散V1.5以及輸入圖像和下採樣光流的條件。
在大型面部視頻數據集(如CelebV-Text)上進行了培訓,以優化拖放圖像編輯。
即使在非種族圖像上也可以證明良好的概括。
如何使用InstantDrag :
1。訪問InstantDrag網站並上傳您要編輯的圖像。
2。輸入拖放說明,以指定要移動或編輯的區域。
3。流網絡將估計密集的光流。
4。流量擴散網絡將使用估計的光流來編輯原始圖像。
5。查看編輯的圖像並進行任何必要的調整。
6。完成後下載或保存編輯的圖像。